当前位置:首页 » 白帽seo » 什么是baiduspider,以及百度蜘蛛的抓取方式

什么是baiduspider,以及百度蜘蛛的抓取方式

原创 stpevenchow 15°c 2019年10月18日 23:28 白帽seo 0条评论
  移步手机端

1、打开你手机的二维码扫描APP
2、扫描左则的二维码
3、点击扫描获得的网址
4、可以在手机端阅读此文章

    这是翻墙找的一篇文章,感觉还不错给大家分享一下

    管理网站搜索引擎时要考虑的重要因素是网站搜寻器。搜索机器人或“蜘蛛人”会定期访问您的网页,并根据其发现的内容决定如何在搜索结果中对您的内容进行排名。

即使每个搜索引擎都会自动将爬虫发送到您的网页,您仍然可以控制它们与您的网站的交互方式。因此,正确管理蜘蛛设置对于对您的SEO产生积极影响非常重要。

在中国或中文网站上运行时,您将使用百度蜘蛛机器人。尽管与Google Spider类似,但是了解Baiduspider bot的差异以及如何阻止它非常重要。以及如何利用它来提高网站性能。

百度蜘蛛如何处理

什么是百度蜘蛛?
百度蜘蛛是中国最重要的搜索引擎百度所使用的爬行蜘蛛的正式名称。

您可能知道,Google在中国不运作。因此,在面向中国市场时需要此百度机器人。

百度蜘蛛如何工作
与其他任何搜索引擎搜寻器一样,Baiduspider是一种自动化软件,可以定期检查您网站的内容以收集信息,然后将这些信息用于在搜索引擎数据库中为您的页面建立索引。

Baiduspider每次访问您的页面时,都会查找特定信息,例如页面的结构,内容质量,内容更新,关键字等。抓取过程分为两个步骤:1)蜘蛛抓取页面并将其放入存储中; 2)它在页面上创建链接列表,以供日后检查。

利用收集的数据,百度将对您的内容进行排名。如果Baiduspider认为有价值,则将网页放在搜索结果的顶部,如果内容不符合百度的指南,则该网页将被降级。

您可能既不需要也不需要Baiduspider访问您的所有页面。因此,您需要了解如何阻止Baiduspider以及如何使其像您的内容一样。

许多网站管理员怀疑Baiduspider是否仅对中文网站进行爬网,或者是否还对中国境外的网站进行爬网。

要回答这个问题,请记住Baiduspider bot的工作原理与您网站的其他访问者完全一样。因此,如果中国用户可以访问您的网站,那么百度机器人也会这样做。当然,当百度抓取具有较高页面渲染时间或等待时间的海外网站时,总体排名肯定会很低,并且您在中国不会出现。因此,如果您的目标是中国市场,则必须在中国托管您的网站。

Baiduspider用户代理
为了收集信息,百度蜘蛛机器人使用了不同的代理。您会在此处找到按范围划分的列表:

百度产品名称

百度的用户代理

百度网络/手机搜索

百度蜘蛛

百度图片搜索

百度蜘蛛图片

百度视频搜索

百度蜘蛛视频

百度新闻搜索

百度蜘蛛新闻

百度书签搜索

百度蜘蛛收藏

百度商业搜索

百度蜘蛛广告

百度联盟搜索

百度蜘蛛

我应该允许百度蜘蛛抓取我的网站吗?
如果您瞄准中国市场,则必须绝对让Baiduspider爬网您的网站。此外,您需要了解百度设定的基本准则,以确保正确索引您的页面。我们将在下一节“如何在百度上排名更高”中考虑该主题。

但是,如果您对中国市场不感兴趣,则必须阻止Baiduspider bot抓取您的网站,以节省您希望实际用户使用的带宽。稍后,在本文中,我们将说明如何阻止百度蜘蛛bot。

如何在百度上排名更高?
中国的SEO广告活动必须符合百度的要求,例如Google的标准,但是有很多差异。

例如,海外托管的网站在中国表现不佳。这是由于政府的严格监控。他们会批准所有内容,然后才能在中国境内提供。因此,除非您的网站在中国托管,否则页面加载速度将很慢。就像在西方世界一样,搜索引擎和用户总是会因为网站运行缓慢而受到惩罚。

由于速度是至关重要的因素,因此强烈建议在您的网站上实施内容交付系统(CDN)。由于国家/地区的规模,CDN将在加速您在中国的网站方面发挥重要作用。使用CDN,您的用户将可以从最接近其位置的最快服务器访问您的内容。当百度蜘蛛访问您的网站时,这将得到积极反映。

其他主要差异与您网站的首页有关。百度主要关注主页,而对于Google来说,内部页面更为相关。此外,在百度上,新鲜的内容比冗长而深入的文章更重要。

百度搜索引擎优化

这些只是一些技巧,可以帮助您在百度上排名更高。但是,如果您想提高在中国的网站性能,建议您阅读有关“ 如何在中国进行SEO ”的详尽指南。

阻止百度蜘蛛的原因
阻止百度蜘蛛的唯一原因是,如果您对瞄准中国市场不感兴趣。在这种情况下,最好挡住蜘蛛。因此,您将避免浪费访问者可以使用的宝贵带宽,而不会不必要地降低网站速度。

但是,即使您与中国观众一起工作,有时也可能会想阻止百度蜘蛛。您可能会确定网站上的某些页面不相关,并且不希望对它们进行排名。例如,作者页面,标签等。在这种情况下,您需要从这些特定页面阻止Baiduspider bot。

如何阻止百度蜘蛛
为防止Baiduspider抓取您的网站,您需要创建robots.txt文件。您可以使用此文件在整个网站上或仅在选定的页面上阻止Baiduspider。

这些是您可以使用的robots.txt的一些示例:

为防止百度在整个网站上爬行:
用户代理:Baiduspider
   不允许: /

为防止百度抓取视频:
用户代理:Baiduspider-video
   不允许: /

为防止百度抓取图像:
用户代理:Baiduspider-image
   不允许: /

一些用户不喜欢尽管添加了robots.txt文件,但百度可能会跳过该文件并继续抓取该网站。其他用户报告说,百度在爬网方面可能非常激进,并且百度僵尸程序过于频繁且过于密集地访问其网站时遇到了问题。

如果是这种情况,并且您没有针对中国受众,则必须阻止Baiduspider,并防止其爬行对您的网站速度性能产生负面影响。

除了添加robots.txt之外,解决此问题的另一种方法是尝试在您的服务器域上禁止百度Spider IP。由于搜索引擎使用多个Baiduspider IP,因此此操作可能需要一些时间。

这是许多百度Spider IP中的一些列表:

220.181.32.11 220.181.32.16 220.181.32.22 220.181.32.49 220.181.32.51 220.181.32.64 220.181.32.68 220.181.32.98 220.181.50.207 220.181.50.220 61.135.168.131 61.135.168.14 61.135.168.173 61.135.168.39

如果您的Web服务器上装有PHP,则另一个选择是将其设置为使百度对每个页面请求的等待时间最长为999秒。

除此之外,如果要阻止百度显示网页快照,可以使用以下元标记:<元名称=“ Baiduspider” content +“ noarchive”>

结论

阅读本指南后,您将是与百度蜘蛛机器人打交道的最佳位置。这是您在中国进行SEO策略的关键一步。

正如我们所解释的,在确定要索引的页面以及不希望索引的页面时,了解百度如何爬网您的网站很重要。此外,了解Baiduspider检查您网站的哪些元素将帮助您优化资源,以在百度搜索结果中获得更好的定位。

欢迎阅读本文,如果本文对您有所帮助,记得收藏/转发☺

本文链接:http://stpeven.com/post/142.html

版权声明:本文为原创文章,版权归 stpevenchow 所有,欢迎分享本文,转载请保留出处!

本文标签:

三人行,必有我师

评论(0)

发表评论:


【顶】 【踩】 【好】 【懵】 【赞】 【表情】

◎欢迎参与讨论,请在这里发表您的看法、交流您的观点。

推荐阅读
10月25日

WordPress日常优化对seo友好的url

发布 : | 分类 : 白帽seo | 评论 : 0人 | 浏览 : 17次
WordPress日常优化对seo友好的url

您是否想过WordPress中最SEO友好的永久链接结构是什么?新用户经常问我们这个问题。这是因为过去,默认的WordPress URL结构根本不是SEO友好的。但是,现在更改了。在本文中,我们将说明WordPress SEO友好的URL,以及如何自定义WordPress永久链接。什么是SEO友好网址?在我们深入研究WordPress永久链接之前,重要的是定义什么是SEO友好URL。SEO友好URL包含解释文章的关键字,并且人类和搜索引擎都易于阅读。它们还可以提高您在搜索引擎中排名更高的机会。S...

标签 :
10月23日

2019年老外最佳反向链接检查器工具(免费和付费)

发布 : | 分类 : 白帽seo | 评论 : 0人 | 浏览 : 22次
2019年老外最佳反向链接检查器工具(免费和付费)

寻找可以使用的反向链接检查器?关于SEO,最近几年发生了很大变化,但反向链接仍然保持不变。以前,您的网站会根据您获得的反向链接数排名较高,但在2019年,这完全取决于您拥有多少个质量 链接。去年,谷歌的企鹅算法更新杀死了所有私人博客网络,并贬低了低质量的链接。在本教程中,我将讨论一些最佳的在线反向链接检查器网站,您可以使用这些网站来检查您的网站获得了多少反向链接。有关反向链接的更多信息:什么是SEO中的反向链接页面内容为什么需要反向链接检查器工具:5多种用于检查反向链接的工具:1. S...

标签 :
10月22日

SEO中的反向链接是什么?反向链接的优点是什么?

发布 : | 分类 : 白帽seo | 评论 : 0人 | 浏览 : 16次
SEO中的反向链接是什么?反向链接的优点是什么?

“反向链接”是搜索引擎优化(SEO)领域中使用最多的单词之一。许多最近才开始写博客或网站的博客作者通常都在努力理解“反向链接”一词的含义。在本文中,我希望为您提供了解什么是反向链接,为什么反向链接对于SEO必不可少以及为什么反向链接对于您的在线成功至关重要。您还将学习如何分析竞争对手的反向链接,以及如何为您的网站获取反向链接。让我们开始吧…反向链接是指向网页的传入链接。当网页链接到任何其他页面时,称为反向链接。过去,反向链接是网页排名的主要指标。带有大量反向链接的页面在所有主要搜索引擎(包括Go...

标签 :
10月21日

【十月】关于seo百度算法的三个雷区

发布 : | 分类 : 白帽seo | 评论 : 0人 | 浏览 : 24次
【十月】关于seo百度算法的三个雷区

    由于头痛的厉害,就找了一篇,逆冬写的的文章,也是关于10月百度算法的问题,跟我昨天更新的差不了多少,大家心理有个准备就行了,下面时文章正题    十月绝对是不平凡之月,在国庆节到来的同时,SEOER过得水深火热,不知道是不是Robin是不是因为被评为《退步最大的企业家》不开心而搞事情,无论如何,SEO还是要继续下去,逆冬这里为大家总结(或是说整理)SEOER几大误区(纯个人观点),认同的兄弟改正,不认同的兄弟私聊我微信...

标签 :
10月20日

山雨欲来风满楼,百度近期算法大调整

发布 : | 分类 : 白帽seo | 评论 : 0人 | 浏览 : 16次
山雨欲来风满楼,百度近期算法大调整

    山雨欲来风满楼,自从飓风3.0发布过后百度就一直在做调整,中间国庆过后有人利用mip接口推送bug,做出了7天权7的网站,百度目前针对这些事件也做出了相应的调整    1、mip推送额度降低    2、限制二级域名添加数量    3、主动推送降为10000    4、熊掌号现在又在做出调整,...

标签 :