百度蜘蛛的抓取方法
百度蜘蛛
Baiduspider是百度搜索引擎的一个自动程序，它的作用是访问互联网上的网页，建立索引数据库，使用户能在百度搜索引擎中搜索到您网站上的网页。
优质段：
116.179.32.*：新版百度蜘蛛，高权重段，一般抓取文章页。IP段位于山西阳泉联通。百度云计算阳泉中心位于世界最大中文搜索引擎百度公司创始人李彦宏的家乡山西省阳泉经济开发区东区。
220.181.108.75：重点抓取更新文章的内页达到90%，8%抓取首页，2%其他。权重IP 段，爬过的文章或首页基本24小时放出来。
220.181.108.77：专用抓首页IP权重段，一般返回代码是304 0 0 代表未更新。
220.181.108.80：专用抓取首页IP权重段，一般返回代码是304 0 0 代表未更新。
220.181.108.82：抓取tag页面。
220.181.108.83：专用抓取首页IP 权重段，一般返回代码是304 0 0 代表未更新。
220.181.108.86：专用抓取首页IP权重段，一般返回代码是304 0 0 代表未更新。
220.181.108.89：专用抓取首页IP权重段，一般返回代码是304 0 0 代表未更新。
220.181.108.91：属于综合的，主要抓取首页和内页或其他，属于权重IP 段，爬过的文章或首页基本24小时放出来。
220.181.108.92：同上98%抓取首页，可能还会抓取其他 (不是指内页)，属于权重IP段此段爬过的文章或首页基本24小时放出来。
220.181.108.94：专用抓取首页IP 权重段，一般返回代码是304 0 0 代表未更新。
220.181.108.93：重点抓取内页，爬过的文章或首页基本24小时放出来。
220.181.108.95：这个是百度抓取首页的专用IP，如是220.181.108段的话，基本来说你的网站会天天隔夜快照，绝对错不了的。
220.181.108.97：专用抓取首页IP 权重段，一般返回代码是304 0 0 代表未更新。
220.181.108.115：重点抓取内页，爬过的文章或首页基本24小时放出来。
220.181.108.119：专用抓取首页IP 权重段，一般返回代码是304 0 0 代表未更新。
220.181.108.156 重点抓取内页，爬过的文章或首页基本24小时放出来。
220.181.108.158：重点抓取内页，爬过的文章或首页基本24小时放出来。
220.181.108.184：重点抓取内页，爬过的文章或首页基本24小时放出来。
220.181.108.180：重点抓取内页，爬过的文章或首页基本24小时放出来。
220.181.108.*：主要是抓取首页占80%，内页占30%，这此爬过的文章或首页，绝对24小时内放出来和隔夜快照的！一般成功抓取返回代码都是 200 0 0返回304 0 0代表网站没更新，蜘蛛来过，如果是 200 0 64别担心这不是K站，可能是网站是动态的，所以返回就是这个代码。
普通段：
60.172.229.61：代表百度蜘蛛IP造访，准备抓取你东西，抓取网页的百度蜘蛛。
61.129.45.72：代表百度蜘蛛IP造访，准备抓取你东西，抓取网页的百度蜘蛛。
61.135.162.*：代表百度蜘蛛IP造访，准备抓取你东西，抓取网页的百度蜘蛛。
61.135.168.*：抓取图片的百度蜘蛛。
121.14.89.* ：这个ip段作为度过新站考察期，很少。通常有它光顾的时候，网站基本上是没有排名的。
123.15.**.**：百度图片爬虫。
123.125.66.*：代表百度蜘蛛IP造访，准备抓取你东西，抓取网页的百度蜘蛛。
123.125.71.* 抓取内页收录的，权重较低，爬过此段的内页文章暂时被收录但不放出来，因不是原创或采集文章。
124.166.232.*：可能为新版新站专属百度蜘蛛。
125.90.88.*：广东茂名市电信也属于百度蜘蛛IP 主要造成成分，是新上线站较多，还有使用过站长工具，或SEO综合检测造成的，没有多大用。
159.226.50.* ：百度蜘蛛。
180.76.5.*：百度蜘蛛北京联通。
180.76.5.87：百度蜘蛛北京电信。
210.72.225.*：这个ip段不间断巡逻各站，就是路过一下。
220.181.7.*：代表百度蜘蛛IP造访，准备抓取你东西，抓取网页的百度蜘蛛。
垃圾段：
百度自家
61.135.186.* ：百度联盟爬虫，百度统计。
61.135.165.134：百度竞价蜘蛛北京联通。
61.135.169.*：百度公司内部专用IP；
111.206.198.*：百度渲染蜘蛛，专门抓取js、css和图片用的，百度站长工具落地着陆页检测IP。
111.206.221.*：百度渲染蜘蛛，专门抓取js、css和图片用的，百度站长工具落地着陆页检测IP。
117.34.74.66：百度竞价蜘蛛西安市电信。
118.122.188.194：百度竞价蜘蛛。
119.63.196.9：百度竞价蜘蛛。
123.125.67.* ：百度站长工具的IP sitemap。
125.39.78.185：百度竞价蜘蛛天津联通。
203.119.241.*：百度主动推送的IP。
220.181.51.*：百度站长工具的IP sitemap。
220.181.108.120：抓取/robots.txt。
220.181.108.146：抓取/robots.txt。
沙盒段
123.125.68.*：这个蜘蛛经常来，别的来的少，表示网站可能要进入沙盒了，或被者降权。
180.76.15.*：降权蜘蛛，有这个ip说明网站不会在收录了，一直到这个ip段消失。
220.181.68.*：每天这个IP 段只增不减很有可能进沙盒或K站。
百度蜘蛛新增IP段113.24.225.0/24
整段包含rdns。
举例如下：baiduspider-113-24-225-14.crawl.baidu.com.
建议添加白名单。
116.179.37.*：百度渲染蜘蛛，查看网站是否有跳转等作弊手段。