解读IIS日志中搜索引擎蜘蛛名称代码及爬寻返回代码
对于一个合格的SEOer来说，要想分析一个网站的目前状态，首先要学会的就是如果查询IIS日志，因为网站的一些搜索引擎蜘蛛爬寻状况和访问IP的来源都会记录在IIS日志中，所以IIS日志对每个SEOer或网站管理者非常的重要，马海祥觉得要想准确的解读这些网站日志，我们首先就要先明白IIS日志中搜索引擎蜘蛛名称代码及爬寻返回代码分别是什么？又代表着什么意思？
搜索引擎蜘蛛名称代码：
百度蜘蛛：BaiduSpider
谷歌蜘蛛：Googlebot
谷歌专门抓取图片的蜘蛛：Googlebot-Image
谷歌广告联盟代码的蜘蛛：Mediapartners-Google
360搜索蜘蛛：360Spider
搜狗蜘蛛：Sogou News Spider
搜狗蜘蛛还包括如下这些：Sogou web spider、Sogou inst spider、Sogou spider2、Sogou blog、Sogou News Spider、Sogou Orion spider（参考一些网站的robots文件，搜狗蜘蛛名称可以用Sogou概括）
SOSO蜘蛛：Sosospider
雅虎蜘蛛：Yahoo Slurp
雅虎中国蜘蛛：Yahoo! Slurp China
雅虎广告蜘蛛：Yahoo!-AdCrawler
网易有道蜘蛛：YoudaoBot，YodaoBot
MSN蜘蛛：msnbot，msnbot-media
必应蜘蛛：bingbot
Alexa蜘蛛：ia_archiver
即刻蜘蛛：JikeSpider
一搜蜘蛛：YisouSpider
宜搜蜘蛛：EasouSpider
搜索引擎蜘蛛爬寻返回代码解读：
1xx (临时响应)表示临时响应并需要请求者继续执行操作的状态代码。
100 (继续) 请求者应当继续提出请求。服务器返回此代码表示已收到请求的第一部分，正在等待其余部分。
101 (切换协议) 请求者已要求服务器切换协议，服务器已确认并准备切换。
2xx (成功)表示成功处理了请求的状态代码。
200 (成功) 服务器已成功处理了请求。通常，这表示服务器提供了请求的网页。
201 (已创建) 请求成功并且服务器创建了新的资源。
202 (已接受) 服务器已接受请求，但尚未处理。
203 (非授权信息) 服务器已成功处理了请求，但返回的信息可能来自另一来源。
204 (无内容) 服务器成功处理了请求，但没有返回任何内容。
205 (重置内容) 服务器成功处理了请求，但没有返回任何内容。
206 (部分内容) 服务器成功处理了部分GET请求。
3xx (重定向) 表示要完成请求，需要进一步操作。通常，这些状态代码用来重定向。
300 (多种选择) 针对请求，服务器可执行多种操作。服务器可根据请求者 (user agent) 选择一项操作，或提供操作列表供请求者选择。
301 (永久移动) 请求的网页已永久移动到新位置。服务器返回此响应(对 GET 或 HEAD 请求的响应)时，会自动将请求者转到新位置。
302 (临时移动) 服务器目前从不同位置的网页响应请求，但请求者应继续使用原有位置来进行以后的请求。
303 (查看其他位置) 请求者应当对不同的位置使用单独的GET请求来检索响应时，服务器返回此代码。
304 (未修改) 自从上次请求后，请求的网页未修改过。服务器返回此响应时，不会返回网页内容。
305 (使用代理) 请求者只能使用代理访问请求的网页。如果服务器返回此响应，还表示请求者应使用代理。
307 (临时重定向) 服务器目前从不同位置的网页响应请求，但请求者应继续使用原有位置来进行以后的请求。
4xx(请求错误) 这些状态代码表示请求可能出错，妨碍了服务器的处理。
400 (错误请求) 服务器不理解请求的语法。
401 (未授权) 请求要求身份验证。对于需要登录的网页，服务器可能返回此响应。
403 (禁止) 服务器拒绝请求。
404 (未找到)服务器找不到请求的网页。
405 (方法禁用) 禁用请求中指定的方法。
406 (不接受) 无法使用请求的内容特性响应请求的网页。
407 (需要代理授权) 此状态代码与401(未授权)类似，但指定请求者应当授权使用代理。
408 (请求超时)服务器等候请求时发生超时。
409 (冲突) 服务器在完成请求时发生冲突。服务器必须在响应中包含有关冲突的信息。
410 (已删除) 如果请求的资源已永久删除，服务器就会返回此响应。
411 (需要有效长度) 服务器不接受不含有效内容长度标头字段的请求。
412 (未满足前提条件) 服务器未满足请求者在请求中设置的其中一个前提条件。
413 (请求实体过大) 服务器无法处理请求，因为请求实体过大，超出服务器的处理能力。
414 (请求的 URI 过长) 请求的URI(通常为网址)过长，服务器无法处理。
415 (不支持的媒体类型) 请求的格式不受请求页面的支持。
416 (请求范围不符合要求) 如果页面无法提供请求的范围，则服务器会返回此状态代码。
417 (未满足期望值) 服务器未满足"期望"请求标头字段的要求。
5xx(服务器错误)这些状态代码表示服务器在尝试处理请求时发生内部错误。这些错误可能是服务器本身的错误，而不是请求出错。
500 (服务器内部错误) 服务器遇到错误，无法完成请求。
501 (尚未实施) 服务器不具备完成请求的功能。例如，服务器无法识别请求方法时可能会返回此代码。
502 (错误网关) 服务器作为网关或代理，从上游服务器收到无效响应。
503 (服务不可用) 服务器目前无法使用(由于超载或停机维护)。通常，这只是暂时状态。
504 (网关超时) 服务器作为网关或代理，但是没有及时从上游服务器收到请求。
505 (HTTP 版本不受支持) 服务器不支持请求中所用的HTTP协议版本。
马海祥博客知识扩展：
分析解读IIS网站日志中的“2013-10-26 00:09:12 W3SVC962713505 61.191.55.28 GET /index.html - 80 - 61.135.168.39 Baiduspider+(+http://www.baidu.com/search/spider.htm) 200 0 64”是什么意思？
1、2008-08-19 00:09:12代表搜索引擎蜘蛛爬行的日期与时间
2、W3SVC962713505代表网站日志所在的文件夹
3、61.191.55.28就是搜索引擎蜘蛛访问的网站ip（比如：马海祥博客的ip是61.191.55.28）
4、代码中的/index.html 就代表搜索引擎蜘蛛防问的网页
5、61.135.168.39 Baiduspider代表，百度搜索引擎蜘蛛的ip是61.135.168.39
6、http://www.baidu.com/search/spider.htm baiduspider常见问题解答网页
7、代码中的200就代表搜索引擎蜘蛛爬行后返回HTTP状态代码，通过上面的搜索引擎爬寻返回代码可以了解蜘蛛爬行后的反映。
8、关于蜘蛛在IIS里的200 0 64的状态行为分析：
根据我对马海祥博客iis日志一段时间的观察，虽然暂时还没有足够的证据，但是基本上可以肯定在IIS中，如果蜘蛛后面的号码出现200 0 64，那么网站中的这个单页面就会在搜索引擎中消失了。马海祥博客上被K的页面后面都写着200 0 64，不知道大家是否认同这个看法，当然，我说这个也并不是绝对的，因为我也有一个页面后面显示着200 0 64但是在搜索引擎中依旧可以找到。这也说明着问题，但大多200 0 64行为的网页就已经没有了。
我认为，抓取状态成200 0 64的可能是不正常的抓取，正常的抓取是成功标志200 0 0，当变成了200 0 64的状态时说明搜索引擎在抓取这个页面的时候出现了错误，没有正常的进行常规抓取；对于百度来说，百度很可能是已经不再把这些页面抓进主索引库，而是放进了“百度沙盒”里进行考察，至于考察多久，就看你如何改进了。
所以马海祥觉得蜘蛛的200 0 64行为可以被解释为清除数据。
本文发布于马海祥博客文章，如想转载，请注明原文网址摘自于https://www.mahaixiang.cn/seoyjy/306.html，注明出处；否则，禁止转载；谢谢配合！相关标签搜索： 搜索引擎 IIS日志 搜索引擎蜘蛛 蜘蛛名称代码 爬寻返回代码
上一篇：如何利用词频统计原理自动提取文章摘要？
下一篇：翻页式网页的抓取机制概况
您可能还会对以下这些文章感兴趣！
-
百度移动搜索落地页体验白皮书4.0全文解读
进入移动互联网时代，百度搜索致力于提升搜索用户的浏览体验，营造健康的搜索生态。过去一年中，在百度搜索和全网资源提供者的共同努力下，移动搜索落地页广告问题已经得到了明显的改善。现在，百度搜索发布《百度移动搜索落地页体验白皮书4.0》，旨在继续与各内容生产……【查看全文】
-
404 Not Found错误页面的解决方法和注意事项
404页面就是当用户访问某网站时，点击了错误的链接时，所返回的页面。最常见的出错提示：404 Not Found。其目的就是告诉浏览者其所请求的页面不存在或链接错误，同时引导用户使用网站其他页面而不是关闭窗口离开。错误页面的文字可以自定义，有些网站没有设置404错误页面，或……【查看全文】
-
揭秘搜索引擎中的反SEO作弊研究
从搜索引擎优化服务开始，分析了现在所存在的搜索引擎优化的作弊手段；然后提出了四种方法用来预防、破解作弊，并结合现实总结提出逐级分层审查刮度；最后结合Google搜索引擎，讨论并分析了Google搜索引擎的反作弊方法及其中的PR值算法……【查看全文】
-
2011-2012年百度历次大更新数据分析
本篇文章记录了百度从2011年到2012年中旬百度大更新记录的文章。以下数据分析以站长之家官方提供的网站监控分析数据为蓝本，结合优词网等站点观察数据和一些 优秀SEO站长工具和软件的收集，并佐以自己手上二十几个站点作参考进行综合分析，基于统计学分析原理，以大量站……【查看全文】
-
基于用户投票的六大排名算法研究
随着互联网的发展，网站的数量也在随着成倍的增加着，就中国的互联网来说，根据中国互联网信息中心的数据显示，目前中国的网站数量每半年都会以接近10%的数量增长。这些大量的网站涌现，也就意味着我们已进入了信息大爆炸的时代。 而如今用户担心的已不再是信息太少，而……【查看全文】
-
百度最新调整后的算法规则
最近闹得沸沸扬扬的百度6.22和6.28的K站事件到目前已经告一段落了，K站的主要原因已经渐渐明朗，以及百度将会对哪些类型的网站会做降权处理，现在也已经明朗化。针对各大站长漫长的着急等待，以及愤恨的心情，百度目前已经给出了较为明确的答案，那么百度规则和算法调整……【查看全文】
-
反向链接是什么意思
反向链接又叫导入链接（Backlinks），外部链接，是指外部网站有你的网址指向你的网站，其实就是在目标文档（网页）内部进行声明，要求目标文档指向自己（网页）的链接，通俗点讲，网页A上有一个链接指向网页B，则网页A上的链接是网页B的反向链接，换言之，常规链接在文……【查看全文】
阅读：2048关键词： 反向链接 日期：2012-08-14 -
linux系统或windows+iis系统设置404页面方法
404页面通常是为用户访问了网站上不存在或已删除的页面，服务器返回404错误页面，告诉浏览者其所请求的页面不存在或链接错误，同时引导用户使用网站其他页面而不是关闭窗口离开，消除用户的疑虑。网站设置404页面后，如果网站出现死链接，搜索引擎蜘蛛爬行这类网址……【查看全文】
-
如何分析网站是否真的被降权惩罚及解决方法
对于混迹于国内站长圈的朋友来说，每天起早贪黑发外链的网站被百度惩罚似乎在这几年已经是司空见惯的事了，所以很多时候网站流量、排名或者是收录有小幅度波动时，站长都会认为网站又被惩罚了，有到处的去抱怨。其实，很多情况都只是站长自己太过于敏感了而已，网站被百……【查看全文】
-
百度排名算法规则及SEO优化要点总结
做SEO目的其实就是为访客服务，满足用户的需求，想方设法的为了用户提供他们想要看的内容，而不是一味的最求最大利益化，其实百度只是一个展示的平台，只要你有了用户的青睐，你想达到的目标，自然也就水到渠成了，做SEO的核心就是要挖掘用户的力量，只有挖掘用户的力量……【查看全文】
-
百度索引量下降的原因及解决方法
作为一名专业的SEO人员，我们很多的时候都在研究站点中有多少页面可以作为搜索候选结果，也就是一个网站的索引量，所谓网站索引量，就是搜索引擎抓取你网站的数量，这能影响到网站收录率，是一个非常重要的SEO因素，索引量是流量的基础，索引量数据的每一个变动都拨动着……【查看全文】
-
落地页体验白皮书5.0解读：什么样的顶部嵌入广告符合体验标准
《百度APP移动搜索落地页体验白皮书5.0》对页面广告的内容、形式、位置和面积的要求都做出了详细的说明，受到了全网开发者的广泛关注。关于白皮书5.0中最新提出的顶部嵌入广告标准”落地页首屏顶部允许嵌入不超过一屏面积10%的优质广告”，不少开发者对此提出疑问和反馈，本篇文章将对顶部嵌入优质广告要求做出具体解读：落地页首屏顶部允许嵌入优质广告的总体要求如下：面积：顶部嵌入广告面积必须小于首屏面积的10%。标识：广告位上有明……【查看全文】
-
落地页体验白皮书5.0解读：如何合理设置展开全文功能
本文解读文章深度剖析展开全文功能的设置要求。白皮书5.0提到”展开全文的设置必须具有文字标示，且功能实际可用；展开全文功能最多只能出现一次，但不可出现在落地页的首屏内容中（列表页除外）；展开全文与广告等引导性内容要设置一定距离间隔，避免干扰用户操作。”如何设置展开全文按钮才更符合用户的体验习惯呢？这篇文章将为你答疑解惑。百度搜索用户研究团队的用户调研发现，搜索用户进入落地页的诉求是浏览页面全部内容，展开……【查看全文】
-
百度快照更新是什么意思？
最近发现有很多刚入SEO行业的新手对网站seo的技巧有很多的误区，比如网站快照不更新就代表网站被惩罚。关于这个观点我们先看看什么是百度快照，百度快照的作用是什么？我们有该如何让百度快照持续更新呢？快照即为Web Cache，可以翻译为网页缓存，当搜索引擎派出蜘蛛去对网站……【查看全文】
-
网站SEO优化的分析诊断报告包含了哪些内容
SEO优化是针对搜索引擎规则做出优化以提高网站排名为目的的优化手段。其所需时间往往是长久性的，包括从网站域名、服务器、程序选取、网站结构、行业分析、竞争分析而切入的优化过程。而SEO诊断，在时间的要求上恰与其截然相反，所求目的完全与优化过程一致：提高网站友……【查看全文】
-
《百度搜索优质内容指南》全文解读
今日，《百度搜索优质内容指南》在百度搜索学院悄悄地上线了，这是百度近两年，再次重新深度定义什么是百度搜索优质内容，对于SEO人员而言，特别是对于新站长而言，具有非常积极的指导意义，以免造成过多的资源浪费，给予了明确的指导规范的建议。百度搜索2020年全新发布了面向全网内容生产者的《百度搜索优质内容指南》，详细讲述了优质内容的标准，希望给广大内容生产者在生产优质内容时提供参考。关于优质内容的详细标准，请查看以下……【查看全文】
-
网站最新SEO优化公式解析
网站seo优化公式 SEO=Clock=C1+L2+K3+O4 1、是一个积分符号，C=content，L=link，K=keywords，O=others。SEO就是一个长期的对时间积分过程，内容是核心； 2、C1丰富的内容是第一位的要素，按照原创、伪原创、转载依次排列内容的重要性满足用户体验； 3、L2链接的合理与……【查看全文】
-
搜索引擎判定相似文章网页的原理
余弦相似性是指通过测量两个向量内积空间的夹角的余弦值来度量它们之间的相似性。0度角的余弦值是1，而其他任何角度的余弦值都不大于1;并且其最小值是 -1。从而两个向量之间的角度的余弦值确定两个向量是否大致指向相同的方向。两个向量有相同的指向时，余弦相似度的值……【查看全文】
-
SEO链轮是什么？
SEO链轮(SEO Link Wheels)是从国外引入国内的，一种比较新颖的SEO策略，是一种比较先进的网络营销方式。SEO链轮是指通过在互联网上建立大量的独立站点或是在各大门户网站上开设博客，这些独立站点或是博客群通过单向的、有策略、有计划紧密的链接，并都指向要优化的目标……【查看全文】
-
Google搜索质量小组专业解答的25个SEO问题
2013年对于众多站长和SEO可以说是最为波折的一年，这一年百度出台了百度绿萝算法、百度石榴算法和百度绿萝算法2.0，而google也相继出台了谷歌EMD算法、熊猫算法、企鹅算法2.0和蜂鸟算法。作为一个站长或SEOer，你是否对这些算法还存在很多的疑惑，尤其对于靠做外贸产品……【查看全文】
分类目录
运营数据中常见的数据陷阱
如何撰写一份产品体验报告？
生活中的一些好点子教会你如何赚钱
中小站长常用的5种赚钱方法
O2O营销模式的深入解析
传统行业该如何做电子商务？
知乎问答社区的运营机制
移动设备Web App开发与调试的相关知识要点
产品经理该如何做好产品的架构和流程
APP消息推送的误区与真相互联网更多>>
基于贝叶斯推断应用原理的过滤垃圾邮件研究
随着电子邮件的应用与普及，垃圾邮件的泛滥也越来越多地受到人们的关注。而目前正确识别垃圾邮件的技术难度非……
云服务器的常规安全设置及基本安全策略
我们要保障云服务器数据安全，首先应树立正确的安全意识，从监控、入侵防御、数据备份等多方面做好安全措施，……
互联网技术的50年发展回顾与分析
1998年至2008年是公认的互联网飞速发展的十年，无论是传输速率、网络规模、关键技术还是应用领域都经历了大幅的增……
网站CSS代码优化的7个原则 
交互设计的三要素：目标、任务和行为 
织梦dedecms列表页实现无限下拉加载效果的方法技巧 SEO优化 更多>>
|
|
-
百度公告：关于近期出现网站劫持用
近日，百度搜索技术团队发现，搜索结果中的部…… -
医疗行业开展品牌推广急需解决的1
如今医疗行业要想在互联网上占有一席之地，就…… -
移动设备前端开发中viewport的理论及使
在移动设备上进行网页的重构或开发，首先得搞…… -
百度对站点Logo属性审核原则的具体要
自百度搜索资源平台后台的站点属性设置开通上…… -
未来的站内SEO优化需要做些什么？
SEO说难不难，说简单也不是那么简单，很多人问…… -
医疗行业该如何做免费营销推广
当前医疗网站越来越多，竞争也越来越激烈，各…… -
预约未到诊患者的回访技巧及话术整
很多朋友问预约是否有技巧，个人认为技巧是沉…… -
外贸企业网站常用的5个优化推广方法
做海外推广不同国内的网站推广，因为在文化、……