百度搜索robots协议全新升级公告
Robots是站点与spider沟通的重要渠道，站点通过robots文件声明本网站中不想被搜索引擎收录的部分或者指定搜索引擎只收录特定的部分。
9月11日，百度搜索robots全新升级。升级后robots将优化对网站视频URL收录抓取情况。仅当您的网站包含不希望被视频搜索引擎收录的内容时，才需要使用robots.txt文件。如果您希望搜索引擎收录网站上所有内容，请勿建立robots.txt文件。
如您的网站未设置robots协议，百度搜索对网站视频URL的收录将包含视频播放页URL，及页面中的视频文件、视频周边文本等信息，搜索对已收录的短视频资源将对用户呈现为视频极速体验页。此外，综艺影视类长视频，搜索引擎仅收录页面URL。
1、什么是视频极速体验页
搜索视频极速体验服务旨在提升用户观看视频体验的一项富媒体体验升级服务，本服务针对短视频需求场景进行体验优化，将为搜索用户提供稳定、流畅、清晰的播放及浏览体验。视频极速体验服务包含视频极速页和合作平台两部分服务，网站可前往平台完善服务设置，获取各项搜索权益。
2、设置搜索robots协议的后果
针对短视频类内容，视频搜索将不再索引、展现网站的视频资源，历史已索引部分会从搜索中屏蔽。若设置部分目录不希望被收录，该目录下内容将从搜索中屏蔽，其余内容在搜索中则以正常结果展示。
3、robots.txt文件的格式
robots文件往往放置于根目录下，包含一条或更多的记录，这些记录通过空行分开（以CR,CR/NL,or NL作为结束符），每一条记录的格式如下所示：
"<field>:<optional space><value><optionalspace>"
在该文件中可以使用#进行注解，具体使用方法和UNIX中的惯例一样。该文件中的记录通常以一行或多行User-agent开始，后面加上若干Disallow和Allow行,详细情况如下：
User-agent:
该项的值用于描述搜索引擎robot的名字。在"robots.txt"文件中，如果有多条User-agent记录说明有多个robot会受到"robots.txt"的限制，对该文件来说，至少要有一条User-agent记录。如果该项的值设为*，则对任何robot均有效，在"robots.txt"文件中，"User-agent:*"这样的记录只能有一条。如果在"robots.txt"文件中，加入"User-agent:SomeBot"和若干Disallow、Allow行，那么名为"SomeBot"只受到"User-agent:SomeBot"后面的 Disallow和Allow行的限制。
Disallow:
该项的值用于描述不希望被访问的一组URL，这个值可以是一条完整的路径，也可以是路径的非空前缀，以Disallow项的值开头的URL不会被robot访问。例如"Disallow:/help"禁止robot访问/help.html、/helpabc.html、/help/index.html，而"Disallow:/help/"则允许robot访问/help.html、/helpabc.html，不能访问/help/index.html。"Disallow:"说明允许robot访问该网站的所有url，在"/robots.txt"文件中，至少要有一条Disallow记录。如果"/robots.txt"不存在或者为空文件，则对于所有的搜索引擎robot，该网站都是开放的。
Allow:
该项的值用于描述希望被访问的一组URL，与Disallow项相似，这个值可以是一条完整的路径，也可以是路径的前缀，以Allow项的值开头的URL是允许robot访问的。例如"Allow:/hibaidu"允许robot访问/hibaidu.htm、/hibaiducom.html、/hibaidu/com.html。一个网站的所有URL默认是Allow的，所以Allow通常与Disallow搭配使用，实现允许访问一部分网页同时禁止访问其它所有URL的功能。
使用"*"and"$"：
Baiduspider支持使用通配符"*"和"$"来模糊匹配url。
"*"匹配0或多个任意字符
"$"匹配行结束符。
最后需要说明的是：百度会严格遵守robots的相关协议，请注意区分您不想被抓取或收录的目录的大小写，百度会对robots中所写的文件和您不想被抓取和收录的目录做精确匹配，否则robots协议无法生效（具体可查看马海祥博客《robots协议文件的写法及语法属性解释》的相关介绍）。
4、robots.txt文件用法举例
关于robots.txt文件用法如下表所示：
5、网站误封Robots该如何处理
robots文件是搜索生态中很重要的一个环节，同时也是一个很细节的环节。在网站运营过程中，很容易忽视robots文件的存在，进行错误覆盖或者全部封禁robots，造成不必要损失！
如果误封禁，请及时删除或修改robots文件，并到百度站长平台robots工具中进行检测和更新。
马海祥博客点评：
自有搜索引擎之日起，Robots协议已是一种目前为止最有效的方式，用自律维持着网站与搜索引擎之间的平衡，让两者之间的利益不致过度倾斜。它就像一个钟摆，让互联网上的搜索与被搜索和谐相处。
本文发布于马海祥博客文章，如想转载，请注明原文网址摘自于https://www.mahaixiang.cn/seoxw/2332.html，注明出处；否则，禁止转载；谢谢配合！上一篇：百度搜索推出细雨算法：促进供求黄页类站点生态健康发展
下一篇：百度搜索将推出飓风算法2.0：严厉打击恶劣采集行为
您可能还会对以下这些文章感兴趣！
-
百度“闪电算法”公告：移动搜索页面首屏加载时间将影响搜索排名
2017年10月初，“闪电算法”上线，移动搜索页面首屏加载时间将影响搜索排名。移动网页首屏在2秒之内完成打开的，在移动搜索下将获得提升页面评价优待，获得流量倾斜；同时，在移动搜索页面首屏加载非常慢（3秒及以上）的网页将会被打压。广大站长优化页面首屏加载时……【查看全文】
-
百度搜索用户建议专区上线公告
近期，百度搜索资源平台上线了搜索用户建议专区，该专区收集展示了搜索用户在使用您网站时，对网站内容和体验等方面提出的意见和建议。为保障百度搜索用户体验，建议广大网站开发者关注搜索用户建议专区消息动态，及时处理用户建议及反馈问题。如何处理搜索用户建议的问题？第一步：登陆搜索资源平台，找到【搜索用户建议】入口；第二步：点击进入【搜索用户建议】专区，查看反馈问题列表；……【查看全文】
-
快速收录上线公告
今天，百度搜索发布了一条最新公告，声称由于移动专区天级暂停使用，为继续支持移动站点提交优质资源，新上线了一个快速收录功能，接替天级收录保持熊掌ID权益不变。快速收录可用于提交站点新增的时效性资源进搜索，收录时间约48小时。4月15日前在搜索资源平台完成熊掌ID站点绑定，且当前仍处于绑定状态的站点。您可在原熊掌ID绑定的站点中选择一个继承提交权益，默认提交配额为10。请在规定时间（5月13日-6月8日）内完成继承设置，逾期未设……【查看全文】
-
惊雷算法3.0即将上线：持续打击刷点击作弊行为
近日，百度搜索平台官方发布最新消息，声称即将上线惊雷算法3.0，持续打击刷点击作弊行为，并提醒存在问题的站点尽快自查整改。为维护广大开发者的权益，促进移动生态的良性发展，百度搜索将于1月中旬推出惊雷算法3.0，并持续扩大算法的影响力。本次升级严厉打击通过伪造用户行为来试图提升网站搜索排序的作弊行为。相对于惊雷算法2.0，本次算法有四个主要升级点：……【查看全文】
-
百度石榴算法的上线对站长们有什么影响
一直以来，我们本着为用户提供最优质直接的信息的原则，不断优化算法、升级系统。保护优质页面与打压低质页面是一直都运用的两种方式。本次想向各位站长朋友传达，我们将针对低质量页面将进行一系列调整，我们称之为石榴算法。第一期将对此类页面生效：含有大量妨碍用户……【查看全文】
-
百度冰桶算法2.0：禁止页面广告遮挡主体内容、强制用户登录
前段时间跟大家分享了关于百度移动搜索“冰桶算法”的情况，一期上线该算法后，我们发现大部分相关站点已经进行了调整，强制用户下载或全屏弹窗的情况得到了一定的遏制。但是我们发现有一大批站点仍然存在严重影响用户使用体验的问题，主要表现为：全屏下载、在狭小的手……【查看全文】
-
百度“闭站保护”工具暂时关闭入口通知
“闭站保护”工具因升级优化，暂时关闭入口。百度搜索资源平台【闭站保护】工具将于近日升级优化，届时将关闭工具线上入口，给您带来的不便敬请谅解。如果您的站点仍在闭站中，待闭站结束网站恢复正常后，您可以通过搜索资源平台的【快速收录】和【普通收录】工具主动提交资源，缩短蜘蛛发现网站链接的时间。如果您有相关问题，欢迎通过搜索资源平台反馈中心提交反馈。 感谢您的关注与支持！……【查看全文】
-
烽火算法3.0：百度烽火算法升级，持续打击网络劫持问题
网站劫持对用户伤害极大，严重危害搜索用户的网络安全。一直以来，网站劫持问题都是百度搜索重点关注和严厉打击的问题之一。百度搜索中的网站劫持有以下两种表现形式：跳转劫持：用户点击目标网页后，页面直接跳转至另一页面；后退劫持：用户完成对某网页的浏览，点击“……【查看全文】
-
MIP Cache服务下线通知
尊敬的各位站长您好：MIP Cache服务至目前为止已上线了三年多，为Web生态输出了优质资源和更为快速的网页浏览体验。此次下线所带来的影响仅在于，从百度搜索结果页点击跳转至符合MIP标准的网页时，将直接显示的原网页而非经由MIP Cache服务抓取缓存之后的页面。MIP核心、组件等前端静态资源仍然会正常维护与使用，因此不会影响到已改造为 MIP 标准的站点的正常访问，也不会影响到站点的正常收录与排序。 ……【查看全文】
阅读：38关键词： 服务通知 日期：2020-04-24 -
百度推出最新外链查询工具beta版：首次公开给出外链数据
据百度站长平台发布的通知，百度外链工具beta版今日正式上线，这是百度网页搜索首次推出外链工具，提供链接到所查询网站的域、该主域下链接url的详细信息及查询网站被链接的网页的详细信息的展示和下载功能，可以说是百度首次给出了外链数据，而外链一直是SEO里面非重要……【查看全文】
-
百度搜索将严厉打击色情低俗广告内容
为了维护健康积极的搜索生态环境、保障用户的搜索体验，百度搜索技术团队将在近期对存在色情低俗广告的违规站点严厉打击，绝不姑息。百度搜索将对色情低俗广告进行屏蔽过滤，并对涉及违规内容的站点采取永久限制搜索展现的处理。请广大资源方尽快自查，处理站点内相关内……【查看全文】
-
百度正式宣布取消百度新闻源数据库机制
因百度对时效性内容识别技术升级，原独立新闻源数据库的形式已不再适合使用，故取消新闻源数据库。原新闻源库中的最优质站点将邀请入驻站长平台VIP俱乐部，站点有机会优先展现在时效性检索结果中，同时享受VIP俱乐部提供的更多服务；无法入驻VIP俱乐部的站点，也仍然有机会在……【查看全文】
-
Google熊猫算法升级：熊猫算法4.1(Panda 4.1)正式发布了
近日，Google（谷歌）公司正式发布了熊猫算法4.1(Panda 4.1)，看序号就知道，这是谷歌针对熊猫算法的一次小版本更新。这一版本更新主要是针对“thin content”以及低质内容站点的惩罚以及排名机制而推出的，新版本或将提升高质量中小站点的排名。谷歌在Google+中称，这次更新……【查看全文】
-
百度PC端搜索favicon下线通知
亲爱的搜索合作伙伴：为提升搜索结果呈现的用户体验，PC端搜索结果中的favicon（如下图红框标出）即日起下线，您的搜索权益不受任何影响，特此公告。favicon的优势在于用户打开很多页面的时候，用户可以快速找到你的网站。所以现在这个图标还是要设置的！而……【查看全文】
-
搜狗搜索宣布正式下线搜狗指数功能
据悉，搜狗指数平台是以搜狗海量网民行为数据和微信公众平台数据为基础的综合数据分析统计平台。用户可以通过搜狗指数查看热门事件、品牌、人物等一系列查询词的搜索人气和微信人气变化趋势，从而掌握网民需求的变化和媒体舆情热点的变化。由于部门业务调整，搜狗指数已于2021年6月3日0时正式关闭服务，感谢您一直以来给予搜狗指数的支持与厚爱!对您造成的不便还望理解，我们期望您继续支持和关注搜狗其他产品。……【查看全文】
-
百度反作弊算法升级：重点打击超链接作弊现象
本次百度系统算法升级，打击的主要对象为意图通过超链作弊的方式操纵网站在百度搜索结果中排名的行为。其中，包括对任一指向贵网站的链接或从贵网站导出的链接进行蓄意操纵的行为。操纵这些链接可能会影响到百度搜索结果的质量从而伤害用户体验，同时亦伤害了大量勤恳建……【查看全文】
-
百度针对优质新闻资源推出“实时推送工具”
“实时推送工具”一改网站新增的优质的时效性内容被动抓取的局面，而是由网站主动推送给百度，直接进入分析筛选从而到达索引库，推送质量直接决定生效时间，这一工具极大缩短了抓取和收录时间，该工具可以有效解决 “新内容迟迟“百度收录竞品却不收自己网站”，以及“……【查看全文】
-
百度算法升级:将打击复制采集、超链作弊和冒充官网欺诈内容网站
在今天下午1点左右，百度网页搜索反作弊团队再次发表公告《百度算法升级，将影响作弊站点收录及低至站点的排序》称，为了提高用户体验、清除低质采集的垃圾内容，百度将在2012年6月底反作弊算法的基础上再度升级，并明确指出打击胡乱采集、超链接作弊、堆积关键词、冒充……【查看全文】
-
白杨算法：基于地域排名优先原则的百度移动搜索算法
百度移功搜索对用户的行为研究发现，用户在移动搜索的行为一始表现出来对于本地或附近结果的强烈需求，餐饮娱乐、服务、生活信息等需求下，用户更倾向于选择当地站点，为更好满足川户地域化需求，也更好扶持各种地方特色类站点，百度移动搜索推出“白杨算法”，对符合……【查看全文】
-
百度正式取消百度快照更新时间显示
为了满足百度用户的时效性需求，让用户更加方便快速地找到所求，百度网页搜索结果中目前已上线内容发布时间，替代之前的快照时间，将网页内容的产生时间更精准的告知用户，降低用户选择成本，提升点击效率，同时也能够提升网站的转化率。百度郑重提示站长：发布时间仅仅……【查看全文】
分类目录
浅谈国内五大O2O商业应用背后的逻辑
详解微信自媒体的4种类型
如何策划撰写一份完整的网站运营推广方案
你知道这5种网赚方式的优点和缺点吗？
盘点电子商务的10大线上分销渠道
产品经理怎么撰写移动应用的PRD文档
如何使用文案的力量来改善用户体验
文章写作常用的的100种写作方法
没有钱该如何做好新产品的网络营销推广
浅谈电子商务的未来发展前景互联网更多>>
heartbleed漏洞事件：可怕的不是公开的漏洞，而是未公开的漏洞
一个漏洞的公开之日就是死亡倒计时的开始。如以前所有的漏洞事件一样，在它被慢慢补上并淡出人们视线之前，黑……
基于眼球追踪技术对用户调研的探讨研究
眼球追踪技术就是当人的眼睛看向不同方向时，眼部会有细微的变化，这些变化会产生可以提取的特征，计算机可以……
如何收集和存储服务器运营的数据
随着数据的逐步完善和开放，互联网和企业都将建立起完善的大数据服务基础架构及商业化模式，从数据的存储、挖……
详解Photoshop的颜色设置和色彩管理 
网站设计的重要因素及注意事项 
dedecms cookies泄漏导致SQL漏洞的修复方法 SEO优化 更多>>
|
|
-
2016年移动端SEO优化方向的趋势预测
为了应对搜索引擎“移动搜索算法更新”而重新…… -
如何利用词频统计原理自动提取文章
我一直觉得要想做好SEO，要做大一个网站，需要…… -
robots协议文件的写法及语法属性解释
当一个搜索蜘蛛访问一个站点时，它会首先检查…… -
头条搜索上线啦：今日头条正式改版
今天在电脑端打开今日头条，想看一些新闻信息…… -
巧用nofollow和tags让收录暴涨
很多人在博客里看到nofollow这个词我想第一时间会…… -
详解Google Analytics计算流量及统计流量
对于一个SEO来说，网站流量来源分析是一个至关…… -
翻页式网页的抓取机制概况
搜索引擎Spider系统的目标就是发现并抓取互联网…… -
移动端SEO优化与PC端SEO优化的不同点
随着移动互联网的快速发展，用户从PC端向移动端……