讓我們先來認識下什么是Robots
Robots協議(也稱為爬蟲協議、機器人協議等)的全稱是“網絡爬蟲排除標準”(Robots Exclusion Protocol),網站通過Robots協議告訴搜索引擎哪些頁面可以抓取,哪些頁面不能抓取。
一、影響
Robots協議是網站出于安全和隱私考慮,防止搜索引擎抓取敏感信息而設置的。搜索引擎的原理是通過一種爬蟲spider程序,自動搜集互聯網上的網頁并獲取相關信息。而鑒于網絡安全與隱私的考慮,每個網站都會設置自己的Robots協議,來明示搜索引擎,哪些內容是愿意和允許被搜索引擎收錄的,哪些則不允許。搜索引擎則會按照Robots協議給予的權限進行抓取。
Robots協議代表了一種契約精神,互聯網企業只有遵守這一規則,才能保證網站及用戶的隱私數據不被侵犯。違背Robots協議將帶來巨大安全隱憂——此前,曾經發生過這樣一個真實的案例:國內某公司員工郭某給別人發了封求職的電子郵件,該Email存儲在某郵件服務公司的服務器上。因為該網站沒有設置robots協議,導致該Email被搜索引擎抓取并被網民搜索到,為郭某的工作生活帶來極大困擾。
如今,在中國國內互聯網行業,正規的大型企業也都將Robots協議當做一項行業標準,國內使用Robots協議最典型的案例,就是淘寶網拒絕百度搜索、京東拒絕一淘搜索。不過,絕大多數中小網站都需要依靠搜索引擎來增加流量,因此通常并不排斥搜索引擎,也很少使用Robots協議。
北京市漢卓律師事務所首席律師趙虎表示,Robots協議是維護互聯網世界隱私安全的重要規則。如果這種規則被破壞,對整個行業就是滅頂之災。
二、與搜索引擎優化的關系
百度對robots.txt是有反應的,但比較慢,在減少禁止目錄抓取的同時也減少了正常目錄的抓取。
原因應該是入口減少了,正常目錄收錄需要后面再慢慢增加。
Google對robots.txt反應很到位,禁止目錄馬上消失了,部分正常目錄收錄馬上上升了。/comment/目錄收錄也下降了,還是受到了一些老目標減少的影響。
搜狗抓取呈現普遍增加的均勢,部分禁止目錄收錄下降了。
總結一下:Google似乎最懂站長的意思,百度等其它搜索引擎只是被動的受入口數量影響了。
Robots協議(也稱為爬蟲協議、機器人協議等)的全稱是“網絡爬蟲排除標準”(Robots Exclusion Protocol),網站通過Robots協議告訴搜索引擎哪些頁面可以抓取,哪些頁面不能抓取。
一、影響
Robots協議是網站出于安全和隱私考慮,防止搜索引擎抓取敏感信息而設置的。搜索引擎的原理是通過一種爬蟲spider程序,自動搜集互聯網上的網頁并獲取相關信息。而鑒于網絡安全與隱私的考慮,每個網站都會設置自己的Robots協議,來明示搜索引擎,哪些內容是愿意和允許被搜索引擎收錄的,哪些則不允許。搜索引擎則會按照Robots協議給予的權限進行抓取。
Robots協議代表了一種契約精神,互聯網企業只有遵守這一規則,才能保證網站及用戶的隱私數據不被侵犯。違背Robots協議將帶來巨大安全隱憂——此前,曾經發生過這樣一個真實的案例:國內某公司員工郭某給別人發了封求職的電子郵件,該Email存儲在某郵件服務公司的服務器上。因為該網站沒有設置robots協議,導致該Email被搜索引擎抓取并被網民搜索到,為郭某的工作生活帶來極大困擾。
如今,在中國國內互聯網行業,正規的大型企業也都將Robots協議當做一項行業標準,國內使用Robots協議最典型的案例,就是淘寶網拒絕百度搜索、京東拒絕一淘搜索。不過,絕大多數中小網站都需要依靠搜索引擎來增加流量,因此通常并不排斥搜索引擎,也很少使用Robots協議。
北京市漢卓律師事務所首席律師趙虎表示,Robots協議是維護互聯網世界隱私安全的重要規則。如果這種規則被破壞,對整個行業就是滅頂之災。
二、與搜索引擎優化的關系
百度對robots.txt是有反應的,但比較慢,在減少禁止目錄抓取的同時也減少了正常目錄的抓取。
原因應該是入口減少了,正常目錄收錄需要后面再慢慢增加。
Google對robots.txt反應很到位,禁止目錄馬上消失了,部分正常目錄收錄馬上上升了。/comment/目錄收錄也下降了,還是受到了一些老目標減少的影響。
搜狗抓取呈現普遍增加的均勢,部分禁止目錄收錄下降了。
總結一下:Google似乎最懂站長的意思,百度等其它搜索引擎只是被動的受入口數量影響了。


