公借种日日躁娇娇,色婷婷久久综合中文久久,999日韩美女乱伦,欧美女人色图片,精品人妖一区二区三区电影 ,手机看片自拍自拍日韩,国产又色又爽又黄的男女小说免费,亚洲第一成年免费网站

推廣 熱搜: SEO  廣州  貸款  深圳  網站建設  醫院  用戶體驗  貴金屬  機器人  木 

Robots的影響與排名優化的關系

   日期:2013-12-24 23:26:43     來源:互聯網    作者:258信息網    瀏覽:5    
核心提示:讓我們先來認識下什么是Robots Robots協議(也稱為爬蟲協議、機器人協議等)的全稱是網絡爬蟲排除標準(Robots Exclusion Protoc
?
 讓我們先來認識下什么是Robots
     Robots協議(也稱為爬蟲協議、機器人協議等)的全稱是“網絡爬蟲排除標準”(Robots Exclusion Protocol),網站通過Robots協議告訴搜索引擎哪些頁面可以抓取,哪些頁面不能抓取。
一、影響
Robots協議是網站出于安全和隱私考慮,防止搜索引擎抓取敏感信息而設置的。搜索引擎的原理是通過一種爬蟲spider程序,自動搜集互聯網上的網頁并獲取相關信息。而鑒于網絡安全與隱私的考慮,每個網站都會設置自己的Robots協議,來明示搜索引擎,哪些內容是愿意和允許被搜索引擎收錄的,哪些則不允許。搜索引擎則會按照Robots協議給予的權限進行抓取。
Robots協議代表了一種契約精神,互聯網企業只有遵守這一規則,才能保證網站及用戶的隱私數據不被侵犯。違背Robots協議將帶來巨大安全隱憂——此前,曾經發生過這樣一個真實的案例:國內某公司員工郭某給別人發了封求職的電子郵件,該Email存儲在某郵件服務公司的服務器上。因為該網站沒有設置robots協議,導致該Email被搜索引擎抓取并被網民搜索到,為郭某的工作生活帶來極大困擾。
如今,在中國國內互聯網行業,正規的大型企業也都將Robots協議當做一項行業標準,國內使用Robots協議最典型的案例,就是淘寶網拒絕百度搜索、京東拒絕一淘搜索。不過,絕大多數中小網站都需要依靠搜索引擎來增加流量,因此通常并不排斥搜索引擎,也很少使用Robots協議。
北京市漢卓律師事務所首席律師趙虎表示,Robots協議是維護互聯網世界隱私安全的重要規則。如果這種規則被破壞,對整個行業就是滅頂之災。
二、與搜索引擎優化的關系
百度對robots.txt是有反應的,但比較慢,在減少禁止目錄抓取的同時也減少了正常目錄的抓取。
原因應該是入口減少了,正常目錄收錄需要后面再慢慢增加。
Google對robots.txt反應很到位,禁止目錄馬上消失了,部分正常目錄收錄馬上上升了。/comment/目錄收錄也下降了,還是受到了一些老目標減少的影響。
搜狗抓取呈現普遍增加的均勢,部分禁止目錄收錄下降了。
總結一下:Google似乎最懂站長的意思,百度等其它搜索引擎只是被動的受入口數量影響了。
 
免責聲明:以上所展示的信息由網友自行發布,內容的真實性、準確性和合法性由發布者負責。 匯能之窗網對此不承擔任何保證責任, 匯能之窗網僅提供信息存儲空間服務。任何單位或個人如對以上內容有權利主張(包括但不限于侵犯著作權、商業信譽等),請與我們聯系并出示相關證據,我們將按國家相關法規即時移除。

本文地址:http://www.av5050.com/news/SEOyouhua/201312/672.html

打賞
 
更多>同類資訊

推薦圖文
推薦資訊
點擊排行
?
網站首頁  |  付款方式  |  關于我們  |  聯系方式  |  使用協議  |  版權隱私  |  網站地圖  |  排名推廣  |  積分換禮  |  RSS訂閱  |  違規舉報  |  粵ICP備11090451號

免責聲明:本站所有信息均來自互聯網搜集,產品相關信息的真實性準確性均由發布單位及個人負責,請大家仔細辨認!并不代表本站觀點,匯能之窗網對此不承擔任何相關法律責任!如有信息侵犯了您的權益,請告知,本站將立刻刪除。