宇霄網絡 > 新聞資訊 > 網站優化 >

百度站長工具教程十一:如何使用Robots工具?

編輯 / 宇霄網絡 / 2018-07-10 21:43:19

百度站長平臺使用的人有很多,可是依然有許多人不知道如何正確使用平臺中的站長工具,宇霄網絡小編想給大家匯總下百度站長工具的用法,今天小編就給大家介紹下如何使用Robots工具。

  百度站長平臺使用的人有很多,可是依然有許多人不知道如何正確使用平臺中的站長工具,宇霄網絡小編想給大家匯總下百度站長工具的用法,今天小編就給大家介紹下如何使用Robots工具。

Robots工具

  一、什么是robots文件?

  robots是站點與spider溝通的重要渠道,站點通過robots文件聲明該網站中不想被搜索引擎收錄的部分或者指定搜索引擎只收錄特定的部分。請注意,僅當您的網站包含不希望被搜索引擎收錄的內容時,才需要使用robots.txt文件。如果您希望搜索引擎收錄網站上所有內容,請勿建立robots.txt文件。為了避免站長在設置robots文件時出現,百度站長平臺特別推出了robots工具,幫助站長正確設置robots。

  二、robots.txt文件的格式

  robots文件往往放置于根目錄下,包含一條或更多的記錄,這些記錄通過空行分開(以CR,CR/NL, or NL作為結束符),每一條記錄的格式如下所示:

  "<field>:<optional space><value><optionalspace>"

  在該文件中可以使用#進行注解,具體使用方法和UNIX中的慣例一樣。該文件中的記錄通常以一行或多行User-agent開始,后面加上若干Disallow和Allow行,詳細情況如下:

  User-agent:該項的值用于描述搜索引擎robot的名字。在"robots.txt"文件中,如果有多條User-agent記錄說明有多個robot會受到"robots.txt"的限制,對該文件來說,至少要有一條User-agent記錄。如果該項的值設為*,則對任何robot均有效,在"robots.txt"文件中,"User-agent:*"這樣的記錄只能有一條。如果在"robots.txt"文件中,加入"User-agent:SomeBot"和若干Disallow、Allow行,那么名為"SomeBot"只受到"User-agent:SomeBot"后面的 Disallow和Allow行的限制。

  Disallow:該項的值用于描述不希望被訪問的一組URL,這個值可以是一條完整的路徑,也可以是路徑的非空前綴,以Disallow項的值開頭的URL不會被 robot訪問。例如"Disallow:/help"禁止robot訪問/help.html、/helpabc.html、/help/index.html,而"Disallow:/help/"則允許robot訪問/help.html、/helpabc.html,不能訪問/help/index.html。"Disallow:"說明允許robot訪問該網站的所有url,在"/robots.txt"文件中,至少要有一條Disallow記錄。如果"/robots.txt"不存在或者為空文件,則對于所有的搜索引擎robot,該網站都是開放的。

  Allow:該項的值用于描述希望被訪問的一組URL,與Disallow項相似,這個值可以是一條完整的路徑,也可以是路徑的前綴,以Allow項的值開頭的URL 是允許robot訪問的。例如"Allow:/hibaidu"允許robot訪問/hibaidu.htm、/hibaiducom.html、/hibaidu/com.html。一個網站的所有URL默認是Allow的,所以Allow通常與Disallow搭配使用,實現允許訪問一部分網頁同時禁止訪問其它所有URL的功能。

  使用"*"and"$":Baiduspider支持使用通配符"*"和"$"來模糊匹配url。

  "*" 匹配0或多個任意字符

  "$" 匹配行結束符。

  最后需要說明的是:百度會嚴格遵守robots的相關協議,請注意區分您不想被抓取或收錄的目錄的大小寫,百度會對robots中所寫的文件和您不想被抓取和收錄的目錄做精確匹配,否則robots協議無法生效。

  三、robots.txt文件用法舉例

robots.txt文件用法

  網站誤封Robots該如何處理

  robots文件是搜索生態中很重要的一個環節,同時也是一個很細節的環節。很多站長同學在網站運營過程中,很容易忽視robots文件的存在,進行錯誤覆蓋或者全部封禁robots,造成不必要損失!

  那么如果誤操作封禁了robots怎么辦?今天我們請到了廈門258網站運營負責人——鄭軍偉,為我們分享網站robots誤封禁后該如何操作?

  【案例背景】

  網站開發2.0版本,技術選擇了在線開發,為了避免搜索引擎抓取開發版本,要求技術人員設置了Robots封禁處理。2.0版本開發周期1個月,1個月后網站版本迭代,直接覆蓋了1.0版本,包括Robots封禁文件,2天后發現流量大幅下降,檢查收錄發現800萬收錄降至0條,關鍵詞大量掉線。

Robots案例

  【處理方式】

  1.修改Robots封禁為允許,然后到百度站長后臺檢測并更新Robots。

  2.在百度站長后臺抓取檢測,此時顯示抓取失敗,沒關系,多點擊抓取幾次,觸發蜘蛛抓取站點。

  3.在百度站長后臺抓取頻次,申請抓取頻次上調。

  4.百度反饋中心,反饋是因為誤操作導致了這種情況的發生。

  5.百度站長后臺鏈接提交處,設置數據主動推送(實時)。

  6.更新sitemap網站地圖,重新提交百度,每天手工提交一次。

  以上處理完,接下來就是等待了,萬幸,2天的時間數據開始慢慢回升,到第3天基本回升到正常狀態!

Robots處理

  【案例總結】

  本次事故絕對是運營生涯的一次敗筆,總結反思一下,希望大家避免類似問題。

  1.產品開發一定要避免在線開發,不能為了省事不搭建開發環境。

  2.產品迭代要有流程記錄,開發時做了那些設置處理,那些是不需要放出來的,那些是必須放出來的,要非常清楚。

  3.要經常關注百度站長后臺,關注相關數據變化,從數據變化中及時發現問題

  四、Robots工具使用說明

  1、robots.txt可以告訴百度您網站的哪些頁面可以被抓取,哪些頁面不可以被抓取。

  2、您可以通過Robots工具來創建、校驗、更新您的robots.txt文件,或查看您網站robots.txt文件在百度生效的情況。

  3、Robots工具目前支持48k的文件內容檢測,請保證您的robots.txt文件不要過大,目錄最長不超過250個字符。

  4、如需檢測未驗證站點的robots設置,請在Robots工具進行檢測。

本文由宇霄網絡整理發布http://www.ptpt68.com/ 轉載請注明出處!

關注我們

推薦文章

>百度算法匯總十四:信風算法

>百度搜索將嚴厲打擊色情低俗廣告內

>域名被“強”怎么處理才能把損失降

>百度算法匯總十三:颶風算法2.0

>百度熊掌號搜索名片設置功能正式上

>【沈陽SEO】新手SEOER最容易犯的幾種

>【通遼SEO】新手如何才能學好SEO?

>【赤峰SEO】移動端SEO過程中需要注意

案例展示

競價托管

優化外包

分享到:

百度站長工具教程十一:如何使用Robots工具?

網站優化

<<
百度站長工具教程十:如何使用抓取頻次工具?

>>
百度站長工具教程十二:如何使用網站體檢工具?

相關標簽 Robots工具

掃一掃,關注宇霄網絡微信

分享到微信朋友圈x
打開微信,點擊底部“發現”,使用 “掃一掃” 將網頁分享到朋友圈。
我的世界免费下载_啊 受不了了 不要 嗯_影音先锋2019资源网站_亚洲操操操 <蜘蛛词>| <蜘蛛词>| <蜘蛛词>| <蜘蛛词>| <蜘蛛词>| <蜘蛛词>| <蜘蛛词>| <蜘蛛词>| <蜘蛛词>| <蜘蛛词>| <蜘蛛词>| <蜘蛛词>| <蜘蛛词>| <蜘蛛词>| <蜘蛛词>| <蜘蛛词>| <蜘蛛词>| <蜘蛛词>| <蜘蛛词>| <蜘蛛词>| <蜘蛛词>| <蜘蛛词>| <蜘蛛词>| <蜘蛛词>| <蜘蛛词>| <蜘蛛词>| <蜘蛛词>| <蜘蛛词>| <蜘蛛词>| <蜘蛛词>| <蜘蛛词>| <蜘蛛词>| <蜘蛛词>| <蜘蛛词>| <蜘蛛词>| <蜘蛛词>| <蜘蛛词>| <蜘蛛词>| <蜘蛛词>| <蜘蛛词>| <蜘蛛词>| <文本链> <文本链> <文本链> <文本链> <文本链> <文本链>