談股論金股票論壇

 找回密碼
 立即注冊

QQ登錄

只需一步,快速開始

搜索

利用robots文件做seo優化 讓蜘蛛更好的抓取網站

已有 198 次閱讀2018-4-6 10:13 |個人分類:網站運營| robots, seo優化, 抓取網站

robots文件存在于網站根目錄,是用來告訴百度蜘蛛那些應該抓取,那些不應該抓取。正確使用robots文件有助于做好seo優 化,robots文件的核心詞匯就是allow和disallow用法。百度官網是認可這個文件的,在百度站長平臺上也有robots這個欄目,點擊進 入,就可以看到你網站robots文件是否編寫正確了。

百度robots文件使用說:

1、robots.txt可以告訴百度您網站的哪些頁面可以被抓取,哪些頁面不可以被抓取。

2、您可以通過Robots工具來創建、校驗、更新您的robots.txt文件,或查看您網站robots.txt文件在百度生效的情況。

3、Robots工具暫不支持https站點。

4、Robots工具目前支持48k的文件內容檢測,請保證您的robots.txt文件不要過大,目錄最長不超過250個字符。

上圖我給的一個例子中,disallow語句有問題,原因是把英文的冒號寫成了中文的冒號。

當然直接輸入網站根目錄加上robtots.txt文件也可以

User-agent:*是用來置頂那些搜索引擎蜘蛛可以抓取的,一般默認設置

Disallow:/category?s=*搜索結果頁面和分類目錄搜索結果頁面,這里沒必要再次抓取。

Disallow:/wp-admin/ Disallow:/wp-content/ Disallow:/wp-includes/這三個目錄是系統目錄,一般都是屏蔽蜘蛛抓取

Disallow:feed Disallow:/comments/feed訂閱鏈接

Disallow:/?p=*文章短鏈接,會自動301跳轉到長連接

例如,朱海濤博客之前就被收錄過短連接

Disallow:comment-page-*

Disallow: page/

Disallow: feed

Disallow: /comments/feed

Disallow: /?s=*

Disallow: page/

Sitemap: /sitemap.xml


路過

雞蛋

鮮花

握手

雷人

評論 (0 個評論)

facelist

您需要登錄后才可以評論 登錄 | 立即注冊

QQ|談股論金股票論壇 ( 皖ICP備13004459號 )

GMT+8, 2019-8-18 22:18 , Processed in 0.073860 second(s), 17 queries .

Powered by www.nagcrl.tw X3.4

返回頂部
天津快乐10分技巧