robots文件每個SEO優化者都強調何其重要,那我們就來看看到底可以有啥作用
首先robots.txt文件,是用txt格式存放在網站根目錄
使用robots文件有啥好處?最主要有3個作用
1.引導蜘蛛爬取網站
2.建立禁止爬取網站
robot文件基本上只有2行內容
User-agent : 寫入搜尋引擎蜘蛛名稱
Disallow : 禁止攔截的目錄
一般常用的方式說明
完全訪問 : 意指所有目錄開放蜘蛛瀏覽造訪
User-agent:*
Disallow:
阻止所有訪問 : 意指所有目錄不開放蜘蛛瀏覽造訪,切忌如果對你網站這麼做你將永遠失去排名,無法被搜尋引擎引
User-agent:*
Disallow:/
阻止一個文件 : 意指該文件不允許瀏覽造訪
User-agent:*
Disallow:/ folder /
阻止一個網頁檔 : 意指該網頁不允許瀏覽造訪
User-agent:*
Disallow:/file.html
robots文件注意事項
文件使用不當可能影響搜尋引擎排名
善用文件可引導蜘蛛造訪網頁進行探索互動
以下是小小工具測試,檢設你的robots.txt文件設置是否正確 https://varvy.com/