之前有教學過一篇寫入htaccess文件，同時robots也可以用meta標籤來設定
一般robots偷懶一點的方式，可以直接寫在原始碼meta標籤。
meta 標籤針對robots 主要可以區分為4種
index : 宣告機器人可以索引此頁面
follow : 宣告機器人沿著該頁面連結往下抓取
nofollow : 宣告機器人不要沿著該頁面往下抓取
none : 忽略此網頁，等於noindex，nofollow
all : 宣告機器人索引此網頁，並通過網頁上連結往下抓取，等於 index，follow
INDEX,FOLLOW
NOINDEX,FOLLOW
INDEX,NOFOLLOW
NOINDEX,NOFOLLOW
其中
可以用all取代
可以用none取代
目前各大搜尋引擎都支援此指令，如果需要刻意讓某一搜尋引擎抓取，即可以增加搜尋引擎名稱