robots meta 指令，是一小段程式碼，用以指示網路爬蟲如何索引或搜爬網頁內容，本篇文章將介紹標題所述的兩種指令方式。先前介紹過的robots.txt文件，功用是給予網路爬蟲對於網站整體該如何檢索(搜爬)的指示；而本文中介紹的robots meta指令，則是給予網路爬蟲對於網頁層級的索引(收錄)設定，以及如何搜爬頁面內容等的一些指示。

第一種指令方式是robots meta tag，也就是robots meta 標籤，在Google的官方文件中會以「漫遊器中繼標籤」稱之；另一種則是透過網路伺服器建立的x-robots-tag HTTP標頭。在兩種方式中可以使用一樣的指令，例如「noindex」或「nofollow」等常見的指令，只是在溝通方式以及應用層面上略有不同。

該特別注意的一點是：robots meta指令要生效，前提是網址必須受到檢索，如果robots.txt禁止某個網頁被搜尋引擎的爬蟲程式檢索，則該爬蟲程式就無法得知跟索引有關的指令，這些指令就不會產生作用。

另外，如同robots.txt，這些指令並不給予網路爬蟲強制的命令，只是針對索引的相關偏好設定，所以並不是所有爬蟲程式都會遵循。

 

可使用的指令

若是沒有特別寫出指令，則預設設定會是允許所有的索引與檢索動作。
指令的使用不分大小寫，但不同搜尋引擎不一定會以相同的方式處理指令，以下對指令的介紹會是以Google搜尋引擎為主。

index - 告訴搜尋引擎要索引該網頁，這是預設值，可以不用特別寫出。

noindex - 不要索引，也就是不要讓該網頁在搜尋結果中出現，也不要顯示快取的連結。

follow - 告訴搜尋引擎要跟隨該網頁上的連結，同樣為預設值，而即便網頁未被索引，爬蟲也應該要跟隨網頁上的連結。

nofollow - 不要跟隨該網頁上的連結。

none - 等同於同時使用noindex與nofollow指令。

noarchive - 不要在搜尋結果顯示該頁面快取的連結。

nosnippet - 不要在搜尋結果顯示程式碼片段（以Google來說，即meta description）

noimageindex - 不要為該頁面上的圖片建立索引。

notranslate - 不要提供該頁面的翻譯於搜尋結果中。

unavailable_after: [RFC-850 date/time] - 在所指定的時間或日期後不再於搜尋結果中顯示該網頁。時間或日期須使用RFC 850格式。

noodp(已過時) - 不要使用開放式目錄專案中的描述顯示於搜尋結果。該專案(DMOZ)網站已經於2017年關閉，故此指令已過時。

 

meta robots tag

也就是meta robots 標籤，Google的官方文件中會稱之為漫遊器中繼標記。
可以讓你針對特定的網頁，個別設定搜尋引擎如何對其建立索引，此標記應放置於網頁的區段內。

如上的範例，指示所有的爬蟲程式不要在搜尋結果中顯示該網頁。
你可以將name屬性的值改為你所要特別指定的爬蟲程式名稱，content的值則可以做指令的修改。
像下面這個範例就是特別針對Google的爬蟲，告訴它不要跟隨此頁面上的所有連結。

而如果想要對相同的爬蟲程式使用兩個以上的指令呢？例如要同時禁止索引與頁面上連結的跟隨，
只要在content屬性的值中以半形逗號分隔各個指令即可，範例如下：

如果想要個別指定多個爬蟲程式，可以使用多個robots meta tag，如下：

以Google來說，若是遇到相互重疊的指令，會採用限制最多的指令。

 

x-robots-tag

X-robots-tag可以作為指定網址的HTTP標頭回應的一部分，以控制整個頁面或是特定元素的索引方式。
你可以使用與meta robots tag相同的指令，而由於x-robots-tag可以使用正規表達式，並且不是透過HTML檔案發送指示，所以相對的更有彈性。

下面的範例指示所有的爬蟲不要為網頁建立索引：

在HTTP的回應中，你可以使用多個指令，以逗號分開，也可以撰寫多個X-Robots-Tag標頭

如果要針對特定的爬蟲程式撰寫指令，方式如下：

以下是一些你可能會想透過x-robots-tag給予指令的情況：

• 控制如圖片、影片等不在HTML中的內容的索引。
• 不影響整個頁面的索引的情況下，禁止某個特定元素的索引，如某個影片或圖片。
• 在無法存取HTML中head區段的情況下對索引方式進行設定。
• 添加決定頁面是否可被索引的規則。

 

robots meta指令的SEO重點提醒

• 所有的meta指令都需要透過對網頁的檢索而讓搜尋引擎接收，所以透過robots.txt禁止檢索的網址，網頁中的meta指令會被忽略，即便包含了noindex指令，網頁可能仍會出現在搜尋結果中。
• 若是不想讓網頁顯示在搜尋結果中，應該優先採用robots meta指令，而非robots.txt文件。
• 並非所有的網路爬蟲都會遵循robots meta指令，故如果網站有頁面包含隱私資訊，不希望被公開搜尋取得，應該以更安全的方式，如密碼保護，讓訪客無法瀏覽機密的頁面內容。
• robots meta tag與x-robots-tag效果相同，擇一使用即可。

 

cover image credit：Designed by Dooder / Freepik
本文作者：Bruce