諮詢熱線:02-2369-8858

robots meta標籤和x-roborts-tag HTTP回應標頭

robots meta標籤和x-roborts-tag HTTP回應標頭

最後更新:2018/04/19 作者:Bruce
加入好友
robots meta標籤和x-roborts-tag HTTP回應標頭

robots meta 指令,是一小段程式碼,用以指示網路爬蟲如何索引或搜爬網頁內容,本篇文章將介紹標題所述的兩種指令方式。先前介紹過的robots.txt文件,功用是給予網路爬蟲對於網站整體該如何檢索(搜爬)的指示;而本文中介紹的robots meta指令,則是給予網路爬蟲對於網頁層級的索引(收錄)設定,以及如何搜爬頁面內容等的一些指示。

第一種指令方式是robots meta tag,也就是robots meta 標籤,在Google的官方文件中會以「漫遊器中繼標籤」稱之;另一種則是透過網路伺服器建立的x-robots-tag HTTP標頭。在兩種方式中可以使用一樣的指令,例如「noindex」或「nofollow」等常見的指令,只是在溝通方式以及應用層面上略有不同。

該特別注意的一點是:robots meta指令要生效,前提是網址必須受到檢索,如果robots.txt禁止某個網頁被搜尋引擎的爬蟲程式檢索,則該爬蟲程式就無法得知跟索引有關的指令,這些指令就不會產生作用。

另外,如同robots.txt,這些指令並不給予網路爬蟲強制的命令,只是針對索引的相關偏好設定,所以並不是所有爬蟲程式都會遵循。

 

可使用的指令

若是沒有特別寫出指令,則預設設定會是允許所有的索引與檢索動作。
指令的使用不分大小寫,但不同搜尋引擎不一定會以相同的方式處理指令,以下對指令的介紹會是以Google搜尋引擎為主。

index - 告訴搜尋引擎索引該網頁,這是預設值,可以不用特別寫出。

noindex - 不要索引,也就是不要讓該網頁在搜尋結果中出現,也不要顯示快取的連結。

follow - 告訴搜尋引擎跟隨該網頁上的連結,同樣為預設值,而即便網頁未被索引,爬蟲也應該要跟隨網頁上的連結。

nofollow - 不要跟隨該網頁上的連結。

none - 等同於同時使用noindex與nofollow指令。

noarchive - 不要在搜尋結果顯示該頁面快取的連結。

nosnippet - 不要在搜尋結果顯示程式碼片段(以Google來說,即meta description)

noimageindex - 不要為該頁面上的圖片建立索引。

notranslate - 不要提供該頁面的翻譯於搜尋結果中。

unavailable_after: [RFC-850 date/time] - 在所指定的時間或日期後不再於搜尋結果中顯示該網頁。時間或日期須使用RFC 850格式。

noodp(已過時) - 不要使用開放式目錄專案中的描述顯示於搜尋結果。該專案(DMOZ)網站已經於2017年關閉,故此指令已過時。

 

meta robots tag

也就是meta robots 標籤,Google的官方文件中會稱之為漫遊器中繼標記。
可以讓你針對特定的網頁,個別設定搜尋引擎如何對其建立索引,此標記應放置於網頁的
區段內。

如上的範例,指示所有的爬蟲程式不要在搜尋結果中顯示該網頁。
你可以將name屬性的值改為你所要特別指定的爬蟲程式名稱,content的值則可以做指令的修改。
像下面這個範例就是特別針對Google的爬蟲,告訴它不要跟隨此頁面上的所有連結。


而如果想要對相同的爬蟲程式使用兩個以上的指令呢?例如要同時禁止索引與頁面上連結的跟隨,
只要在content屬性的值中以半形逗號分隔各個指令即可,範例如下:


如果想要個別指定多個爬蟲程式,可以使用多個robots meta tag,如下:

以Google來說,若是遇到相互重疊的指令,會採用限制最多的指令。

 

x-robots-tag

X-robots-tag可以作為指定網址的HTTP標頭回應的一部分,以控制整個頁面或是特定元素的索引方式。
你可以使用與meta robots tag相同的指令,而由於x-robots-tag可以使用正規表達式,並且不是透過HTML檔案發送指示,所以相對的更有彈性。

下面的範例指示所有的爬蟲不要為網頁建立索引:

HTTP/1.1 200 OK
Date: Tue, 25 May 2010 21:42:43 GMT
(…)
X-Robots-Tag: noindex
(…)


在HTTP的回應中,你可以使用多個指令,以逗號分開,也可以撰寫多個X-Robots-Tag標頭

HTTP/1.1 200 OK
Date: Tue, 25 May 2010 21:42:43 GMT
(…)
X-Robots-Tag: noarchive, unavailable_after: 25 Jun 2010 15:00:00 PST
(…)
HTTP/1.1 200 OK
Date: Tue, 25 May 2010 21:42:43 GMT
(…)
X-Robots-Tag: noarchive
X-Robots-Tag: unavailable_after: 25 Jun 2010 15:00:00 PST

(…)


如果要針對特定的爬蟲程式撰寫指令,方式如下:

HTTP/1.1 200 OK
Date: Tue, 25 May 2010 21:42:43 GMT
(…)
X-Robots-Tag: robots: nofollow
X-Robots-Tag: googlebot: nosnippet

(…)


以下是一些你可能會想透過x-robots-tag給予指令的情況:

  • 控制如圖片、影片等不在HTML中的內容的索引。
  • 不影響整個頁面的索引的情況下,禁止某個特定元素的索引,如某個影片或圖片。
  • 在無法存取HTML中head區段的情況下對索引方式進行設定。
  • 添加決定頁面是否可被索引的規則。

 

robots meta指令的SEO重點提醒

  • 所有的meta指令都需要透過對網頁的檢索而讓搜尋引擎接收,所以透過robots.txt禁止檢索的網址,網頁中的meta指令會被忽略,即便包含了noindex指令,網頁可能仍會出現在搜尋結果中。
  • 若是不想讓網頁顯示在搜尋結果中,應該優先採用robots meta指令,而非robots.txt文件。
  • 並非所有的網路爬蟲都會遵循robots meta指令,故如果網站有頁面包含隱私資訊,不希望被公開搜尋取得,應該以更安全的方式,如密碼保護,讓訪客無法瀏覽機密的頁面內容。
  • robots meta tag與x-robots-tag效果相同,擇一使用即可。

 

cover image credit:Designed by Dooder / Freepik
本文作者:Bruce

熱門文章

行銷STP 品牌市場定位:報紙廣告實戰演練

先了解自己,才能步入正軌,成長茁壯,發揚光大。 你了解自己的產品服務嗎? 在艱難的行銷道路上,是否開始迷失方向? 好的定位讓您上天堂,沒有明確定位則會讓你陷入泥淖,越陷越深離目標越來越遠。   今日來分享KPN奇寶廣告優化績效師日常- ....

SEO是什麼?SEO該怎麼做?一篇就懂SEO搜尋引....

我不了解什麼是SEO 什麼是SEO(搜尋引擎優化)? SEO是Search Engine Optimization的縮寫,中文稱作搜尋引擎優化。是一種對搜尋引擎規則的了解,針對網站進行調整,同時打造優良的使用者體驗,提供使用者關心的資訊與內容,進而提升網站排名....

在你的FB粉絲專頁新增Instagram頁籤!

不知道你有沒有注意過,有些粉絲專頁上會有Instagram的應用程式。 如果你也是常使用Instagram分享圖片做行銷的廠商,可以一起看看究竟要如何連結這兩種社群平台喔! 目錄 登入FB 搜尋「Instatab」 新增粉絲專業 請點選「小齒輪圖示」 選擇「編輯設定....

結構化資料與語意標記,讓Google更懂網站的....

結構化資料標記,讓Google更懂網站的心! 2020/05/29 更新:使用影片結構化資料搜尋成效   你有沒有在搜尋資料的時候,在結果頁上看到有些網頁呈現出來的資訊就是比其他人還要豐富?能夠展示公司網站中重要頁面、最近的活動、發文、或是在地商家的評等....

延伸閱讀

SEO相關的robots.txt 觀念總整理

robots.txt是一份純文字檔案,用以告訴網路爬蟲程式,網站上的哪些特定頁面禁止爬取。 有些時候,網站主並不希望某些頁面被抓取,例如依不同條件排序的商品列表頁面、某些無意義的頁面,或是仍在測試階段的頁面等等,為避免搜尋引擎因為爬取這些頁面而耗費網站其他部....

SEO是什麼?SEO該怎麼做?一篇就懂SEO搜尋引....

我不了解什麼是SEO 什麼是SEO(搜尋引擎優化)? SEO是Search Engine Optimization的縮寫,中文稱作搜尋引擎優化。是一種對搜尋引擎規則的了解,針對網站進行調整,同時打造優良的使用者體驗,提供使用者關心的資訊與內容,進而提升網站排名....

描述標籤(Meta Description)的SEO優化

本文分四個段落加以介紹: 目錄 什麼是Meta Description? meta description是Google排名因素之一嗎? 網頁摘要是如何產生的 如何優化meta description 具備敘述性、吸引使用者 每頁使用獨特的meta description 關於社群分享有一點可以注....

Google我的商家驗證教學,幫助你完成商家曝....

搜尋公司相關產品或是公司名稱的時候,如果能夠跳出畫面右方紅框的資訊,對於商家絕對是大大加分! 目錄 驗證Google商家的方式 驗證Google商家可能遇到的狀況 聯繫Google商家客服 驗證Google商家的方式 想要做到這件事,首先,你必須先去Googl....

Copyright © KPN SEO 2020. All Rights Reserved / 台北市大安區羅斯福路三段301號8樓 02-23698858 service@kpnweb.com

線上客服