諮詢熱線:02-2369-8858

robots meta標籤和x-roborts-tag HTTP回應標頭

robots meta標籤和x-roborts-tag HTTP回應標頭

最後更新:2018/04/19 作者:Bruce
robots meta標籤和x-roborts-tag HTTP回應標頭

robots meta 指令,是一小段程式碼,用以指示網路爬蟲如何索引或搜爬網頁內容,本篇文章將介紹標題所述的兩種指令方式。先前介紹過的robots.txt文件,功用是給予網路爬蟲對於網站整體該如何檢索(搜爬)的指示;而本文中介紹的robots meta指令,則是給予網路爬蟲對於網頁層級的索引(收錄)設定,以及如何搜爬頁面內容等的一些指示。

第一種指令方式是robots meta tag,也就是robots meta 標籤,在Google的官方文件中會以「漫遊器中繼標籤」稱之;另一種則是透過網路伺服器建立的x-robots-tag HTTP標頭。在兩種方式中可以使用一樣的指令,例如「noindex」或「nofollow」等常見的指令,只是在溝通方式以及應用層面上略有不同。

該特別注意的一點是:robots meta指令要生效,前提是網址必須受到檢索,如果robots.txt禁止某個網頁被搜尋引擎的爬蟲程式檢索,則該爬蟲程式就無法得知跟索引有關的指令,這些指令就不會產生作用。

另外,如同robots.txt,這些指令並不給予網路爬蟲強制的命令,只是針對索引的相關偏好設定,所以並不是所有爬蟲程式都會遵循。

 

可使用的指令

若是沒有特別寫出指令,則預設設定會是允許所有的索引與檢索動作。
指令的使用不分大小寫,但不同搜尋引擎不一定會以相同的方式處理指令,以下對指令的介紹會是以Google搜尋引擎為主。

index - 告訴搜尋引擎索引該網頁,這是預設值,可以不用特別寫出。

noindex - 不要索引,也就是不要讓該網頁在搜尋結果中出現,也不要顯示快取的連結。

follow - 告訴搜尋引擎跟隨該網頁上的連結,同樣為預設值,而即便網頁未被索引,爬蟲也應該要跟隨網頁上的連結。

nofollow - 不要跟隨該網頁上的連結。

none - 等同於同時使用noindex與nofollow指令。

noarchive - 不要在搜尋結果顯示該頁面快取的連結。

nosnippet - 不要在搜尋結果顯示程式碼片段(以Google來說,即meta description)

noimageindex - 不要為該頁面上的圖片建立索引。

notranslate - 不要提供該頁面的翻譯於搜尋結果中。

unavailable_after: [RFC-850 date/time] - 在所指定的時間或日期後不再於搜尋結果中顯示該網頁。時間或日期須使用RFC 850格式。

noodp(已過時) - 不要使用開放式目錄專案中的描述顯示於搜尋結果。該專案(DMOZ)網站已經於2017年關閉,故此指令已過時。

 

meta robots tag

也就是meta robots 標籤,Google的官方文件中會稱之為漫遊器中繼標記。
可以讓你針對特定的網頁,個別設定搜尋引擎如何對其建立索引,此標記應放置於網頁的
區段內。

如上的範例,指示所有的爬蟲程式不要在搜尋結果中顯示該網頁。
你可以將name屬性的值改為你所要特別指定的爬蟲程式名稱,content的值則可以做指令的修改。
像下面這個範例就是特別針對Google的爬蟲,告訴它不要跟隨此頁面上的所有連結。


而如果想要對相同的爬蟲程式使用兩個以上的指令呢?例如要同時禁止索引與頁面上連結的跟隨,
只要在content屬性的值中以半形逗號分隔各個指令即可,範例如下:


如果想要個別指定多個爬蟲程式,可以使用多個robots meta tag,如下:

以Google來說,若是遇到相互重疊的指令,會採用限制最多的指令。

 

x-robots-tag

X-robots-tag可以作為指定網址的HTTP標頭回應的一部分,以控制整個頁面或是特定元素的索引方式。
你可以使用與meta robots tag相同的指令,而由於x-robots-tag可以使用正規表達式,並且不是透過HTML檔案發送指示,所以相對的更有彈性。

下面的範例指示所有的爬蟲不要為網頁建立索引:

HTTP/1.1 200 OK
Date: Tue, 25 May 2010 21:42:43 GMT
(…)
X-Robots-Tag: noindex
(…)


在HTTP的回應中,你可以使用多個指令,以逗號分開,也可以撰寫多個X-Robots-Tag標頭

HTTP/1.1 200 OK
Date: Tue, 25 May 2010 21:42:43 GMT
(…)
X-Robots-Tag: noarchive, unavailable_after: 25 Jun 2010 15:00:00 PST
(…)
HTTP/1.1 200 OK
Date: Tue, 25 May 2010 21:42:43 GMT
(…)
X-Robots-Tag: noarchive
X-Robots-Tag: unavailable_after: 25 Jun 2010 15:00:00 PST

(…)


如果要針對特定的爬蟲程式撰寫指令,方式如下:

HTTP/1.1 200 OK
Date: Tue, 25 May 2010 21:42:43 GMT
(…)
X-Robots-Tag: robots: nofollow
X-Robots-Tag: googlebot: nosnippet

(…)


以下是一些你可能會想透過x-robots-tag給予指令的情況:

  • 控制如圖片、影片等不在HTML中的內容的索引。
  • 不影響整個頁面的索引的情況下,禁止某個特定元素的索引,如某個影片或圖片。
  • 在無法存取HTML中head區段的情況下對索引方式進行設定。
  • 添加決定頁面是否可被索引的規則。

 

robots meta指令的SEO重點提醒

  • 所有的meta指令都需要透過對網頁的檢索而讓搜尋引擎接收,所以透過robots.txt禁止檢索的網址,網頁中的meta指令會被忽略,即便包含了noindex指令,網頁可能仍會出現在搜尋結果中。
  • 若是不想讓網頁顯示在搜尋結果中,應該優先採用robots meta指令,而非robots.txt文件。
  • 並非所有的網路爬蟲都會遵循robots meta指令,故如果網站有頁面包含隱私資訊,不希望被公開搜尋取得,應該以更安全的方式,如密碼保護,讓訪客無法瀏覽機密的頁面內容。
  • robots meta tag與x-robots-tag效果相同,擇一使用即可。

 

cover image credit:Designed by Dooder / Freepik
本文作者:Bruce

熱門文章

行銷STP 品牌市場定位:報紙廣告實戰演練

先了解自己,才能走進對的道路,成長茁壯,發揚光大。   你了解自己的產品服務嗎? 在艱難的行銷道路上,是否開始迷失方向? 好的定位讓您上天堂,沒有明確定位將會讓你如同陷入泥淖,越陷越深離目標越來越遠。   今日來分享奇寶績效師日常....

在你的FB粉絲專頁新增Instagram頁籤!

不知道你有沒有注意過,有些粉絲專頁上會有Instagram的應用程式。 如果你也是常使用Instagram分享圖片做行銷的廠商,可以一起看看鳩竟要如何連結這兩種社群平台喔!   首先,請用粉絲專頁管理員的身分登入FB(請確保是以個人的身分) 接著請在搜尋....

醫學美容行銷,不得不知的六大必修課程 (上....

Yumi : 醫學美容產業在廣告規範上相對嚴謹,廣告行銷事前作業一個都不能少!   上月底衛福部公告修正醫療法,當消息一出,在醫美界投下一大震撼彈,引起相關產業的議論,很多診所紛紛調整各自的網站,避免受罰,再加上廣告平台政策對於醫學美容產業各別有....

FB社群經營第一步,專頁設定看這邊!

經營FB專頁一直是大家很關心、想學習的題目,上次Doris也貼心的為大家整理了小編Check List! 但在開始PO文與粉絲們互動前,有哪些是你不可錯過的設定呢?   封面照和大頭照 這應該算是基本中的基本,讓訪客對你的品牌會產品建立第一印象 封面照:828x315....

延伸閱讀

SEO相關的robots.txt 觀念總整理

robots.txt是一份純文字檔案,用以告訴網路爬蟲程式,網站上的哪些特定頁面禁止爬取。 有些時候,網站主並不希望某些頁面被抓取,例如依不同條件排序的商品列表頁面、某些無意義的頁面,或是仍在測試階段的頁面等等,為避免搜尋引擎因為爬取這些頁面而耗費網站其他部分....

結構化資料標記,讓google更懂網站的心!

結構化資料標記,讓Google更懂網站的心!   你有沒有在搜尋資料的時候,在結果頁上看到有些網頁呈現出來的資訊就是比其他人還要豐富?能夠展示公司網站中重要頁面、最近的活動、發文、或是在地商家的評等。 而在網頁的html程式碼中做結構化資料標記,....

Google我的商家驗證教學,幫助你完成商家曝....

搜尋公司相關產品或是公司名稱的時候,如果能夠跳出畫面右方紅框的資訊,對於商家絕對是大大加分! 想要做到這件事,首先,你必須先去Google驗證商家。 如果今天已經新增商家或是搜尋到要驗證的商家後,Google提供下列幾種驗證方式- 索取附有驗證碼的明....

描述標籤(Meta Description)的SEO優化

什麼是Meta Description? Meta Description,或者稱作描述標籤,是html代碼中用以簡短描述網頁內容的一個標籤,其格式如下: 你在描述標籤中所撰寫的內容,並不會呈現在網頁上被使用者看到,只有在原始碼和搜尋結果中,才能看到當中的文字。 這些內容,會出現....

Copyright © KPN SEO 2015. All Rights Reserved / 台北市大安區羅斯福路三段301號8樓 02-23698858 service@kpnweb.com

線上客服