robots meta 指令,是一小段程式碼,用以指示網路爬蟲如何索引或搜爬網頁內容,本篇文章將介紹標題所述的兩種指令方式。先前介紹過的robots.txt文件,功用是給予網路爬蟲對於網站整體該如何檢索(搜爬)的指示;而本文中介紹的robots meta指令,則是給予網路爬蟲對於網頁層級的索引(收錄)設定,以及如何搜爬頁面內容等的一些指示。
第一種指令方式是robots meta tag,也就是robots meta 標籤,在Google的官方文件中會以「漫遊器中繼標籤」稱之;另一種則是透過網路伺服器建立的x-robots-tag HTTP標頭。在兩種方式中可以使用一樣的指令,例如「noindex」或「nofollow」等常見的指令,只是在溝通方式以及應用層面上略有不同。
該特別注意的一點是:robots meta指令要生效,前提是網址必須受到檢索,如果robots.txt禁止某個網頁被搜尋引擎的爬蟲程式檢索,則該爬蟲程式就無法得知跟索引有關的指令,這些指令就不會產生作用。
另外,如同robots.txt,這些指令並不給予網路爬蟲強制的命令,只是針對索引的相關偏好設定,所以並不是所有爬蟲程式都會遵循。
可使用的指令
若是沒有特別寫出指令,則預設設定會是允許所有的索引與檢索動作。
指令的使用不分大小寫,但不同搜尋引擎不一定會以相同的方式處理指令,以下對指令的介紹會是以Google搜尋引擎為主。
index - 告訴搜尋引擎要索引該網頁,這是預設值,可以不用特別寫出。
noindex - 不要索引,也就是不要讓該網頁在搜尋結果中出現,也不要顯示快取的連結。
follow - 告訴搜尋引擎要跟隨該網頁上的連結,同樣為預設值,而即便網頁未被索引,爬蟲也應該要跟隨網頁上的連結。
nofollow - 不要跟隨該網頁上的連結。
none - 等同於同時使用noindex與nofollow指令。
noarchive - 不要在搜尋結果顯示該頁面快取的連結。
nosnippet - 不要在搜尋結果顯示程式碼片段(以Google來說,即meta description)
noimageindex - 不要為該頁面上的圖片建立索引。
notranslate - 不要提供該頁面的翻譯於搜尋結果中。
unavailable_after: [RFC-850 date/time] - 在所指定的時間或日期後不再於搜尋結果中顯示該網頁。時間或日期須使用RFC 850格式。
noodp(已過時) - 不要使用開放式目錄專案中的描述顯示於搜尋結果。該專案(DMOZ)網站已經於2017年關閉,故此指令已過時。
meta robots tag
也就是meta robots 標籤,Google的官方文件中會稱之為漫遊器中繼標記。
可以讓你針對特定的網頁,個別設定搜尋引擎如何對其建立索引,此標記應放置於網頁的區段內。
如上的範例,指示所有的爬蟲程式不要在搜尋結果中顯示該網頁。
你可以將name屬性的值改為你所要特別指定的爬蟲程式名稱,content的值則可以做指令的修改。
像下面這個範例就是特別針對Google的爬蟲,告訴它不要跟隨此頁面上的所有連結。
而如果想要對相同的爬蟲程式使用兩個以上的指令呢?例如要同時禁止索引與頁面上連結的跟隨,
只要在content屬性的值中以半形逗號分隔各個指令即可,範例如下:
如果想要個別指定多個爬蟲程式,可以使用多個robots meta tag,如下:
以Google來說,若是遇到相互重疊的指令,會採用限制最多的指令。
x-robots-tag
X-robots-tag可以作為指定網址的HTTP標頭回應的一部分,以控制整個頁面或是特定元素的索引方式。
你可以使用與meta robots tag相同的指令,而由於x-robots-tag可以使用正規表達式,並且不是透過HTML檔案發送指示,所以相對的更有彈性。
下面的範例指示所有的爬蟲不要為網頁建立索引:
在HTTP的回應中,你可以使用多個指令,以逗號分開,也可以撰寫多個X-Robots-Tag標頭
如果要針對特定的爬蟲程式撰寫指令,方式如下:
以下是一些你可能會想透過x-robots-tag給予指令的情況:
robots meta指令的SEO重點提醒
cover image credit:Designed by Dooder / Freepik
本文作者:Bruce
行銷STP 品牌市場定位:報紙廣告實戰演練
先了解自己,才能步入正軌,成長茁壯,發揚光大。 你了解自己的產品服務嗎? 在艱難的行銷道路上,是否開始迷失方向? 好的定位讓您上天堂,沒有明確定位則會讓你陷入泥淖,越陷越深離目標越來越遠。 今日來分享KPN奇寶廣告優化績效師日常- ....
在你的FB粉絲專頁新增Instagram頁籤!
不知道你有沒有注意過,有些粉絲專頁上會有Instagram的應用程式。 如果你也是常使用Instagram分享圖片做行銷的廠商,可以一起看看究竟要如何連結這兩種社群平台喔! 目錄 登入FB 搜尋「Instatab」 新增粉絲專業 請點選「小齒輪圖示」 選擇「編輯設定....
結構化資料與語意標記,讓Google更懂網站的....
結構化資料標記,讓Google更懂網站的心! 2020/05/29 更新:使用影片結構化資料搜尋成效 你有沒有在搜尋資料的時候,在結果頁上看到有些網頁呈現出來的資訊就是比其他人還要豐富?能夠展示公司網站中重要頁面、最近的活動、發文、或是在地商家的評等....
SEO相關的robots.txt 觀念總整理
robots.txt是一份純文字檔案,用以告訴網路爬蟲程式,網站上的哪些特定頁面禁止爬取。 有些時候,網站主並不希望某些頁面被抓取,例如依不同條件排序的商品列表頁面、某些無意義的頁面,或是仍在測試階段的頁面等等,為避免搜尋引擎因為爬取這些頁面而耗費網站其他部....
描述標籤(Meta Description)的SEO優化
本文分四個段落加以介紹: 目錄 什麼是Meta Description? meta description是Google排名因素之一嗎? 網頁摘要是如何產生的 如何優化meta description 具備敘述性、吸引使用者 每頁使用獨特的meta description 關於社群分享有一點可以注....
Google我的商家驗證教學,幫助你完成商家曝....
搜尋公司相關產品或是公司名稱的時候,如果能夠跳出畫面右方紅框的資訊,對於商家絕對是大大加分! 目錄 驗證Google商家的方式 驗證Google商家可能遇到的狀況 聯繫Google商家客服 驗證Google商家的方式 想要做到這件事,首先,你必須先去Googl....
Copyright © KPN SEO 2020. All Rights Reserved / 台北市大安區羅斯福路三段301號8樓 02-23698858 service@kpnweb.com