重複內容對許多人來說，好像披著一層神秘的面紗，總是害怕會因此受到懲罰或是對網站造成某些傷害，卻又不確定實際上會帶來什麼影響、在SEO上該怎麼做。這篇文章，將以Google搜尋引擎為主，告訴你重複內容的可能影響與應對方針。

• 什麼是重複內容？
• 發生重複內容的原因？
• 重複內容會帶來什麼影響？
• 該如何處理重複內容?

 
什麼是重複內容？
重複內容指的是完全相同或大致相同的內容，重覆出現在不同網址(URL)上，此情況可能發生在同網站內或不同網站上。
儘管並不見得會直接導致懲罰，重複內容還是會對搜尋排名造成影響。直觀的理解，當搜尋引擎在網路上的不同處找到相同的內容，就面臨了該呈現哪一個與如何呈現的問題。

 

發生重複內容的原因？
重複內容可能因為以下原因產生：

(1) 支援多種裝置的不同網址
https://example.com/products/cups
https://m.example.com/products/cups
https://amp.example.com/products/cups
 

(2) 因為參數或是SessionID等因素產生的動態網址
https://example.com/products?color=yellow
https://example.com/products?sessionid=5487
https://example.com/products?
 

(3) www與非www的網址
https://www.example.com/products/cups
https://example.com/products/cups
 

(4) http、https的不同網址
http://example.com/products/cups
https://example.com/products/cups
 

(5) 首頁的不同網址
https://example.com
https://example.com/index.html
 

(6) 轉載或抄襲
有時內容被其他網站抄襲，或是轉載，或者作者自己在不同的網站發布相同的文章，都會造成重複內容。
除了文章外，產品資訊也會遇到類似的狀況，假如有許多網站都販賣同樣的商品，但是都用生產商所提供的文字張貼在各自的網頁上，就會造成重複內容出現在不同網站上。

 

重複內容會帶來什麼影響？
2008年時，Susan Moskwa在Google Webmaster Central Blog提到：

Let's put this to bed once and for all, folks: There's no such thing as a "duplicate content penalty." At least, not in the way most people mean when they say that.

並沒有所謂重複內容的懲罰，至少，並不如大家所想的那樣。
這樣講起來還是挺模糊，到底實際上會造成什麼影響呢？

 

先稍微看段影片

Matt Cutts在這部2013年底發布的影片中表示：在網路上，大約有25%-30%的內容是重複的。
實際上發生重複內容的比例並不是那麼重要，重點在於：並不是每個重複內容都是在惡意或是不受鼓勵的狀態下產生，重複內容是可能在正常的情況下發生的，例如：在部落格引用其他人的內容。

Google是在上述的前提下處理重複內容的，一般情況下，重複內容不會被視為不當內容，但是Google並不想將相同的內容全部展列出來，所以會考慮許多因素後，從中挑出原創或是可能最實用的版本展示。若使用者想要看到未經過篩選的內容再自行透過filter參數更改搜尋選項。

但是，當重複內容是為了操縱搜尋結果，或者網頁目的就是複製內容，並且沒有提供更多的附加價值時，就違反了網站管理員指南的方針，網站的排名可能因此降低，或者被從索引中移除。

 

重複內容可以大致分為兩個狀況討論：

(1)在同一個網站內發生  
在這個情況下，除非是為了欺騙或操縱搜尋引擎，若網站主不做任何處理，則搜尋引擎會自行從中挑出所要顯示的版本，也就是所謂的「標準網頁(canonical page)」。
搜尋引擎對標準網頁的檢索頻率會比起其他重複的網頁來的高，若Google所認定的標準網頁與你所認定的不同，且沒有想辦法讓Googlebot知道，則你想經營的頁面可能不會建立索引、或是不易出現在搜尋結果中。把檢索的資源花在重複內容的網頁上，也可能排擠到Googlebot對其他網頁的檢索效能。
另外一個造成的影響是：如果網站上相同的內容分布在多個網頁上，則其他網站所建立的連結網址也可能是分散的，比起全部都連結到同一個網址，會分散排名能力與單一網頁的曝光程度。
 

(2)重複內容出現在其他網站上
交給搜尋引擎判斷不同網站間的重複內容，哪個是原創版本，有可能出現判斷失準的狀況，讓原本是原創的頁面被當作轉載或是抄襲的，這對於原創者無異是重大的打擊。

 

該如何處理重複內容?
處理重複內容的大方向就是：指出標準版本
以下一些列出可能的做法，在不同情況下應斟酌使用。

(1) 減少相似的內容
聽起來或許有點廢話，好比不想出錯，平常就要細心一點一樣，但這一點還是必須要在第一點做提醒。
在產生內容的時候，就應該要考慮到是否會發生重複內容的問題。如果你有相似的頁面，可以考慮合併頁面上的資訊到單一頁面中，或是針對差異點各自擴充內容，以更詳細的內容區別兩個網頁。
 

(2) 避免每頁重複出現的內容 
假如網站最下方有冗長的公司介紹或是版權說明，並且該區塊的內容會套用到每一個頁面，建議可以將說明文字修短，放置連結到詳細的說明頁面。
 

(3) 使用一致的內部連結
在網站的內部連結，保持一致，不要在不同處分別放置連到重覆頁面的不同連結。
 

(4) 聯盟發布或投稿的處理
如果你會在其他內容平台上發布你原創的相同內容，Google所選出的版本可能不會是你偏好的那個。確定你發布內容的其他網頁都包含連回原始文章的連結。並請該聯合發布的網站使用noindex標記，以免索引到非原創版本。
 

(5) 指定偏好的網域
當兩個網站只有子網域不同時，可以透過Search Console將其中一個網域的網址定義為標準網頁。例如以下兩個網頁：
https://example.com
https://www.example.com
你可以將偏好網域設定為上者，作為搜尋結果中使用的版本，則Google會將https://www.example.com視為https://example.com的重複項目。

 

接下來的幾點，主要是關於如何定義同一個網站內，重複內容中的「標準網頁」

(6) 使用rel="canonical"標記
在所有重複網頁的 head 區段中，使用連結元素的rel="canonical"標記來指出該網頁與標準網頁重複。

範例如下：
在重複網頁的 head 區段中新增如下的標籤，並將href後方的網址改為你所要指定的標準網頁網址

針對帶有SessionID的頁面也可以用相同的方式處理，如此一來，所有帶有SeesionID頁面的權重都會集中到所指定的標準頁面。
 

(7) 提交網站地圖(sitemap)
你可以為你的不同頁面挑選標準網址，並透過網頁地圖提交。在網站地圖中所列出的頁面就代表著建議的標準頁面，而Googlebot會依相似程度判斷是否有其他頁面屬於重複內容的網頁。
只不過，Google並不保證一定會將網站地圖中的網址視為標準網址，Sitemap的指標效力不及rel=canonical的作法，但是定義標準網頁較為簡便的方法，同時也可以告知Google網站上的哪些頁面較為重要。
 

(8) 使用301重新導向
如果有重複網頁需要淘汰，可以使用301重新導向將流量導引至偏好的標準網頁。
這樣做的好處在於，除了告知Google較佳版本的網址，同時也讓重複頁面的流量集中到標準網頁。
 

(9) 在Google Console中處理網址參數
在Google Console中，會列出爬蟲所遇到的參數，你可以讓它自行決定處理的方式，或是自行設定偏好的處理方式。
針對各個參數，你可以決定是否檢索帶有該參數的網址，可以減少因參數產生的動態網址造成的重複內容問題。

(10) Google不建議用於處理重複內容的方式

• 使用robots.txt禁止對重複網頁的檢索
• 使用網址移除工具進行標準網頁的定義

 

以上所列的10個方法，都是建立在重複的內容是在原創者合意的情況下。
如果有其他網站在未經授權的情況下，使用你所原創的內容，你可以請對方移除涉及侵權的內容，或是根據《數位千禧年著作權法》(DMCA) 提出要求，請Google移除該結果。

 

cover image credit：Designed by Dooder / Freepik

本文作者：Bruce