諮詢熱線:02-2369-8858

網路爬蟲

相關文章

網路爬蟲相關文章

網路爬蟲(Web Crawler),或稱網路蜘蛛(Web Spider),是用以自動爬取和訪問頁面的程式,常用於搜尋引擎。 搜尋引擎的爬蟲訪問網站頁面,讀取網頁內容,並透過連結尋找下一個網頁,並依其程式的設計以遞迴的方式進行。 每一個搜尋引擎蜘蛛都有自己的名字,當它拜訪網站時,會先訪問網站根目錄下的robots.txt文件,上面會註明是否禁止某些爬蟲抓取全部或特定頁面。

Copyright © KPN SEO 2020. All Rights Reserved / 台北市大安區羅斯福路三段301號8樓 02-23698858 service@kpnweb.com