教育行業(yè)A股IPO第一股（股票代碼 003032）

全國(guó)咨詢/投訴熱線：400-618-4000

聚焦爬蟲(chóng)工作原理介紹

更新時(shí)間:2020年09月18日15時(shí)43分 來(lái)源:傳智播客 瀏覽次數(shù):

與通用爬蟲(chóng)相比，聚焦爬蟲(chóng)的工作流程較為復(fù)雜，需要根據(jù)一定的網(wǎng)頁(yè)分析算法過(guò)濾與主題無(wú)關(guān)的鏈接，保留有用的鏈接，并將其放入等待抓取的URL隊(duì)列。然后，它將根據(jù)一定的搜索策略從隊(duì)列中選擇下一步要抓取的網(wǎng)頁(yè)URL，并重復(fù)上述過(guò)程，直到達(dá)到系統(tǒng)的某一條件時(shí)停止，如圖1所示。

聚焦爬蟲(chóng)工作原理

相對(duì)于通用網(wǎng)絡(luò)爬蟲(chóng)，聚焦爬蟲(chóng)還需要解決三個(gè)主要問(wèn)題：

(1) 對(duì)抓取目標(biāo)的描述或定義。我們需要根據(jù)爬取需求定義聚焦爬蟲(chóng)的爬取目標(biāo)，并進(jìn)行相關(guān)的描述。

(2) 對(duì)網(wǎng)頁(yè)或數(shù)據(jù)的分析與過(guò)濾。

(3) 對(duì)URL的搜索策略。


猜你喜歡：

python爬蟲(chóng)視頻教程

Python高級(jí)程序員培訓(xùn)課程

0 分享到：
和我們?cè)诰€交談！