5個(gè)用python編寫非阻塞web爬蟲的方法
前言
大家在讀爬蟲系列的帖子時(shí)常常問我怎樣寫出不阻塞的爬蟲,這很難,但可行。通過實(shí)現(xiàn)一些小策略可以讓你的網(wǎng)頁爬蟲活得更久。那么今天我就將和大家討論這方面的話題。
用戶代理
你需要關(guān)心的第一件事是設(shè)置用戶代理。 用戶代理是用戶訪問的工具,并告知服務(wù)器用戶正在使用哪個(gè)網(wǎng)絡(luò)瀏覽器訪問網(wǎng)站。 如果未設(shè)置用戶代理,許多網(wǎng)站不會(huì)讓你查看內(nèi)容。 如果你正在使用rquests庫,可以執(zhí)行如下操作:
你可以通過在 Google 搜索欄中輸入 User-Agent 來獲取用戶代理的信息,并且它會(huì)返回你當(dāng)前的用戶代理信息。
現(xiàn)在,你已經(jīng)有了一個(gè)用戶代理,但如何去使用它? 那么,最好的方法是從文本文件、數(shù)據(jù)庫、Python 的列表中選擇一個(gè)隨機(jī)的 User-Agent 。 Udger 分享了大量的 UA w.r.t 瀏覽器。 比如,對(duì)于 Chrome 而言,它看起來像這樣,對(duì) Firefox 來說,又像這樣。 現(xiàn)在讓我們來創(chuàng)建一個(gè)函數(shù),它將返回一個(gè)隨機(jī) UA ,你可以在請(qǐng)求中使用:
ua_file.txt 包含一個(gè)來自我上面共享的網(wǎng)站的每行 UA 。 函數(shù) get_random_ua 將始終從該文件中返回唯一的 UA 。 你現(xiàn)在可以調(diào)用如下函數(shù):
Referrers
接下來你需要設(shè)置的是引用。 一般的規(guī)則是,如果它是一個(gè)列表頁面或主頁,那么你可以設(shè)置該國(guó)家的 Google 主頁網(wǎng)址。
如果你要抓取各個(gè)產(chǎn)品頁面,可以在引用中設(shè)置相關(guān)類別的網(wǎng)址,或者可以找到要抓取的域的反向鏈接。 我通常使用 SEMRush 來這么做。
如果你點(diǎn)擊查看放大的圖像,你可以看到一些鏈接指向我所需的類別。一旦你收集所有這些真實(shí)的反向鏈接,你可以通過復(fù)制邏輯 insideget_random_ua()返回隨機(jī)引用,并將它們用作引用。 如下所示:
代理IP
我不得不強(qiáng)調(diào)這一點(diǎn)。如果認(rèn)真研究,那么你必須使用多個(gè)代理 IP 來避免阻塞。 大多數(shù)網(wǎng)站會(huì)根據(jù)你的服務(wù)器或主機(jī)提供商的靜態(tài) IP 來阻止抓取工具。 這些網(wǎng)站使用智能的工具來確定某個(gè) IP 或 IP 池的方式,并簡(jiǎn)單地阻止它們。 這也是為什么建議購買幾個(gè) IP 地址,50-100個(gè)至少要避免阻塞。有許多可用的服務(wù),但我對(duì) Shaders(現(xiàn)在稱為 OxyLabs )感到滿意。 它們雖然很貴,但服務(wù)質(zhì)量很好。 確保你在訂購多個(gè) IP 時(shí),要求提供隨機(jī) IP 或至少不遵循 1.2.3.4 到 1.2.3.100 等特定模式。站點(diǎn)管理員將很簡(jiǎn)單的設(shè)置 IP 地址不全部為 1.2.3.* 。 就這么簡(jiǎn)單。
如果你正在使用請(qǐng)求,你可以像下面這樣使用它:
如果你在 Selenium 使用代理 IP ,那么這將有點(diǎn)棘手。
不用說,get_random_proxy() 是返回一個(gè)唯一且隨機(jī)代理的方法,就像上面獲得唯一且隨機(jī)的 UA 和 Referer 一樣。
你可以思考一個(gè)這樣的系統(tǒng),在系統(tǒng)中你可以設(shè)置一個(gè) IP 每天或每小時(shí)訪問網(wǎng)站頻率,如果它超過了,那么它將被放入一個(gè)籠子里直到第二天。 我所在的公司設(shè)計(jì)了一個(gè)這樣的系統(tǒng),不僅設(shè)置了 IP 訪問頻率,還記錄了哪個(gè) IP 被阻止。 最后,我只是使用代理服務(wù)提供者僅替換這些代理。 由于這超出了本文的范圍,所以我不會(huì)詳細(xì)介紹它。
Request Heaters
到目前為止,事情你都已經(jīng)做得很好,但是仍然有些狡猾的網(wǎng)站要求你做更多的事情。當(dāng)你訪問頁面的時(shí)候他們會(huì)查找特定的請(qǐng)求響應(yīng)頭信息,如果特定的頭信息沒有被發(fā)現(xiàn),他們會(huì)阻止內(nèi)容顯示或者展示一個(gè)虛假的內(nèi)容。模擬一個(gè)你想訪問的網(wǎng)站的請(qǐng)求是非常簡(jiǎn)單的。例如,比如你正準(zhǔn)備訪問一個(gè) Craigslist URL ,并且想知道哪個(gè)頭部信息是需要的。進(jìn)入 Chrome/Firefox 瀏覽器,檢查正在訪問的頁面,你應(yīng)該會(huì)看到下面這些內(nèi)容:
如果你點(diǎn)擊了圖標(biāo)并查看,你能找到除了 referer 和 user-agent 之外的大量信息。你能一次性全都實(shí)現(xiàn)也可以一個(gè)個(gè)的實(shí)現(xiàn)并測(cè)試。無論訪問哪個(gè)網(wǎng)站,我總是去設(shè)置這些信息。請(qǐng)確保你不只是復(fù)制粘貼這些信息去訪問所有網(wǎng)站,因?yàn)檫@些信息通常會(huì)因網(wǎng)站不同而改變。
延遲
在請(qǐng)求之間放置一些延遲總是很好的。我使用 numpy.random.choice() 來實(shí)現(xiàn)這一目標(biāo),該函數(shù)將在我想延遲的服務(wù)中傳遞隨機(jī)數(shù)列表:
如果你還沒有使用過 numpy 庫,你也可以使用 random choice 來達(dá)到同樣的目的。
如果你真的很急,那么你可以并行執(zhí)行 URL ,我之前在此文中解釋過了。
結(jié)語
Web 爬蟲被阻塞的不確定性永遠(yuǎn)不會(huì)變?yōu)榱悖憧偸强梢圆扇∫恍┐胧﹣硪?guī)避它。我討論了一些你應(yīng)該以某種或其他方式在 web 爬蟲中實(shí)現(xiàn)的策略。
如果你知道其他策略或技巧,請(qǐng)通過分享評(píng)論讓我獲知。一如既往地,期待你的反饋。
發(fā)表評(píng)論
請(qǐng)輸入評(píng)論內(nèi)容...
請(qǐng)輸入評(píng)論/評(píng)論長(zhǎng)度6~500個(gè)字
最新活動(dòng)更多
-
10月31日立即下載>> 【限時(shí)免費(fèi)下載】TE暖通空調(diào)系統(tǒng)高效可靠的組件解決方案
-
即日-11.13立即報(bào)名>>> 【在線會(huì)議】多物理場(chǎng)仿真助跑新能源汽車
-
11月28日立即報(bào)名>>> 2024工程師系列—工業(yè)電子技術(shù)在線會(huì)議
-
12月19日立即報(bào)名>> 【線下會(huì)議】OFweek 2024(第九屆)物聯(lián)網(wǎng)產(chǎn)業(yè)大會(huì)
-
即日-12.26火熱報(bào)名中>> OFweek2024中國(guó)智造CIO在線峰會(huì)
-
即日-2025.8.1立即下載>> 《2024智能制造產(chǎn)業(yè)高端化、智能化、綠色化發(fā)展藍(lán)皮書》
推薦專題
- 1 【一周車話】沒有方向盤和踏板的車,你敢坐嗎?
- 2 特斯拉發(fā)布無人駕駛車,還未迎來“Chatgpt時(shí)刻”
- 3 特斯拉股價(jià)大跌15%:Robotaxi離落地還差一個(gè)蘿卜快跑
- 4 馬斯克給的“驚喜”夠嗎?
- 5 海信給AI電視打樣,12大AI智能體全面升級(jí)大屏體驗(yàn)
- 6 打完“價(jià)格戰(zhàn)”,大模型還要比什么?
- 7 馬斯克致敬“國(guó)產(chǎn)蘿卜”?
- 8 神經(jīng)網(wǎng)絡(luò),誰是盈利最強(qiáng)企業(yè)?
- 9 比蘋果偉大100倍!真正改寫人類歷史的智能產(chǎn)品降臨
- 10 諾獎(jiǎng)進(jìn)入“AI時(shí)代”,人類何去何從?
- 高級(jí)軟件工程師 廣東省/深圳市
- 自動(dòng)化高級(jí)工程師 廣東省/深圳市
- 光器件研發(fā)工程師 福建省/福州市
- 銷售總監(jiān)(光器件) 北京市/海淀區(qū)
- 激光器高級(jí)銷售經(jīng)理 上海市/虹口區(qū)
- 光器件物理工程師 北京市/海淀區(qū)
- 激光研發(fā)工程師 北京市/昌平區(qū)
- 技術(shù)專家 廣東省/江門市
- 封裝工程師 北京市/海淀區(qū)
- 結(jié)構(gòu)工程師 廣東省/深圳市