關(guān)于Scrapy爬蟲項(xiàng)目運(yùn)行和調(diào)試的小技巧(上篇)
掃除運(yùn)行Scrapy爬蟲程序的bug之后,現(xiàn)在便可以開始進(jìn)行編寫爬蟲邏輯了。在正式開始爬蟲編寫之前,在這里介紹四種小技巧,可以方便我們操縱和調(diào)試爬蟲。
一、建立main.py文件,直接在Pycharm下進(jìn)行調(diào)試
很多時(shí)候我們在使用Scrapy爬蟲框架的時(shí)候,如果想運(yùn)行Scrapy爬蟲項(xiàng)目的話,一般都會(huì)想著去命令行中直接執(zhí)行命令“scrapy crawl crawler_name”,其中crawler_name指的是爬蟲的名字,在一開始創(chuàng)建Scrapy爬蟲模板的時(shí)候就指定了的,而且在該爬蟲項(xiàng)目中具有唯一性。但是每次跑到命令行下去執(zhí)行,看交互的結(jié)果,有時(shí)候并不是很清晰,所以這里介紹一種方法,可以幫助大家提高開發(fā)效率,尤其是調(diào)試的時(shí)候更是顯得方便。
在與爬蟲項(xiàng)目的scrapy.cfg文件同級目錄下建立一個(gè)main.py文件,用于控制整個(gè)爬蟲項(xiàng)目的執(zhí)行。
在該文件夾中寫入的代碼見下圖。其中execute函數(shù)是內(nèi)嵌在scrapy中的,調(diào)用這個(gè)函數(shù)可以直接調(diào)用該Scrapy工程項(xiàng)目的爬蟲腳本,這個(gè)函數(shù)的執(zhí)行需要在爬蟲項(xiàng)目的父目錄下進(jìn)行。而第7行代碼的意思就是獲取當(dāng)前py文件的父目錄,省去我們直接復(fù)制路徑的精力和時(shí)間,同時(shí)也方便我們將該項(xiàng)目放到其他的平臺(tái)上去運(yùn)行,不會(huì)報(bào)路徑的錯(cuò)誤。execute函數(shù)里邊的參數(shù)其實(shí)就是將Scrapy爬蟲執(zhí)行命令拆分,然后分別以一個(gè)字符的方式放到了一個(gè)數(shù)組中。
之后我們直接運(yùn)行這個(gè)main.py文件便可以調(diào)用Scrapy爬蟲程序了。

發(fā)表評論
請輸入評論內(nèi)容...
請輸入評論/評論長度6~500個(gè)字
最新活動(dòng)更多
-
10月23日火熱報(bào)名中>> 2025是德科技創(chuàng)新技術(shù)峰會(huì)
-
10月23日立即報(bào)名>> Works With 開發(fā)者大會(huì)深圳站
-
10月24日立即參評>> 【評選】維科杯·OFweek 2025(第十屆)物聯(lián)網(wǎng)行業(yè)年度評選
-
即日-11.25立即下載>>> 費(fèi)斯托白皮書《柔性:汽車生產(chǎn)未來的關(guān)鍵》
-
11月27日立即報(bào)名>> 【工程師系列】汽車電子技術(shù)在線大會(huì)
-
12月18日立即報(bào)名>> 【線下會(huì)議】OFweek 2025(第十屆)物聯(lián)網(wǎng)產(chǎn)業(yè)大會(huì)
推薦專題
- 1 特斯拉工人被故障機(jī)器人打成重傷,索賠3.6億
- 2 【行業(yè)深度研究】退居幕后四年后,張一鳴終于把算法公司變成AI公司?
- 3 AI 時(shí)代,阿里云想當(dāng)“安卓” ,那誰是“蘋果”?
- 4 硬剛英偉達(dá)!華為發(fā)布全球最強(qiáng)算力超節(jié)點(diǎn)和集群
- 5 機(jī)器人9月大事件|3家國產(chǎn)機(jī)器人沖刺IPO,行業(yè)交付與融資再創(chuàng)新高!
- 6 谷歌“香蕉”爆火啟示:國產(chǎn)垂類AI的危機(jī)還是轉(zhuǎn)機(jī)?
- 7 00后華裔女生靠兩部AI電影狂賺7.8億人民幣,AI正式進(jìn)軍好萊塢
- 8 美光:AI Capex瘋投不止,終于要拉起存儲(chǔ)超級周期了?
- 9 華為已殺入!AI領(lǐng)域最熱黃金賽道,大廠的數(shù)字人美女讓我一夜沒睡著覺
- 10 隱退4年后,張一鳴久違現(xiàn)身!互聯(lián)網(wǎng)大佬正集體殺回