1，去python.org安裝python，注意選擇版本，不要選擇選擇太新的版本，因?yàn)閟crapy需要依賴Twisted，一個(gè)事件驅(qū)動(dòng)的網(wǎng)絡(luò)引擎，而該引擎目前最新支持的python版本是3.9，可以通過名字識(shí)別，如：Twisted-20.3.0-cp39-cp39-win_amd64.whl，cp后面的數(shù)字指明了支持的python版本，如上面的的whl文件支持的python版本是3.9；
2，安裝wheel，pip install wheel；
3，去https://www.lfd.uci.edu/~gohlke/pythonlibs/#twisted下載Twisted，注意選擇和自己安裝的python版本對(duì)應(yīng)的版本，如：Twisted-20.3.0-cp39-cp39-win_amd64，支持的pyton版本是3.9，也就是cp后面指定的版本；然后安裝：pip install 剛下載的whl文件，如果版本不匹配，則會(huì)安裝失敗，提示： is not a supported wheel on this platform；
4，pip install scrapy；過程稍久，需要安裝一堆依賴包，安心等待；
5，安裝成功，開始創(chuàng)建項(xiàng)目和爬蟲：scrapy startproject example; cd example; scrapy genspider bd baidu.com；
6，運(yùn)行指定爬蟲：scrapy crawl bd；
Scrapy是Python開發(fā)的一個(gè)快速、高層次的屏幕抓取和web抓取框架，用于抓取web站點(diǎn)并從頁面中提取結(jié)構(gòu)化的數(shù)據(jù)。Scrapy吸引人的地方在于它是一個(gè)框架，任何人都可以根據(jù)需求方便的修改。Scrapy用途廣泛，可以用于數(shù)據(jù)挖掘、監(jiān)測和自動(dòng)化測試。
1、關(guān)于虛擬環(huán)境的創(chuàng)建可以參考之前發(fā)布的兩篇博文，在Windows下如何創(chuàng)建指定的虛擬環(huán)境和在Windows下如何創(chuàng)建虛擬環(huán)境（默認(rèn)情況下）。下面在指定的文件夾下，直接先創(chuàng)建環(huán)境，在命令行輸入環(huán)境創(chuàng)建命令“virtualenv --python=C:\Python34\python.exe scrapy_demo”，指定Python的版本和路徑，以及虛擬環(huán)境的名字scrapy_demo，其中虛擬環(huán)境可以自己進(jìn)行修改，這里命名為scrapy_demo。
2、爾后進(jìn)入到scrapy_demo文件夾下，找到Scripts文件夾，輸入activate.bat以激活虛擬環(huán)境，步驟如下圖所示。之后可以看到scrapy_demo被括號(hào)括起來了，說明進(jìn)入了環(huán)境，在命令行中輸入python，可以看到直接彈出Python3的環(huán)境。
3、新建完虛擬環(huán)境之后，接下來就開始安裝Scrapy，輸入安裝命令“pip install Scrapy”或者“pip install -i https://pypi.douban.com/simple/ Scrapy”，后面這個(gè)命令是通過豆瓣源鏡像進(jìn)行下載，速度會(huì)快很多，而且較為穩(wěn)定，建議使用該方法進(jìn)行安裝，Python中的其他庫也建議用該命令進(jìn)行安裝，十分的方便快捷。輸入命令之后，等待Scrapy的安裝，如下圖所示。
4、可以看到Scrapy的安裝速度非常快，因?yàn)槲覀兪褂昧绥R像進(jìn)行下載。不過稍等片刻之后可能會(huì)碰到timeout的問題，這是由于Scrapy安裝的過程中需要很多依賴包，導(dǎo)致下載過程中會(huì)遇到網(wǎng)絡(luò)延時(shí)的問題，此時(shí)只需要重新輸入安裝命令進(jìn)行安裝即可。除了timeout的問題之外，可能還會(huì)碰到下圖這個(gè)問題。
5、這個(gè)問題的出現(xiàn)是因?yàn)槿狈wisted依賴包，此時(shí)通過“pip install twisted”可能有問題，這里給大家介紹一個(gè)非常實(shí)用的Python包網(wǎng)站，里邊的Python包專門用于Windows下的安裝的。在網(wǎng)頁中找到Twisted安裝包，然后選擇本機(jī)Python對(duì)應(yīng)版本和電腦系統(tǒng)位數(shù)的安裝包，小編的電腦是64位的，而且Python版本是Python3.4，所以下載的包如下圖紅色框框所示。
6、下載完成之后，直接進(jìn)入到下載的目錄，由此進(jìn)入命令行窗口，輸入安裝命令“pip install Twisted-18.7.0-cp34-cp34m-win_amd64.whl”，一般是可以安裝上的，但是有時(shí)候會(huì)出現(xiàn)下面的錯(cuò)誤提示“Twisted-18.7.0-cp34-cp34m-win_amd64.whl is not a supported wheel on this platform.”，表示該平臺(tái)不支持這個(gè)安裝包，如下圖所示。
7、此時(shí)不用慌，在這里小編給大家介紹一個(gè)小技巧，專門用來應(yīng)對(duì)這樣的問題的。進(jìn)入到Twisted-18.7.0-cp34-cp34m-win_amd64.whl安裝包目錄下，一般下載之后將其放到虛擬環(huán)境的site-packages文件夾下面，爾后將后綴.whl更改為.zip，有木有覺得很熟悉？對(duì)，它就是個(gè)壓縮文件，現(xiàn)在將壓縮包里邊的內(nèi)容全部解壓到當(dāng)前文件夾，如下圖所示。
8、之后在虛擬環(huán)境下輸入pip list命令查看安裝包，可以看到Twisted安裝包已經(jīng)在里邊了，如下圖所示。第一個(gè)pip list命令的時(shí)候尚未解壓Twisted安裝包，此時(shí)并沒有Twisted庫；第二個(gè)pip list命令是在Twisted安裝包解壓之后執(zhí)行的，可以看到Twisted庫已經(jīng)在里邊了。
9、爾后我們?cè)俅屋斎隨crapy的安裝命令，“pip install -i https://pypi.douban.com/simple/ Scrapy”，等待安裝完成，此時(shí)可以看到?jīng)]有任何的報(bào)錯(cuò)了。
10、最后通過pip list查看Scrapy是否安裝成功，可以看到Scrapy已經(jīng)在list之內(nèi)了，如下圖所示。
至此，Scrapy的安裝已經(jīng)順利完成。文中記錄的部分bug解決方法是很多小伙伴們都會(huì)遇到的問題，希望大家日后在安裝Scrapy的時(shí)候有章可循。最后，祝大家安裝Scrapy一切順利~~