【爬虫技术】Scrapy安装

发布时间:2019-03-23 15:17:14

scrapy文档主要介绍scrapy安装,也就是个综述,简单的瞄一眼,对你有益无害!

scrapy可以运行在python2.7、python3.3或者是更高的版本上;如果你用的是Anaconda(Anaconda下载)或者Minconda,你可以从conda-forge进行安装,可以使用下面的命令:

conda install -c conda-forge scrapy

如果你已经安装了python包管理工具PyPI,你也可以使用下面命令进行安装:

pip install Scrapy

值得注意的是,如果你使用的是pip安装,你需要解决相应的包依赖(解决依赖一般会让你怀疑人生、怀疑scrapy,建议还是用Anaconda安装,少年!)

scrapy中文文档



这里的话,为了避免你安装的scrapy依赖包和原先你安装的其他python包有冲突,官方强烈建议你使用Virtualenv进行scrapy安装

scrapy依赖的一些包:

lxml:一种高效的XML和HTML解析器,
PARSEL:一个HTML / XML数据提取库,基于上面的lxml,
w3lib:一种处理URL和网页编码多功能辅助
twisted,:一个异步网络框架
cryptography and pyOpenSSL,处理各种网络级安全需求

以上包需要的最低版本:

Twisted 14.0
lxml 3.4
pyOpenSSL 0.14


Scrapy可以与旧版本的软件包工作但不保证它将继续!如果安装依赖包出现问题,请参考相应的解决方法!

来源:Scrapy中文网