安装Scrapy教程


本文摘自php中文网,作者巴扎黑,侵删。

Scrapy,是基于python的网络爬虫框架,它能从网络上爬下来信息,是data获取的一个好方式。于是想安装下看看。

进到它的官网,安装的介绍页面

有3种装法,一个是从pip,一个是从源码编译,一个是从conda

根据之前的知识,pip就已经是集成在python中的包管理工具,最简单明了,就忽视了官网介绍界面的一句话

Note that sometimes this may require solving compilation issues for some Scrapy dependencies depending on your operating system

结果在编译阶段报了很多错误,解决一个还有一个。

然后就放弃了,从源码编译,跟pip一样,也是一堆编译错误。

没办法,就去看conda,下载了个miniconda,60多M吧。仔细一研究结果爽死了。

可能python也注意到了它的包下载下来需要编译,编译的话需要依赖自己OS的环境配置,经常出错的这个问题。

miniconda是个已经安装好了python的一个集成环境,等于下载安装好了miniconda也就是下载好了基本的python核心程序,然后可以通过conda命令来来下载conda已经编译好的包来做功能扩展。也就是scrapy包以及它依赖的lxml,twisted等编译的我半死的包都是已经跟编译好的。那下载下来直接用就可以了。

以上就是安装Scrapy教程的详细内容,更多文章请关注木庄网络博客!!

相关阅读 >>

Python结合imagemagick实现多张图片合并为一个pdf文件的方法

Python3如何使用smtp协议发送e-mail电子邮件的示例

Python回文数判断

pip 安装 nexmo

Python如何生成马赛克画?生成马赛克画的方法(代码详解)

Python如何验证中心极限定理

什么是Python number(数字)?Python数字类型有哪些?

Python如何打印1~20的整数

Python中的format什么意思

Python环境变量如何配置

更多相关阅读请进入《Python》频道 >>




打赏

取消

感谢您的支持,我会继续努力的!

扫码支持
扫码打赏,您说多少就多少

打开支付宝扫一扫,即可进行扫码打赏哦

分享从这里开始,精彩与您同在

评论

管理员已关闭评论功能...