作者:Seeksky

Scrapy在windows7-64位上安装真心的麻烦,花了很长时间才搞成

遇到了很多问题,在这里做一个总结,主要参考之前转的几篇文章:

Scrapy安装介绍

【original】安装Scrapy

【已解决】安装Scrapy过程中出错:ERROR: ‘xslt-config’ 不是内部或外部命令,也不是可运行的程序 或批处理文件。

【已解决】安装Python模块mmseg出错:error: Unable to find vcvarsall.bat

也有一些自己遇到的问题:

1.python的版本问题,因为之前安装了python2.7.3的64位版本之后,为了方便还安装了python(x,y),导致有些库是32位的

后来将python(x,y)删掉之后,重新安装了python2.7.3的64位版本之后,很多问题都解决了

2.scrapy整个库的依赖关系非常复杂,主要出问题的是xml那一块,依赖关系基本上是这样的:

libxml2<-libxslt<-lxml<-Scrapy

安装时请务必下载64位编译好的windows版本,自行编译容易出错,下载地址如下:

http://www.lfd.uci.edu/~gohlke/pythonlibs/#lxml

在如上地址中可以找到libxml2和lxml的所有编译好的做好了安装程序的库

然后还差一个libxslt,这个请在下面地址下载:

ftp://ftp.zlatkovic.com/pub/libxml/

然后将解压后得到的bin文件夹下的所有文件复制到windows/System32文件夹中

这样基本上能解决xml依赖的所有问题了

后面就是其他一些库的下载

这个请参考:

Scrapy安装介绍

到此,基本上所有库依赖的问题全部解决了

然后还有环境变量的问题,之前把环境变量C:Python27Scripts;C:Python27加到系统的path中怎么都不行

后来换到user下面的path就可以了

还有一个我使用的是VS2010也就是VC10

所以提示

error: Unable to find vcvarsall.bat

然后参考了上面引用的那篇文章,使用如下命令就解决了

1 `SET VS90COMNTOOLS=%VS100COMNTOOLS%`

然后使用pip install scrapy安装scrapy就搞定了