安装scrapy的方法:

http://jingyan.baidu.com/article/14bd256e748346bb6d2612be.html

http://jingyan.baidu.com/article/f3ad7d0f129c7809c2345b56.html

http://jingyan.baidu.com/article/14bd256e748346bb6d2612be.html

http://jingyan.baidu.com/article/f3ad7d0f129c7809c2345b56.html

其中,画重点:

sudo apt-get install python-dev

sudo apt-get install libevent-dev



安装后执行scrapy startproject projectNanme或scrapy -h,报错:

Traceback (most recent call last):
File "/home/gs/share/anaconda3/lib/python3.5/site-packages/setuptools-27.2.0-py3.5.egg/pkg_resources/__init__.py",line 660,in _build_master
File "/home/gs/share/anaconda3/lib/python3.5/site-packages/setuptools-27.2.0-py3.5.egg/pkg_resources/__init__.py",line 968,in require
File "/home/gs/share/anaconda3/lib/python3.5/site-packages/setuptools-27.2.0-py3.5.egg/pkg_resources/__init__.py",line 859,in resolve
pkg_resources.ContextualVersionConflict: (pyasn1 0.1.9 (/home/gs/share/anaconda3/lib/python3.5/site-packages),Requirement.parse('pyasn1<0.4.0,>=0.3.4'),{'pyasn1-modules'})


During handling of the above exception,another exception occurred:


Traceback (most recent call last):
File "/home/gs/share/anaconda3/bin/scrapy",line 6,in <module>
from pkg_resources import load_entry_point
File "<frozen importlib._bootstrap>",line 969,in _find_and_load
File "<frozen importlib._bootstrap>",line 958,in _find_and_load_unlocked
File "<frozen importlib._bootstrap>",line 664,in _load_unlocked
File "<frozen importlib._bootstrap>",line 634,in _load_backward_compatible
File "/home/gs/share/anaconda3/lib/python3.5/site-packages/setuptools-27.2.0-py3.5.egg/pkg_resources/__init__.py",line 2985,in <module>
File "/home/gs/share/anaconda3/lib/python3.5/site-packages/setuptools-27.2.0-py3.5.egg/pkg_resources/__init__.py",line 2971,in _call_aside
File "/home/gs/share/anaconda3/lib/python3.5/site-packages/setuptools-27.2.0-py3.5.egg/pkg_resources/__init__.py",line 2998,in _initialize_master_working_set
File "/home/gs/share/anaconda3/lib/python3.5/site-packages/setuptools-27.2.0-py3.5.egg/pkg_resources/__init__.py",line 662,line 675,in _build_from_requirements
File "/home/gs/share/anaconda3/lib/python3.5/site-packages/setuptools-27.2.0-py3.5.egg/pkg_resources/__init__.py",{'pyasn1-modules'})

目测是依赖问题,搜索一下,说是升级pyasn1:

sudo pip install --upgrade pyasn1

easy_install pyasn1

然后继续scrapy -h,无用,仍然报同样的错误,应该用

pip install –upgrade pyasn1

到https://pypi.python.org/pypi/pyasn1/下载
命令方式:easy_install pyasn1xxx.egg,然后测试,ok

ubuntu安装scrapy后报错的更多相关文章

  1. Scrapy爬虫框架集成selenium及全面详细讲解

    这篇文章主要为大家介绍了Scrapy集成selenium,以及scarpy爬虫框架全面讲解,有需要的朋友可以借鉴参考下,希望能够有所帮助,祝大家多多进步早日升职加薪

  2. Python爬虫框架Scrapy简介

    这篇文章介绍了Python爬虫框架Scrapy,对大家的学习或者工作具有一定的参考学习价值,需要的朋友们下面随着小编来一起学习学习吧

  3. 通过淘宝数据爬虫学习python scrapy requests与response对象

    本文主要介绍了通过淘宝数据爬虫学习python scrapy requests与response对象,首先从Resquest和Response对象开始展开详细文章,需要的小伙伴可以参考一下

  4. scrapy爬虫部署服务器的方法步骤

    本文主要介绍了scrapy爬虫部署服务器的方法步骤,文中通过示例代码介绍的非常详细,对大家的学习或者工作具有一定的参考学习价值,需要的朋友们下面随着小编来一起学习学习吧

  5. 使用scrapy实现增量式爬取方式

    这篇文章主要介绍了使用scrapy实现增量式爬取方式,具有很好的参考价值,希望对大家有所帮助。如有错误或未考虑完全的地方,望不吝赐教

  6. scrapy中的spider传参实现增量的方法

    有时候需要根据项目的实际需求向spider传递参数来控制spider的运行方式,本文主要介绍了scrapy中的spider传参实现增量的方法,具有一定的参考价值,感兴趣的可以了解一下

  7. scrapy爬虫遇到js动态渲染问题

    本文主要介绍了scrapy爬虫遇到js动态渲染问题,通过js渲染出来的动态网页的内容与网页文件内容是不一样的,本文就来解决一下这些问题,感兴趣的可以了解一下

  8. Scrapy 之中间件(Middleware)的具体使用

    本文主要介绍了Scrapy 之中间件(Middleware)的具体使用,文中通过示例代码介绍的非常详细,对大家的学习或者工作具有一定的参考学习价值,需要的朋友们下面随着小编来一起学习学习吧

  9. 使用python scrapy爬取天气并导出csv文件

    由于工作需要,将爬虫的文件要保存为csv,以前只是保存为json,下面这篇文章主要给大家介绍了关于如何使用python scrapy爬取天气并导出csv文件的相关资料,需要的朋友可以参考下

  10. Pycharm安装scrapy及初始化爬虫项目的完整步骤

    因为入门python以来一直使用pycharm,所以对着黑白的DOS不习惯,所以此次来实现使用pycharm进行实现使用scrapy框架,下面这篇文章主要给大家介绍了关于Pycharm安装scrapy及初始化爬虫项目的完整步骤,需要的朋友可以参考下

随机推荐

  1. crontab发送一个月份的电子邮件

    ubuntu14.04邮件服务器:Postfixroot收到来自crontab的十几封电子邮件.这些邮件包含PHP警告.>我已经解决了这些警告的原因.>我已修复每个cronjobs不发送电子邮件(输出发送到>/dev/null2>&1)>我删除了之前的所有电子邮件/var/mail/root/var/spool/mail/root但我仍然每小时收到十几封电子邮件.这些电子邮件来自cronjobs,

  2. 模拟两个ubuntu服务器计算机之间的慢速连接

    我想模拟以下场景:假设我有4台ubuntu服务器机器A,B,C和D.我想在机器A和机器C之间减少20%的网络带宽,在A和B之间减少10%.使用网络模拟/限制工具来做到这一点?

  3. ubuntu-12.04 – 如何在ubuntu 12.04中卸载从源安装的redis?

    我从源代码在Ubuntu12.04上安装了redis-server.但在某些时候它无法完全安装,最后一次makeinstallcmd失败.然后我刚刚通过apt包安装.现在我很困惑哪个安装正在运行哪个conf文件?实际上我想卸载/删除通过源安装的所有内容,只是想安装一个包.转到源代码树并尝试以下命令:如果这不起作用,您可以列出软件自行安装所需的步骤:

  4. ubuntu – “apt-get source”无法找到包但“apt-get install”和“apt-get cache”可以找到它

    我正在尝试下载软件包的源代码,但是当我运行时它无法找到.但是当我运行apt-cache搜索squid3时,它会找到它.它也适用于apt-getinstallsquid3.我使用的是Ubuntu11.04服务器,这是我的/etc/apt/sources.list我已经多次更新了.我尝试了很多不同的debs,并没有发现任何其他地方的错误.这里的问题是你的二进制包(deb)与你的源包(deb-src)不

  5. ubuntu – 有没有办法检测nginx何时完成正常关闭?

    &&touchrestarted),因为即使Nginx没有完成其关闭,touch命令也会立即执行.有没有好办法呢?这样的事情怎么样?因此,pgrep将查找任何Nginx进程,而while循环将让它坐在那里直到它们全部消失.你可以改变一些有用的东西,比如睡1;/etc/init.d/Nginx停止,以便它会休眠一秒钟,然后尝试使用init.d脚本停止Nginx.你也可以在某处放置一个计数器,这样你就可以在需要太长时间时发出轰击信号.

  6. ubuntu – 如何将所有外发电子邮件从postfix重定向到单个地址进行测试

    我正在为基于Web的应用程序设置测试服务器,该应用程序发送一些电子邮件通知.有时候测试是使用真实的客户数据进行的,因此我需要保证服务器在我们测试时无法向真实客户发送电子邮件.我想要的是配置postfix,以便它接收任何外发电子邮件并将其重定向到一个电子邮件地址,而不是传递到真正的目的地.我正在运行ubuntu服务器9.10.先感谢您设置本地用户以接收所有被困邮件:你需要在main.cf中添加:然后

  7. ubuntu – vagrant无法连接到虚拟框

    当我使用基本的Vagrantfile,只配置了两条线:我看到我的虚拟框打开,但是我的流氓日志多次显示此行直到超时:然后,超时后的一段时间,虚拟框框终于要求我登录,但是太久了!所以我用流氓/流氓记录.然后在我的物理机器上,如果我“流氓ssh”.没有事情发生,直到:怎么了?

  8. ubuntu – Nginx – 转发HTTP AUTH – 用户?

    我和Nginx和Jenkins有些麻烦.我尝试使用Nginx作为Jenkins实例的反向代理,使用HTTP基本身份验证.它到目前为止工作,但我不知道如何传递带有AUTH用户名的标头?}尝试将此指令添加到您的位置块

  9. Debian / Ubuntu – 删除后如何恢复/ var / cache / apt结构?

    我在ubuntu服务器上的空间不足,所以我做了这个命令以节省空间但是现在在尝试使用apt时,我会收到以下错误:等等显然我删除了一些目录结构.有没有办法做apt-getrebuild-var-tree或类似的?

  10. 检查ubuntu上安装的rubygems版本?

    如何查看我的ubuntu盒子上安装的rubygems版本?只是一个想法,列出已安装的软件包和grep为ruby或宝石或其他:)dpkg–get-selections

返回
顶部