本机是ubuntu16.04, python2.7.12。 安装Scrapy之前首先安装它的依赖库 ubuntu中自带了OpenSSL库,不需要再进行安装, 由于ubuntu16.04中并没有默认安装lxml,所以这里手动安装 安装lxml模块 依次执行 sudo apt-get install libxml2-dev libxslt-dev python-dev sudo pip install lxml 在上面执行pip的时候,出现了下面这种坑爹的错误 pkg_resources.distributionNotFound: The 'pip==1.5.4' distribution was not found and is required by the application 找了几个博客,终于找到了答案,执行下面的两个删除的命令,再重新执行 sudo pip install lxml 运行OK!! 继续执行即可 sudo rm /usr/local/bin/pip sudo rm /usr/local/lib/python2.7/dist-packages/piP* -rf 重新开启终端,输入python, >>> import lxml >>> exit() 证明安装已经成功 为了避免一些错误的发生,最好先执行下面的两条命令 sudo apt-get install python-dev sudo apt-get install libevent-dev 安装pip sudo apt-get install python-pip 上面执行成功以后,开始安装Scrapy sudo pip install Scrapy 重启终端,输入python用来查看Scrapy是否安装成功 >>> import scrapy >>> exit()

ubuntu16.04安装Scrapy的更多相关文章

  1. 10 个Python中Pip的使用技巧分享

    众所周知,pip 可以安装、更新、卸载 Python 的第三方库,非常方便。本文小编为大家总结了Python中Pip的使用技巧,需要的可以参考一下

  2. Python pip超详细教程之pip的安装与使用

    python中有许多有用的库,要使用这些第三方库,需要安装pip。这篇文章主要为大家介绍了pip的安装与使用,解决pip下载速度慢的问题,需要的可以参考一下

  3. 十个Python中常用的pip命令总结

    相信对于大多数熟悉Python的人来说,一定都听说并且使用过pip这个工具,但是对它的了解可能还不一定是非常的透彻,今天小编就来为大家介绍10个使用pip的小技巧,相信对大家以后管理和使用Python当中的标准库会有帮助

  4. 使用pip下载时提示"You are using pip version 8.1.1, however version 22.1 is available."错误解决

    最近在使用python的pip下载库时,出现了报错,所以下面这篇文章主要给大家介绍了关于使用pip下载时提示“You are using pip version 8.1.1, however version 22.1 is available.“错误的解决方法,需要的朋友可以参考下

  5. python使用pip成功导入库后还是报错的解决方法(针对vscode)

    最近在学爬虫,但在使用Scrapy包时,在终端通过pip装好包以后,在pycharm中导入包时,依然会报错,下面这篇文章主要给大家介绍了关于python使用pip成功导入库后还是报错的解决方法,需要的朋友可以参考下

  6. conda虚拟环境使用pip下载包到当前环境的两种方法

    conda管理包很方便,但并不是所有包都有最新的conda版本,所以仍需要使用conda中的pip来安装包,下面这篇文章主要给大家介绍了关于conda虚拟环境使用pip下载包到当前环境的两种方法,需要的朋友可以参考下

  7. Mac下python包管理工具pip的安装

    这篇文章介绍了Mac下python包管理工具pip的安装方法,对大家的学习或者工作具有一定的参考学习价值,需要的朋友们下面随着小编来一起学习学习吧

  8. Scrapy爬虫框架集成selenium及全面详细讲解

    这篇文章主要为大家介绍了Scrapy集成selenium,以及scarpy爬虫框架全面讲解,有需要的朋友可以借鉴参考下,希望能够有所帮助,祝大家多多进步早日升职加薪

  9. Python爬虫框架Scrapy简介

    这篇文章介绍了Python爬虫框架Scrapy,对大家的学习或者工作具有一定的参考学习价值,需要的朋友们下面随着小编来一起学习学习吧

  10. 通过淘宝数据爬虫学习python scrapy requests与response对象

    本文主要介绍了通过淘宝数据爬虫学习python scrapy requests与response对象,首先从Resquest和Response对象开始展开详细文章,需要的小伙伴可以参考一下

随机推荐

  1. crontab发送一个月份的电子邮件

    ubuntu14.04邮件服务器:Postfixroot收到来自crontab的十几封电子邮件.这些邮件包含PHP警告.>我已经解决了这些警告的原因.>我已修复每个cronjobs不发送电子邮件(输出发送到>/dev/null2>&1)>我删除了之前的所有电子邮件/var/mail/root/var/spool/mail/root但我仍然每小时收到十几封电子邮件.这些电子邮件来自cronjobs,

  2. 模拟两个ubuntu服务器计算机之间的慢速连接

    我想模拟以下场景:假设我有4台ubuntu服务器机器A,B,C和D.我想在机器A和机器C之间减少20%的网络带宽,在A和B之间减少10%.使用网络模拟/限制工具来做到这一点?

  3. ubuntu-12.04 – 如何在ubuntu 12.04中卸载从源安装的redis?

    我从源代码在Ubuntu12.04上安装了redis-server.但在某些时候它无法完全安装,最后一次makeinstallcmd失败.然后我刚刚通过apt包安装.现在我很困惑哪个安装正在运行哪个conf文件?实际上我想卸载/删除通过源安装的所有内容,只是想安装一个包.转到源代码树并尝试以下命令:如果这不起作用,您可以列出软件自行安装所需的步骤:

  4. ubuntu – “apt-get source”无法找到包但“apt-get install”和“apt-get cache”可以找到它

    我正在尝试下载软件包的源代码,但是当我运行时它无法找到.但是当我运行apt-cache搜索squid3时,它会找到它.它也适用于apt-getinstallsquid3.我使用的是Ubuntu11.04服务器,这是我的/etc/apt/sources.list我已经多次更新了.我尝试了很多不同的debs,并没有发现任何其他地方的错误.这里的问题是你的二进制包(deb)与你的源包(deb-src)不

  5. ubuntu – 有没有办法检测nginx何时完成正常关闭?

    &&touchrestarted),因为即使Nginx没有完成其关闭,touch命令也会立即执行.有没有好办法呢?这样的事情怎么样?因此,pgrep将查找任何Nginx进程,而while循环将让它坐在那里直到它们全部消失.你可以改变一些有用的东西,比如睡1;/etc/init.d/Nginx停止,以便它会休眠一秒钟,然后尝试使用init.d脚本停止Nginx.你也可以在某处放置一个计数器,这样你就可以在需要太长时间时发出轰击信号.

  6. ubuntu – 如何将所有外发电子邮件从postfix重定向到单个地址进行测试

    我正在为基于Web的应用程序设置测试服务器,该应用程序发送一些电子邮件通知.有时候测试是使用真实的客户数据进行的,因此我需要保证服务器在我们测试时无法向真实客户发送电子邮件.我想要的是配置postfix,以便它接收任何外发电子邮件并将其重定向到一个电子邮件地址,而不是传递到真正的目的地.我正在运行ubuntu服务器9.10.先感谢您设置本地用户以接收所有被困邮件:你需要在main.cf中添加:然后

  7. ubuntu – vagrant无法连接到虚拟框

    当我使用基本的Vagrantfile,只配置了两条线:我看到我的虚拟框打开,但是我的流氓日志多次显示此行直到超时:然后,超时后的一段时间,虚拟框框终于要求我登录,但是太久了!所以我用流氓/流氓记录.然后在我的物理机器上,如果我“流氓ssh”.没有事情发生,直到:怎么了?

  8. ubuntu – Nginx – 转发HTTP AUTH – 用户?

    我和Nginx和Jenkins有些麻烦.我尝试使用Nginx作为Jenkins实例的反向代理,使用HTTP基本身份验证.它到目前为止工作,但我不知道如何传递带有AUTH用户名的标头?}尝试将此指令添加到您的位置块

  9. Debian / Ubuntu – 删除后如何恢复/ var / cache / apt结构?

    我在ubuntu服务器上的空间不足,所以我做了这个命令以节省空间但是现在在尝试使用apt时,我会收到以下错误:等等显然我删除了一些目录结构.有没有办法做apt-getrebuild-var-tree或类似的?

  10. 检查ubuntu上安装的rubygems版本?

    如何查看我的ubuntu盒子上安装的rubygems版本?只是一个想法,列出已安装的软件包和grep为ruby或宝石或其他:)dpkg–get-selections

返回
顶部