centos6.7+python3.5.2安装scrapy待修改完善

原文

在安装scrapy的前提需要安装python，pip，setuptools，OpenSSL，lxml

安装python3.5，pip参考这篇文章

安装lxml：

安装之前记得安装libxslt和libxml

yum install libxml* -y
yum install libxslt-y

wget http://lxml.de/files/lxml-3.1.2.tgz
tar xzvf lxml-3.1.2.tgz
cd lxml-3.1.2
python setup.py build
python setup.py install

#验证是否安装成功
shell > python
>>> import lxml
为了确保依赖被安装，执行命令： sudo yum install gcc libffi-devel python-devel openssl-devel
单独装Twisted：
下载 https://pypi.python.org/packages/source/T/Twisted/Twisted-15.2.1.tar.bz2#md5=4be066a899c714e18af1ecfcb01cfef7
tar -jxvf Twisted-15.2.1.tar.bz2
cd Twisted-15.2.1python setup.py install
检验：
>>>import Twisted
此时twisted已经安装成功。

在验证import OpenSSL时出现错误：ImportError: No module named 'cryptography'
然后单独安装easy_install cryptography，出现：from pkg_resources import load_entry_point
ImportError: No module named pkg_resources
重装一下setuptools即可解决：wget https://bootstrap.pypa.io/ez_setup.py -O - | python
重新执行easy_install cryptography，安装成功。
验证：
>>>import OpenSSL
重新装scrapy：easy_install scrapy
出现错误：ImportError: Twisted requires Python 2.7 or later.
网上说需要首先安装Twsisted的两个依赖库pyOpenSSL和pycrypto 。
easy_install pyOpenSSL
easy_install pycrypto
执行easy_install scrapy

验证：>>>import scrapy
则安装成功！

centos6.7+python3.5.2安装scrapy待修改完善的更多相关文章

  1. Scrapy爬虫框架集成selenium及全面详细讲解

    这篇文章主要为大家介绍了Scrapy集成selenium，以及scarpy爬虫框架全面讲解，有需要的朋友可以借鉴参考下，希望能够有所帮助，祝大家多多进步早日升职加薪

  2. Python爬虫框架Scrapy简介

    这篇文章介绍了Python爬虫框架Scrapy，对大家的学习或者工作具有一定的参考学习价值，需要的朋友们下面随着小编来一起学习学习吧

  3. 通过淘宝数据爬虫学习python scrapy requests与response对象

    本文主要介绍了通过淘宝数据爬虫学习python scrapy requests与response对象，首先从Resquest和Response对象开始展开详细文章，需要的小伙伴可以参考一下

  4. scrapy爬虫部署服务器的方法步骤

    本文主要介绍了scrapy爬虫部署服务器的方法步骤，文中通过示例代码介绍的非常详细，对大家的学习或者工作具有一定的参考学习价值，需要的朋友们下面随着小编来一起学习学习吧

  5. 使用scrapy实现增量式爬取方式

    这篇文章主要介绍了使用scrapy实现增量式爬取方式，具有很好的参考价值，希望对大家有所帮助。如有错误或未考虑完全的地方，望不吝赐教

  6. scrapy中的spider传参实现增量的方法

    有时候需要根据项目的实际需求向spider传递参数来控制spider的运行方式，本文主要介绍了scrapy中的spider传参实现增量的方法，具有一定的参考价值，感兴趣的可以了解一下

  7. scrapy爬虫遇到js动态渲染问题

    本文主要介绍了scrapy爬虫遇到js动态渲染问题，通过js渲染出来的动态网页的内容与网页文件内容是不一样的，本文就来解决一下这些问题，感兴趣的可以了解一下

  8. Scrapy 之中间件(Middleware)的具体使用

    本文主要介绍了Scrapy 之中间件(Middleware)的具体使用，文中通过示例代码介绍的非常详细，对大家的学习或者工作具有一定的参考学习价值，需要的朋友们下面随着小编来一起学习学习吧

  9. 使用python scrapy爬取天气并导出csv文件

    由于工作需要,将爬虫的文件要保存为csv,以前只是保存为json,下面这篇文章主要给大家介绍了关于如何使用python scrapy爬取天气并导出csv文件的相关资料,需要的朋友可以参考下

  10. Pycharm安装scrapy及初始化爬虫项目的完整步骤

    因为入门python以来一直使用pycharm,所以对着黑白的DOS不习惯,所以此次来实现使用pycharm进行实现使用scrapy框架,下面这篇文章主要给大家介绍了关于Pycharm安装scrapy及初始化爬虫项目的完整步骤,需要的朋友可以参考下

随机推荐

  1. 在airgapped(离线)CentOS 6系统上安装yum软件包

    我有一个CentOS6系统,出于安全考虑,它已经被空气泄漏.它可能从未连接到互联网,如果有,它很长时间没有更新.我想将所有.rpm软件包放在一个驱动器上,这样它们就可以脱机安装而无需查询互联网.但是,我在测试VM上遇到的问题是,即使指定了本地路径,yum仍然会挂起并尝试从在线存储库进行更新.另外,有没有办法使用yum-utils/yumdownloader轻松获取该包的所有依赖项和所有依赖项？目前

  2. centos – 命名在日志旋转后停止记录到rsyslog

    CentOS6.2,绑定9.7.3,rsyslog4.6.2我最近设置了一个服务器,我注意到在日志轮换后,named已停止记录到/var/log/messages.我认为这很奇怪,因为所有日志记录都是通过rsyslog进行的,并且named不会直接写入日志文件.这更奇怪,因为我在更新区域文件后命名了HUPed,但它仍然没有记录.在我停止并重新启动命名后,记录恢复.这里发生了什么？

  3. centos – 显示错误的磁盘大小

    对于其中一个磁盘,Df-h在我的服务器上显示错误的空白区域：Cpanel表明它只有34GB免费,但还有更多.几分钟前,我删除了超过80GB的日志文件.所以,我确信它完全错了.fdisk-l/dev/sda2也显示错误：如果没有格式化,我该怎么做才能解决这个问题？并且打开文件描述符就是它需要使用才能做到这一点.所以…使用“lsof”并查找已删除的文件.重新启动写入日志文件的服务,你很可能会看到空间可用.

  4. 如何在centos 6.9上安装docker-ce 17？

    我目前正在尝试在centOS6.9服务器上安装docker-ce17,但是,当运行yuminstalldocker-ce时,我收到以下错误：如果我用跳过的标志运行它我仍然得到相同的消息,有没有人知道这方面的方法？

  5. centos – 闲置工作站的异常负载平均值

    我有一个新的工作站,具有不寻常的高负载平均值.机器规格是：>至强cpu>256GB的RAM>4x512GBSSD连接到LSI2108RAID控制器我从livecd安装了CentOS6.564位,配置了分区,网络,用户/组,并安装了一些软件,如开发工具和MATLAB.在启动几分钟后,工作站负载平均值的值介于0.5到0.9之间.但它没有做任何事情.因此我无法理解为什么负载平均值如此之高.你能帮我诊断一下这个问题吗？

  6. centos – Cryptsetup luks – 检查内核是否支持aes-xts-plain64密码

    我在CentOS5上使用cryptsetupluks加密加密了一堆硬盘.一切都很好,直到我将系统升级到CentOS6.现在我再也无法安装磁盘了.使用我的关键短语装载：我收到此错误：在/var/log/messages中：有关如何装载的任何想法？找到解决方案问题是驱动器使用大约512个字符长的交互式关键短语加密.出于某种原因,CentOS6中的新内核模块在由旧版本创建时无法正确读取512个字符的加密密钥.似乎只会影响内核或cryptsetup的不同版本,因为在同一系统上创建和打开时,512字符的密钥将起作用

  7. centos – 大量ssh登录尝试

    22个我今天登录CentOS盒找到以下内容这是过去3天内的11次登录尝试.WTF？请注意,这是我从我的提供商处获得的全新IP,该盒子是全新的.我还没有发布任何关于此框的内容.为什么我会进行如此大量的登录尝试？是某种IP/端口扫描？基本上有4名匪徒,其中2名来自中国,1名来自香港,1名来自Verizon.这只发生在SSH上.HTTP上没有问题.我应该将罪魁祸首子网路由吗？你们有什么建议？

  8. centos – kswap使用100％的CPU,即使有100GB的RAM也可用

    >Linux内核是否应该足够智能,只需从内存中清除旧缓存页而不是启动kswap？

  9. centos – Azure将VM从A2 / 3调整为DS2 v2

    我正在尝试调整前一段时间创建的几个AzureVM,从基本的A3和标准A3到标准的DS2v2.我似乎没有能力调整到这个大小的VM.必须从头开始重建服务器会有点痛苦.如果它有所不同我在VM中运行CentOS,每个都有一个带有应用程序和操作系统的磁盘.任何人都可以告诉我是否可以在不删除磁盘的情况下删除VM,创建新VM然后将磁盘附加到新VM？

  10. centos – 广泛使用RAM时服务器计算速度减慢

    我在非常具体的情况下遇到服务器速度下降的问题.事实是：>1)我使用计算应用WRF>2)我使用双XeonE5-2620v3和128GBRAM(NUMA架构–可能与问题有关！

返回
顶部