win10如何安装python虚拟环境以及爬虫环境?

收藏

我们学习使用爬虫,在linux可以很少的使用,但是有时候我们想在windows下面使用fiddler等其他辅助工具写爬虫感觉会更方便,但是windows下面安装python环境就比较坑。

回答

MrSun回答

解答:

    以win10环境为例

  1.     windows安装虚拟环境
    1. 安装python解释器建议直接安装python3最新版本,去python官网下载python解释器,根据操作系统版本32位还是64位下载对应的版本python解释器,仅仅安装python解释器其他的包不要安装
    2. 启动cmd终端准备开始安装虚拟环境,执行一下命令:
      pip install virtualenv 
    3. 安装 windows 版本的virtualenvwrapper,这个要比我们原始的virtualenv好用很多,执行命令:
      pip install virtualenvwrapper-win
    4. 配置virtualenvwrapper 虚拟环境位置l想linux下面的.virtualenv,如果不做配置默认是C:\Users\用户\Envs,一把C盘空间不大所以我们把虚拟环境目录设置到其他空间比较大的目录
      4.1 创建工作目录,例如我这里创建在:D:\Envs
      4.2 为创建的工作目录设置环境变量,右键我的电脑
      到此配置virtualenvwrapper工作目录完成
    5. 配置完成后重新启动cmd命令窗口,因为新配置的环境变量对当前dos窗口不生效
  2. 配置爬虫虚拟环境
    1. 创建爬虫虚拟环境(python项目一定要创建虚拟环境),执行命令:mkvirtualenv spider_py3,创建好的虚拟环境将会再我们上面设置的目录里面
    2. 进入创建好虚拟环境workon spider_py3
    3. 使用pip安装常用的爬虫包
      pip install requests

      pip install lxml
      pip install bs4
      pip install selenium
       
    4. 安装srapy框架
      1. pip install scrapy 安装框架会出现下面的这个问题
         
      2. 你需要单独安装twisted,不要使用pip install twsited 去安装还是会出现上面这个问题,windows平台上面所以需要安装windows版本的twisted 使用命令:pip install Twisted[windows_platform] 安装会安装windows相关编译的相关工具,如果还是失败,看第三步。
      3. 离线安装Twisted
        1. 安装wheel工具  pip install wheel
        2. 下载对应版本Twisted 下载链接 https://www.lfd.uci.edu/~gohlke/pythonlibs/#twisted 
        3.  使用pip安装下载好的文件  例如: pip install Twisted-17.9.0-cp36-cp36m-win_amd64.whl
      4. 安装完成twisted后再次使用 pip install scrapy 安装scrapy框架
      5. 安装scrapy相关的包:
        pip install scrapyd
        pip install scrapy-redis
      6. 安装tessoract  windows同样也不要用pip去安装 下载windows安装文件链接:https://github.com/tesseract-ocr/tesseract/wiki#windows  下载安装
      7. 安装完成后再安装pytesseract 这个是python与tesserract-orc 交互包: pip install pytesseract 
  3. scrapy安装完成后 启动scrapy项目的时候可能出现类似的问题 import win32api ImportError DLL load failed 
    解决方案:http://blog.csdn.net/github_35160620/article/details/53347807
  4. pip安装的时候可能出现类似的问题UnicodeDecodeError: 'utf-8' codec can't decode byte 0xd5 in position 2: invalid continuation byte
    解决方案:

        D:\Envs\spider_py3\Lib\site-packages\pip\compat修改里面的__init__.py把return s.decode(‘utf-8’)编码格式替换成gbk

  5. win10下面有一个powershell 如果想使用virtualenvwrapper那么 需要但是安装支持wrapper的包,而且这个包不支持python3,仅仅支持python2 请查看文档:http://virtualenvwrapper.readthedocs.io/en/latest/install.html  

  6. 安装软件包遇到问题的时候建议查看官方文档的安装文档,如果安装官方文档安装还出现问题再查找解决方案

(7)

提交成功