代理 Socks 转 http

前言

这两天,学长派的任务中,需要使用 Scrapy 爬去许多国外的网站,需要给 Scrapy 搭梯子,而 Scrapy 只支持 http 的代理,故记录下这次 socks 转 http 的步骤。

前置软件

  • shadowsocks (就不解释了,大家都知道)
  • privoxy

    注:polipo 的方案已经过时了,privoxy 作为新的方案,更灵活

配置步骤

  1. 安装
    1
     sudo apt-get install shadowsocks privoxy
    
  2. 更改 privoxy 配置

    1
    2
    3
    4
    5
    6
    7
    8
    9
     vim /etc/privoxy/config
    
     # 找到 forward-socks5t 取消他的注释,注意后面的端口跟着的是 shadowsocks 的端口
     forward-socks5t / 127.0.0.1:1086 .
     # 注意后面有一个点,以及是 5t
    
     listen-address localhost:8118
     # 默认是 8118,可以自己改
     # 0.0.0.0 的话,可以给同局域网的设备使用 ss,比如 ps4 等
    
  3. 启动了 shadowsocks 之后,启动 privoxy

    1
    2
    3
     sudo systemctl restart privoxy.serivce
     #或者
     sudo privoxy --no-daemon /etc/privoxy/config
    
  4. 测试

    1
    2
    3
     export all_proxy=http://127.0.0.1:8118
     curl ip.cn
     #想要 scrapy 生效,这步 export all_proxy, 经过测试表明是必须的
    
  • 本文作者: Author:DeamoV
  • Github:https://github.com/VDeamoV
  • Email:vincent.duan95@outlook.com
  • 本文链接: Artical: 代理 Socks 转 http
  • 版权声明: 本博客所有文章除特别声明外,均采用 CC BY-NC-SA 3.0 许可协议。转载请注明出处!
  • 版权声明: 原创文章如转载,请注明出处