Question

写爬虫爬网站内容时遇到ip被封，请问如何使用代理？
用了网上搜到的http://www.cnproxy.com/ 代理服务器中的ip和端口，没有一个可以用的。。。
请高手帮忙。小弟多谢

Answer 1

考虑一下几点建议：
1.使用VPN，这样就完全保证了你的出口IP地址是VPN服务器端的IP。
2.使用HTTP代理，具体代码可以都可以设置代理方式，不要使用免费代理，不可靠，自己用VPS来搭建或者自己写，我个人就是自己用Node.js写的代理服务器在美国
3.爬虫抓取过程中请遵循robot协议，这是默认的业界标准