拨号vps如何实现 利用adsl拨号服务器VPS构建代理IP池

拨号vps如何实现 利用adsl拨号服务器VPS构建代理IP池-熊猫号

一、工具准备

  • 动态vps: 我用的是云立方的动态vps,0.5G内存,11G硬盘,20G宽带,一年1800元,动态vps主要是运行代理服务,比较耗宽带,通过拨号来更换IP,实现动态代理的效果
  • 固定IP服务器:用的阿里云服务器,1核1G内存,40G云盘,一年836元,该服务器主要是实时获取动态vps的IP,并对外提供接口,这些服务不怎么耗资源,该服务器还可以用来跑爬虫或者搭网站

二、环境搭建

动态vps

  • 功能:搭建代理服务,并通过在vps上拨号切换IP,将切换后的IP传到固定IP的服务器上
  • 工具:代理服务-tinyproxy, 发送IP-python的requests库

  • 系统:云立方的可以预装系统,我选的是CentOS7.1系统,在管理后台进行操作
  • 连接服务器:ssh user@ip -p port
  • 拨号操作:断开网络:adsl-stop, 拨号:adsl-start
  • 查看公网IP:curl icanhazip.com
  • 加代理查看IP:curl -x ‘ip:port’ -v icanhazip.com
  • 判断IP是否变化:先查看公网IP,然后断开连接,重新拨号,再看下公网IP,如果发现没有变化,可以多试几次,有几率重播后公网IP依旧没变

1、代理服务搭建:tinyproxy

安装命令:

# 添加EPEL仓库,然后更新yum源:
sudo yum install epel-release
sudo yum update
# 安装
sudo yum install -y tinyproxy

修改配置:

vim /etc/tinyproxy/tinyproxy.conf
修改 Port 端口,默认为 8888
Port 8888
注释掉 Allow 127.0.0.1,表示允许所有人访问代理

启动服务:service tinyproxy start
日志:/var/log/tinyproxy/tinyproxy.log
本地测试:curl -x ‘ip:port’ -v icanhazip.com

注意点&坑:

  • 我一开始用的芝麻VPS,到这一步后,在vps上用局域网IP可以通过代理服务器访问,但在本地通过公网IP就无法访问,最后发现是由于外网无法访问该服务器,试过开放端口等操作,无果,云立方的是直接可以通过公网IP使用代理
  • yum安装时,报错:yum doesn’t have enough cached data to continue, 解决办法:将/etc/yum.repos.d/epel.repo中的mirrorlist改为baseurl/etc/resolv.conf文件中增加 nameserver 144.144.144.144在断开重播时,有时adsl-start会执行失败,报错:“/usr/sbin/adsl-start: line 217: 5749 Terminated C O N N E C T ” CONNECT ” CONNECT”@” > /dev/null 2>&1”,最后发现可能是断开连接的不干净,多执行几次adsl-stop,在执行adsl-start就会成功了
  • 在代理服务tinyproxy运行期间,报过这个错:Waiting servers (0) is less than MinSpareServers (5). Creating new child.,原因是达到最大连接数,无法创建新的连接处理请求,代理服务也就挂了,重启代理服务即可,解决办法
vim /etc/tinyproxy/tinyproxy.conf

MaxClients 100 -> 500  # 最大连接数
Timeout 600 -> 20  # 超时时间

2、搭建Python环境

(1) 安装Python Python依赖

sudo yum install yum-utils
sudo yum-builddep python

Python源码连接:https://www.python.org/ftp/python/

curl -O https://www.python.org/ftp/python/3.5.0/Python-3.5.0.tgz

我在用curl时无法下载,可以到官网下载指定版本的Python,然后传到服务器上

tar xf Python-3.5.0.tgz
cd Python-3.5.0
./configure
make
sudo make install

安装完成后通过python3 -V来查看当前版本

(2) 安装虚拟环境

cd ~
mkdir venv
cd venv
python3 -m venv python3-forcrawl
source ~/venv/python3-forcrawl/bin/activate

(3) 安装相应的python库

pip install requests
# 安装其他环境导出的库
pip install -r requirements.txt

阿里云服务器:

  • 功能:接受动态VPS发送的IP,并提供接口,返回动态VPS实时的IP&端口
  • 工具:web服务-tornado

  • 连接:ssh root@ip -p 22, 如果忘记服务器密码,可以重置实例登陆密码和远程连接密码:更多->密码、秘钥
  • 搭建Python环境同上,安装tornado
pip install tornado
sudo yum install -y redis
# 启动服务
redis-server >> /dev/null 2>&1 &
# 连接redis
redis-cli
  • mongo数据库(可以不进行安装,实现基本的代理功能不需要该库)
# yum中没有mongo的下载源,需要手动添加
vi /etc/yum.repos.d/mongodb-org-3.4.repo
# 写入以下信息,针对centos7
[mongodb-org-3.4]
name=MongoDB Repository
baseurl=https://repo.mongodb.org/yum/redhat/7/mongodb-org/3.4/x86_64/
gpgcheck=1
enabled=1
gpgkey=https://www.mongodb.org/static/pgp/server-3.4.asc
# 安装
sudo yum install -y mongodb-org
启动:
systemctl start mongod.service

注意点&坑:

  • ssh链接时,报错Permission denied (publickey,gssapi-keyex,gssapi-with-mic),解决办法:
    • 通过阿里云web终端登录到服务器,修改ssh配置文件
vim /etc/ssh/sshd_config

更改:PasswordAuthentication no(默认yes)
或打开注释:PermitRootLogin yes

代码实现逻辑

1、客户端:动态vps

  • 通过Python执行断开连接&拨号的操作,成功后匹配获取公网IP,通过requests库将IP发送至服务端
  • 为了避免恶意干扰,可以加上一个传输秘钥,服务器验证传输秘钥,验证失败的不进行IP更新
  • 设置定时任务来实现IP的更换
  • 传送的数据中,包含IP、秘钥、name(区分vps服务器)

2、服务端:固定IP服务器

使用tornado启动服务,提供两个接口

  • post接口:接收客户端发送的IP,验证秘钥成功后,以name为key,ip&port为val,存入redis
  • get接口:从redis中取出ip&port并返回

代理检测程序:可用于检测IP的可用性,剔除失效IP

总结

  • 相对直接购买代理,价格更便宜,且速度不受限制,但是缺点是,在vps拨号,到传输到服务器,再到爬虫使用代理,这个过程存在延迟,可能在切换IP时,会导致代理不可用,解决方案是设置超时时间并休眠几秒后进行重试
  • 不适用于对IP切换速度要求很快的服务,拨号太频繁了,一个是IP有时不变,另一个容易拨号失败
  • 如果在线上环境中使用,可以多买几台动态vps,搞一个IP池
  • 代码实现见:https://github.com/HLFYY/spiders/tree/master/adsl_server

版权声明:本文内容由互联网用户自发贡献,该文观点仅代表作者本人。本站仅提供信息存储空间服务,不拥有所有权,不承担相关法律责任。如发现本站有涉嫌抄袭侵权/违法违规的内容, 请发送邮件至 2476560997@qq.com 举报,一经查实,本站将立刻删除。

(0)
打赏 微信扫一扫 微信扫一扫
上一篇 2022年2月28日 7:16 上午
下一篇 2022年2月28日 7:17 上午

相关推荐

  • bitlocker强制破解 三种思路巧妙破解Bitlocker加密

    课前提要 BitLocker加密是Windows的一种数据保护功能,主要用于解决由于计算机设备的物理丢失导致的数据失窃或恶意泄漏,能够同时支持FAT和NTFS两种格式,可以加密电脑的整个系统分区,也可以加密可移动的便携存储设备,如U盘和移动硬盘等。 BitLocker使用AES(高级加密标准/Advanced Encryption Standard)128位…

    2022年3月12日
    387
  • 服务器cdn防御 什么是CDN劫持如何进行防御

    CDN能加速大家都知道,但其中原理不少人都不清楚。其实,CDN本身就是一种DNS劫持,只不过是良性的。 不同于黑客强制DNS把域名解析到自己的钓鱼IP上,CDN则是让DNS主动配合,把域名解析到临近的服务器上。 这台服务器同样也开启了HTTP代理,让用户感觉不到CDN的存在。 不过CDN劫持不像黑客那样贪心,劫持用户所有流量,它只『劫持』用户的静态资源访问,…

    2022年2月28日
    29
  • d盘删除了c盘扩展卷仍为灰色 教你解决扩展卷选项变成灰色问题

    在Windows 10、8或7中,您是否尝试扩展磁盘分区?磁盘管理中的扩展卷选项变成灰色,无法增加磁盘分区大小?放轻松!本文提供了有效方法可以帮助您解决这个问题并轻松扩展磁盘分区。 本文内容: 1. 为何扩展卷选项变成灰色2. 如何运用未分配空间扩展分区 问:无法将分割区扩展到未分配空间,该怎么解决? 「你好,你知道如何解决磁盘管理中的扩展卷选项变成灰色的问…

    2022年3月12日
    1.3K
  • 禁用home键打开浏览器 四步让你告别HOME键

    魅族作为国产手机的翘楚,虽然在销量上远远落后于华为小米oppo,但是其操作系统flyme被称为最好用的手机系统之一。在flyme系统下,只要设置得当,日常使用可以做到完全不按压home键的效果,从而彻底告别home键松动的烦恼。话不多说,切入正题。 第一步:打开“设置”功能,找到“辅助功能” 第二步:在“辅助功能”里面找到“手势唤醒” 打开“双击点亮屏幕”,…

    2022年2月28日
    19
  • 软件测试学习多少钱 学软件测试费用分析

    软件行业现在发展的如火如荼,相对于开发来说又太难,培训时间久,而从学习软件测试来看,入门上手要快一些,对于零基础转行的人来说,费用也要低一些,但是对于没有软件测试经验的人来说,毕竟是门技术岗位,学到手,终生受益。所以想要进入计算机行业,选择最大的捷径就是参加软件测试培训,现在的公司也不可能说是免费无偿的培养你,毕竟技术学到手是你自己的,而且面对各种公司花费的…

    2022年3月12日
    25
  • 相似图片识图 百度识图查找图源及相似图

    搜索引擎是大家日常生活经常使用的工具,遇到不了解的事就搜一下,很方便。但有时候,如果根本不知道要搜索的东西是什么,就很难去搜索。对此,我们可以以图搜图,用图片去搜索,解决上述难题。 地址:参见文末图 在“百度识图”可以直接上传图片,即可开始搜索。官方给出的应用范围包括商品、素材、植物、人物、风景等。 ONETer用Windows11的默认桌面作为搜索图,搜索…

    2022年3月12日
    104
  • 大屏数据可视化前端 从0-1制作数据可视化大屏

    都说「数不如图」,在数据报告中,就常常借助图形化的手段将数据清晰表达出来,可以更简单有效地传达和沟通。 这两年,数据可视化大屏在数据报告中的占比越来越大,企业和政府会更倾向于选择炫酷大屏进行数据分析展示。炫酷大屏不仅能实时监控重点数据,提高决策效率,放在公司会议室,展台等地方,还能提升公司形象。 作为一个从事可视化大屏项目3年多的秃头技术,做过大大小小几十个…

    2022年3月12日
    298

发表回复

您的电子邮箱地址不会被公开。

返回顶部