Scylla 中文文档

最后更新于:2018-05-30 03:51:44

Scylla 是一款高质量的免费代理 IP 池工具,仅支持 Python 3.6。特性如下:

自动化的代理 IP 爬取与验证
易用的 JSON API
简单但美观的 web 用户界面,基于 TypeScript 和 React(例如,代理的地理分布)
最少仅用一条命令即可启动
简明直接的编程 API(将在 1.1 版本中加入)
无头浏览器(headless browser crawling)爬虫

快速开始
安装
Docker 安装(推荐)

docker run -d -p 8899:8899 -v /var/www/scylla:/var/www/scylla --name scylla wildcat/scylla:latest

使用 pip 直接安装

pip install scylla
scylla --help
scylla # 运行爬虫和 Web 服务器

从源代码安装

git clone https://github.com/imWildCat/scylla.git
cd scylla

pip install -r requirements.txt

npm install # 或 yarn install
make build-assets

python -m scylla

使用

这里以服务运行在本地(localhost)为例,使用口号 8899。 注意:首次运行本项目时,您可能需要等待 1~2 分钟以爬取一定量的代理 IP。
JSON API
代理 IP 列表

http://localhost:8899/api/v1/proxies

可选 URL 参数:
参数 默认值 说明
page 1 页码
limit 20 每页显示代理 IP 的数量
anonymous any 是否显示匿名代理。可选值:true,只显示匿名代理;false,只显示透明代理。
countries 无 只选取特定国家的代理,格式示例:US,或者多国家:US,GB

结果样例:

{
"proxies": [{
"id": 3661,
"ip": "118.114.77.47",
"port": 8080,
"is_valid": true,
"created_at": 1527312259,
"updated_at": 1527351023,
"latency": 250.9789636882,
"stability": 1.0,
"is_anonymous": true,
"location": "29.3416,104.7770",
"organization": "AS4134 CHINANET-BACKBONE",
"region": "Sichuan",
"country": "CN",
"city": "Zigong"
}, {
"id": 3657,
"ip": "39.104.57.121",
"port": 8080,
"is_valid": true,
"created_at": 1527312253,
"updated_at": 1527351021,
"latency": 189.1011954867,
"stability": 0.2,
"is_anonymous": true,
"location": null,
"organization": null,
"region": null,
"country": null,
"city": null
},
...
],
"count": 1025,
"per_page": 20,
"page": 1,
"total_page": 52
}

系统统计

http://localhost:8899/api/v1/stats

结果样例:

{
"median": 181.2566407083,
"valid_count": 1780,
"total_count": 9528,
"mean": 174.3290085201
}

Web 界面

打开 http://localhost:8899 即可访问本项目的 Web 界面。
代理 IP 列表

http://localhost:8899/

截图:

screenshot-proxy-list
代理 IP 全球分布

http://localhost:8899/#/geo

截图:

screenshot-geo-distribution
API 文档

请阅读 模块索引。更易用的编程接口正在开发中。
开发路线图

请查看 Projects。
开发与贡献

git clone https://github.com/imWildCat/scylla.git
cd scylla

pip install -r requirements.txt

npm install # 或 `yarn install`
make build-assets

测试

本项目使用了较多的单元测试来保证代码的质量,并集成 Travis CI 来实现持续集成。如需在本地运行测试,命令如下:

pip install -r tests/requirements-test.txt
pytest tests/

 

https://scylla.wildcat.io/zh/latest/