
Scylla简介
- 自动化的代理 IP 爬取与验证
- 易用的 JSON API
- 简单但美观的 web 用户界面,基于 TypeScript 和 React(例如,代理的地理分布)
- 最少仅用一条命令即可启动
- 简明直接的编程 API(将在 1.1 版本中加入)
- 无头浏览器(headless browser crawling)爬虫
- 仅支持 Python 3.6
快速安装
推荐Docker安装
- docker run -d -p 8899:8899 -v /var/www/scylla:/var/www/scylla --name scylla wildcat/scylla:latest
使用 pip 直接安装
- pip install scylla
- scylla --help
- scylla # 运行爬虫和 Web 服务器
源代码安装
- git clone https:
- cd scylla
- pip install -r requirements.txt
- npm install # 或 yarn install
- make build-assets
- python -m scylla
使用
这里以服务运行在本地(localhost)为例,使用口号 8899。 注意:首次运行本项目时,您可能需要等待 1~2 分钟以爬取一定量的代理 IP。
Web 界面
打开 http://localhost:8899 即可访问本项目的 Web 界面。
代理 IP 全球分布
http://localhost:8899/#/geo

展开内容