作为程序员是一定要了解爬虫的,若是我们能把爬虫定制为一个小小的系统,在采集同类型的资源时,将会事半功倍,下面我推荐的是一个python版本的采集器,这个采集器主要是采集小说网站的,但是不防我们拿来研究研究,开阔一下思路,可以做我们自己的采集器。
下面说一下,它的安装教程,至于程序的获取请看最后,
上传94采集安装包
1)下载最新版本94采集器,上传至Linux服务器
先在自己的Linux上安装宝塔面板,用宝塔面板管理;
将下载的94采集器压缩包上传到服务器上(路径可以自己定)并解压
2)找到config.py文件,修改
只修改端口,94采集器作者反馈其他的不需要修改;端口可以自己定义,只要不被占用即可
94采集器文件修改
宝塔安全组放通
登录宝塔面板–》安全,将上面设置的端口放通
安装设置python管理器
注意:如果你宝塔面板中的安全加固功能开启了,请先关闭,不然管理器启动会失败
1)使用宝塔安装python管理器,并利用管理器安装python3.8.5版本
2)添加项目管理
参考下面的设置。
若启动失败,请安装 cfscrape 模块。
最后你可以用 ip:8099 (ip+端口)或者配置代理域名访问试试。
声明:本站所有文章,如无特殊说明或标注,均为本站原创发布。任何个人或组织,在未征得本站同意时,禁止复制、盗用、采集、发布本站内容到任何网站、书籍等各类媒体平台。如若本站内容侵犯了原著者的合法权益,可联系我们进行处理。