作为程序员是一定要了解爬虫的,若是我们能把爬虫定制为一个小小的系统,在采集同类型的资源时,将会事半功倍,下面我推荐的是一个python版本的采集器,这个采集器主要是采集小说网站的,但是不防我们拿来研究研究,开阔一下思路,可以做我们自己的采集器。

下面说一下,它的安装教程,至于程序的获取请看最后,

上传94采集安装包

1)下载最新版本94采集器,上传至Linux服务器

先在自己的Linux上安装宝塔面板,用宝塔面板管理;

将下载的94采集器压缩包上传到服务器上(路径可以自己定)并解压

2)找到config.py文件,修改

只修改端口,94采集器作者反馈其他的不需要修改;端口可以自己定义,只要不被占用即可

94采集器文件修改

宝塔安全组放通
登录宝塔面板–》安全,将上面设置的端口放通

安装设置python管理器

注意:如果你宝塔面板中的安全加固功能开启了,请先关闭,不然管理器启动会失败

1)使用宝塔安装python管理器,并利用管理器安装python3.8.5版本

2)添加项目管理

参考下面的设置。

若启动失败,请安装 cfscrape 模块。

最后你可以用 ip:8099 (ip+端口)或者配置代理域名访问试试。

发表回复

您的邮箱地址不会被公开。 必填项已用 * 标注

插入图片