Crawlab(分布式爬虫管理平台) v0.5.1免费版

Crawlab(分布式爬虫管理平台),Crawlab是基于Golang的分布式爬虫管理平台，支持Python、NodeJS、Go、Java、PHP等多种编程语言以及多种爬虫框架，分为Docker、直接部署、Kubernetes三种安装方式,您可以免费下载。

Crawlab是基于Golang的分布式爬虫管理平台，支持Python、NodeJS、Go、Java、PHP等多种编程语言和多种爬虫框架，分为Docker、Direct Deployment、Kubernetes三种安装模式！

软件介绍

Crawlab架构：

Crawlab的架构包括一个主节点和几个工作节点，以及负责通信和数据存储的Redis和MongoDB数据库。

前端向主节点请求数据，主节点通过MongoDB和Redis进行任务调度和部署。工作节点收到任务后，开始执行爬虫任务，并将任务结果存储在MongoDB中。与v0.3.0之前的芹菜版本相比，简化了架构，取消了不必要的节点监控模块Flower。节点监控主要由Redis完成。

主机节点

主节点是整个Crawlab架构的核心，属于Crawlab的中央控制系统。主节点负责与前端应用程序通信，并通过Redis将爬虫任务分派给工作节点。同时，主节点将爬虫同步(部署)到工作节点，并通过Redis和MongoDB的GridFS。

工作节点

工作节点的主要功能是执行爬虫任务并存储抓取的数据和日志，通过Redis的PubSub与主节点进行通信。通过增加工作节点的数量，可以对Crawlab进行水平扩展，将不同的crawler任务分配给不同的节点执行。

MongoDB

MongoDB是Crawlab的运行数据库，存储节点、爬虫、任务、调度任务等数据。此外，GridFS文件存储是主节点存储爬虫文件并将其同步到工作节点的中间介质。

Redis

Redis是一个非常流行的键值数据库，主要实现Crawlab中节点之间的数据通信功能。例如，节点将自己的信息通过HSET存储在Redis的节点哈希列表中，主节点将根据哈希列表判断在线节点。

前端

前端是基于Vue-Element-Admin的单页应用。许多元素用户界面控件被重用来支持相应的显示。