Gecco爬虫框架的线程和队列模型 爬虫通用框架
csdh11 2024-12-22 15:02 21 浏览
简述
爬虫在抓取一个页面后一般有两个任务，一个是解析页面内容，一个是将需要继续抓取的url放入队列继续抓取。因此，当爬取的网页很多的情况下，待抓取url的管理也是爬虫框架需要解决的问题。本文主要说的是gecco爬虫框架的队列和线程模型。
线程和队列模型
- gecco的队列模型是两级队列模型。分为初始请求队列和派生请求队列。初始请求队列在循环模式下是一个阻塞式的FIFO队列，在非循环模式下是一个非阻塞式的FIFO队列。派生队列是一个非阻塞的剔重的FIFO队列；
- 线程首先去初始请求队列按照FIFO原则获取一个请求，如果线程数量大于初始请求队列的数量，多余的线程就会待定新的初始请求入队，因此建议线程数量不要大于初始请求队列的数量；
- 对于循环模式loop(true)，线程在抓取完成后，会将初始请求重新放入队列；
- 多线程只对初始请求队列有效，每个线程会有自己的派生请求队列，因此派生请求队列是在单线程下运行的，爬虫将派生请求放入队列继续抓取，直到没有派生请求；
- 线程在抓取完成派生请求后，会继续向初始请求队列获取初始请求
为什么要用这种模型
- Gecco的线程模型很像浏览器，每一个线程对应一个浏览器的Tab。每个浏览器的Tab一次只能看一个页面，因此就有了初始请求队列多线程，派生请求队列单线程的模型。
- 使用这种队列和线程模型开发人员很好理解，结构简单易懂，效率也能保证。想用多线程提高效率就想办法放入初始请求队列。
如何动态的获取初始请求队列
如果想通过多线程提高爬虫的效率就需要想办法将请求放入初始请求队列。我们可以先通过一个爬虫引擎将待抓取的请求保存起来。另外一个爬虫引擎以第一个爬虫引擎获取的请求作为初始请求开启多线程运行。简单说就是初始请求也是可以抓取出来的，并不一定非要写死。下面是jd采用多线程抓取的一段代码，全部代码已经上传github。
//先获取分类列表，放入AllSortPipeline.sortRequests
HttpGetRequest start = new HttpGetRequest("http://www.jd.com/allSort.aspx");
start.setCharset("GBK");
GeccoEngine.create
.classpath("com.geccocrawler.gecco.demo.jd")
.start(start)
.run;
//分类列表下的商品列表采用3线程抓取
GeccoEngine.create
.classpath("com.geccocrawler.gecco.demo.jd")
//从上面的GeccoEngine获取初始请求
.start(AllSortPipeline.sortRequests)
.thread(5)
.interval(2000)
.start;相关推荐
- OKHttp原理解析（okhttp的作用）
-
Okhttp应该是Android目前非常流行的第三方网络库，尝试讲解他的使用以及原理分析，分成几个部分：...
- 快速教会你优雅的解决TCP客户端端口耗尽的问题
-
Hello，我是Henry，相信各位开发老爷在使用大并发网络连接的时候，可能都遇到过TCP客户端端口耗尽的问题，这是一个常见问题，以下是系统性的解决方案及技术细节：1.理解端口限制的本质...
- 这3个接口基础知识，产品经理需要知道
-
产品经理在工作中，避免不了要阅读接口文档，希望本文能够帮助大家更好的了解接口。接口，即客户端（浏览器）向服务器提交请求，服务器向客户端返回响应。本质就是数据的传输与接收。本文主要介绍接口相关的基础知识...
- Java 11新特性对开发者的影响:让编程更高效、更自由
-
Java11新特性对开发者的影响：让编程更高效、更自由在这个瞬息万变的编程世界里，每一代Java的更新都承载着无数开发者对性能优化、生产力提升以及代码美感追求的期望。作为继Java8之后的首个长期...
- 干货-okHttp的优点-收藏了（okhttp的好处）
-
OkHttp相较于其它的实现有以下的优点.支持SPDY，允许连接同一主机的所有请求分享一个socket。如果SPDY不可用，会使用连接池减少请求延迟。使用GZIP压缩下载内容，且压缩操作对用...
- 如何在 Java 项目中集成 DeepSeek
-
一、使用官方SDK基础集成1.添加依赖（Maven）<dependency><groupId>com.deepseek</groupId>...
- spring cloud gateway 性能优化思路
-
SpringCloudGateway是一个高性能的API网关，但在实际的生产环境中，可能会遇到一些性能瓶颈。以下是一些SpringCloudGateway的性能优化方面：调整线程池...
- 你对Android中的okHttp的使用真的了解吗
-
框架下载地址：https://github.com/square/okhttp今天给大家讲解下网络框架okhttp的使用，这个框架非常强大，很多框架都用它来加载网络资源，目前很多开发者还在用As...
- 京东大佬问我，Nginx并发连接如何设置?详细说明
-
京东大佬问我，Nginx并发连接如何设置?详细说明首先，我需要回忆一下Nginx的并发模型。Nginx是基于事件驱动的异步架构，所以它的并发处理能力和配置参数有很大关系。主要的参数应该包括worker...
- 如何实现一个连接池?一文带你深入浅出，彻底搞懂
-
-前言-【2w1h】是技术领域中一种非常有效的思考和学习方式，即What、Why和How；坚持【2w1h】，可以快速提升我们的深度思考能力。...
- Golang 网络编程（golang 系统编程）
-
TCP网络编程存在的问题：拆包：对发送端来说应用程序写入的数据远大于socket缓冲区大小，不能一次性将这些数据发送到server端就会出现拆包的情况。通过网络传输的数据包最大是1500字节，当TCP...
- Spring6|Spring Boot3有哪些HTTP客户端可以选择
-
个人博客：无奈何杨（wnhyang）个人语雀：wnhyang...
- 10. 常用标准库（标准库有哪些）
-
本章深入解析Go语言核心标准库的关键功能与生产级应用技巧，结合性能优化与安全实践，提供高效开发指南。10.1fmt/io/os10.1.1fmt高级格式化...
- Nginx之连接池（nginx 长连接 连接复用）
-
我们知道Nginx利用连接池来增加它对资源的利用率。下面我们一起来看看Nginx是如何使用连接池的。从上一节模块开始已经慢慢会接触一些Nginx的源码部分来。每个worker进程都有一个独立的ngx...
- 开发者必备的Android开发资源之OkHttp
-
小编在这里给各位Android开发者介绍的资源包括工具、库和网站等。有效地利用它们，将有助于减轻我们的工作量，提高我们的工作效率。为什么需要一个HTTP库Android系统提供了两种HTTP通信类，H...
- 一周热门
- 最近发表
- 标签列表
-
- mydisktest_v298 (34)
- document.appendchild (35)
- 头像打包下载 (61)
- acmecadconverter_8.52绿色版 (39)
- word文档批量处理大师破解版 (36)
- server2016安装密钥 (33)
- mysql 昨天的日期 (37)
- parsevideo (33)
- 个人网站源码 (37)
- centos7.4下载 (33)
- mysql 查询今天的数据 (34)
- intouch2014r2sp1永久授权 (36)
- 先锋影音源资2019 (35)
- jdk1.8.0_191下载 (33)
- axure9注册码 (33)
- pts/1 (33)
- spire.pdf 破解版 (35)
- shiro jwt (35)
- sklearn中文手册pdf (35)
- itextsharp使用手册 (33)
- 凯立德2012夏季版懒人包 (34)
- 冒险岛代码查询器 (34)
- 128*128png图片 (34)
- jdk1.8.0_131下载 (34)
- dos 删除目录下所有子目录及文件 (36)