Disruptor核心组件(istio核心组件)
csdh11 2025-03-28 16:01 23 浏览
1.RingBuffer、Disruptor
RingBuffer: 基于数组的缓存实现,也是创建Sequencer与定义WaitStrategy的入口
Disruptor: 持有RingBuffer、消费者线程池Executor、消费者集合含ConsumerRepository等引用
2.Sequence、Sequencer、Sequence Barrier
2.1 Sequence
- 通过顺序递增的序号来编号,管理进行交换的数据(事件);
- 对数据(事件)的处理过程总是沿着序号逐个递增处理;
- 一个Sequence用于跟踪标识某个特定的事件处理者(RingBuffer/Producer/Consumer)的处理进度,Producer有自己的Sequence,Consumer也有自己的Sequence,如果Producer和Consumer有多个,每个Producer和Consumer都有自己的Sequence;
- Sequence可以看成是一个AtomicLong,用于标识进度,只不过其比AtomicLong更强大;
- Sequence还有另外一个目的是防止不同Sequence之间CPU缓存伪共享(False Sharing)的问题;
2.2 Sequencer
- Sequencer表示一个对象,其包含了Sequence;
- Sequencer是Disruptor真正的核心;
- 此接口有两个重要实现类
com.lmax.disruptor.SingleProducerSequencer;
com.lmax.disruptor.MultiProducerSequencer; - 主要实现生产者和消费者之间快速、正确地传递数据的并发算法;
2.2 Sequence Barrier
- 用于保持对RingBuffer的Main Published Sequence (Producer)和Consumer之间的平衡的关系,或者说定义了Consumer要如何等着;
- SequenceBarrier还定义了决定Consumer是否还有可处理的事件的逻辑;
3.WaitStrategy等待策略
- 决定一个消费者如何等待生产者将Event置入Disruptor;
- 其所有实现都是针对消费者线程的;
名称 | 措施 | 适用场景 |
BlockingWaitStrategy | 加锁 | CPU资源紧缺,吞吐量和延迟并不重要的场景 |
BusySpinWaitStrategy | 自旋 | 通过不断重试,减少切换线程导致的系统调用,而降低延迟。推荐在线程绑定到固定的CPU的场景下使用 |
PhasedBackoffWaitStrategy | 自旋 + yield + 自定义策略 | CPU资源紧缺,吞吐量和延迟并不重要的场景 |
SleepingWaitStrategy | 自旋 + yield + sleep | 性能和CPU资源之间有很好的折中。延迟不均匀 |
TimeoutBlockingWaitStrategy | 加锁,有超时限制 | CPU资源紧缺,吞吐量和延迟并不重要的场景 |
YieldingWaitStrategy | 自旋 + yield + 自旋 | 性能和CPU资源之间有很好的折中。延迟比较均匀 |
主要策略有:
- BlockingWaitStrategy
- 最低效的策略,但其对CPU的消耗最小,并且在各种部署环境中能提供更加一致的性能表现;
- 内部维护了一个重入锁ReentrantLock和Condition;
- SleepingWaitStrategy
- 性能表现和BlockingWaitStrategy差不多,对CPU的消耗也类似,但其对生产者线程的影响最小,适合用于异步日志类似的场景;
- 是一种无锁的方式;
- YieldingWaitStrategy
- 性能最好,适合用于低延迟的系统;在要求极高性能且事件处理线程数小于CPU逻辑核心树的场景中,推荐使用此策略;例如,CPU开启超线程的特性;
- 也是无锁的实现,只要是无锁的实现,signalAllWhenBlocking()都是空实现;
4.Event、EventProcessor、EventHandler
4.1 Event
从生产者到消费者过程中所处理的数据单元;
在Disruptor框架中没有类表示Event,因为它完全是由用户定义的,在Disruptor框架中是用泛型表示的;
4.2 EventProcessor
主要用于事件的循环,处理Disruptor中的Event,拥有消费者的Sequence;
- 它有一个实现类是BatchEventProcessor,包含了event loop的有效实现,并且将回调一个EventHandler接口的实现对象;
- 继承自java.lang.Runnable接口;
- 是Disruptor中最核心的方法,实现了run()方法,不断的轮询,获取数据对象,把数据对象交给消费者处理,具体怎么交给消费者,利用了消费者的等待策略;
- 其在run()方法中回调EventHandler的实现对象,所有的Consumer都实现了EventHandler接口;
4.3 EventHandler
由用户实现并且代表了Disruptor中的一个消费者的接口,也就是消费者逻辑都要写在其中;
5 WorkProcessor
在多生产者多消费者模式下,确保每个sequence只被一个processor消费,在同一个WorkPool中,确保多个WorkProcessor不会消费同样的sequence;
相关推荐
- NUS邵林团队发布DexSinGrasp基于强化学习实现物体分离与抓取统一
-
本文的作者均来自新加坡国立大学LinSLab。本文的共同第一作者为新加坡国立大学实习生许立昕和博士生刘子轩,主要研究方向为机器人学习和灵巧操纵,其余作者分别为硕士生桂哲玮、实习生郭京翔、江泽宇以及...
- 「PLC进阶」如何通过编写SCL语言程序实现物料分拣?
-
01、前言SCL作为IEC61131-3编程语言的一种,由于其高级语言的特性,特别适合复杂运算、复杂数学函数应用的场合。本文以FactoryIO软件中的物料分拣案例作为硬件基础,介绍如何通过SCL来实...
- zk源码—5.请求的处理过程一(http1.1请求方法)
-
大纲1.服务器的请求处理链...
- 自己动手从0开始实现一个分布式 RPC 框架
-
前言为什么要自己写一个RPC框架,我觉得从个人成长上说,如果一个程序员能清楚的了解RPC框架所具备的要素,掌握RPC框架中涉及的服务注册发现、负载均衡、序列化协议、RPC通信协议、Socket通信、异...
- MLSys’25 | 极低内存消耗:用SGD的内存成本实现AdamW的优化性能
-
AIxiv专栏是机器之心发布学术、技术内容的栏目。过去数年,机器之心AIxiv专栏接收报道了2000多篇内容,覆盖全球各大高校与企业的顶级实验室,有效促进了学术交流与传播。如果您有优秀的工作想要分享,...
- 线程池误用导致系统假死(线程池会自动销毁吗)
-
背景介绍在项目中,为了提高系统性能使用了RxJava实现异步方案,其中异步线程池是自建的。但是当QPS稍微增大之后却发现系统假死、无响应和返回,调用方出现大量超时现象。但是通过监控发现,系统线程数正常...
- 大型乘用车工厂布局规划(六大乘用车基地)
-
乘用车工厂的布局规划直接影响生产效率、物流成本、安全性和未来扩展能力。合理的布局应确保生产流程顺畅、物流高效、资源优化,并符合现代化智能制造和绿色工厂的要求。以下是详细的工厂布局规划要点:1.工厂布...
- 西门子 S7-200 SMART PLC 连接Factory IO的方法
-
有很多同学不清楚如何西门子200smart如何连接FactoryIO,本教程为您提供了如何使用西门子S7-200SMARTPLC连接FactoryIO的说明。设置PC和PLC之间的...
- 西门子博图高级仿真软件的应用(西门子博途软件仿真)
-
1.博图高级仿真软件(S7-PLCSIMAdvancedV2.0)S7-PLCSIMAdvancedV2.0包含大量仿真功能,通过创建虚拟控制器对S7-1500和ET200SP控制器进行仿真...
- PLC编程必踩的6大坑——请对号入座,评论区见
-
一、缺乏整体规划:面条式代码问题实例:某快递分拣线项目初期未做流程图设计,工程师直接开始编写传送带控制程序。后期增加质检模块时发现I/O地址冲突,电机启停逻辑与传感器信号出现3处死循环,导致项目延期2...
-
- 统信UOS无需开发者模式安装软件包
-
原文链接:统信UOS无需开发者模式安装软件包...
-
2025-05-05 14:55 csdh11
- 100个Java工具类之76:数据指纹DigestUtils
-
为了提高数据安全性,保证数据的完整性和真实性,DigestUtils应运而生。正确恰当地使用DigestUtils的加密算法,可以实现数据的脱敏,防止数据泄露或篡改。...
- 麒麟KYLINIOS软件仓库搭建02-软件仓库添加新的软件包
-
#秋日生活打卡季#原文链接:...
- Java常用工具类技术文档(java中工具类的作用)
-
一、概述Java工具类(UtilityClasses)是封装了通用功能的静态方法集合,能够简化代码、提高开发效率。本文整理Java原生及常用第三方库(如ApacheCommons、GoogleG...
- 软路由的用法(自动追剧配置)(软路由教学)
-
本内容来源于@什么值得买APP,观点仅代表作者本人|作者:值友98958248861环境和需求...
- 一周热门
- 最近发表
- 标签列表
-
- mydisktest_v298 (34)
- document.appendchild (35)
- 头像打包下载 (61)
- acmecadconverter_8.52绿色版 (39)
- word文档批量处理大师破解版 (36)
- server2016安装密钥 (33)
- mysql 昨天的日期 (37)
- parsevideo (33)
- 个人网站源码 (37)
- centos7.4下载 (33)
- mysql 查询今天的数据 (34)
- intouch2014r2sp1永久授权 (36)
- 先锋影音源资2019 (35)
- jdk1.8.0_191下载 (33)
- axure9注册码 (33)
- pts/1 (33)
- spire.pdf 破解版 (35)
- shiro jwt (35)
- sklearn中文手册pdf (35)
- itextsharp使用手册 (33)
- 凯立德2012夏季版懒人包 (34)
- 冒险岛代码查询器 (34)
- 128*128png图片 (34)
- jdk1.8.0_131下载 (34)
- dos 删除目录下所有子目录及文件 (36)