再谈select, iocp, epoll,kqueue及各种I/O复用机制
csdh11 2025-05-16 12:36 2 浏览
首先,介绍几种常见的I/O模型及其区别,如下:
- blocking I/O
- nonblocking I/O
- I/O multiplexing (
- signal driven I/O (
- asynchronous I/O (the POSIX
blocking I/O
这个不用多解释吧,阻塞套接字。下图是它调用过程的图示:
重点解释下上图,下面例子都会讲到。首先application调用 recvfrom转入kernel,注意kernel有2个过程,wait for data和copy data from kernel to user。直到最后copy complete后,recvfrom才返回。此过程一直是阻塞的。
nonblocking I/O:
与blocking I/O对立的,非阻塞套接字,调用过程图如下:
可以看见,如果直接操作它,那就是个轮询。。直到内核缓冲区有数据。
I/O multiplexing (select and poll)
最常见的I/O复用模型,select。
select先阻塞,有活动套接字才返回。与blocking I/O相比,select会有两次系统调用,但是select能处理多个套接字。
signal driven I/O (SIGIO)
只有UNIX系统支持,感兴趣的课查阅相关资料
与I/O multiplexing (select and poll)相比,它的优势是,免去了select的阻塞与轮询,当有活跃套接字时,由注册的handler处理。
asynchronous I/O (the POSIX aio_functions)
很少有*nix系统支持,windows的IOCP则是此模型
完全异步的I/O复用机制,因为纵观上面其它四种模型,至少都会在由kernel copy data to appliction时阻塞。而该模型是当copy完成后才通知application,可见是纯异步的。好像只有windows的完成端口是这个模型,效率也很出色。
下面是以上五种模型的比较
可以看出,越往后,阻塞越少,理论上效率也是最优。
=====================分割线==================================
5种模型的比较比较清晰了,剩下的就是把select,epoll,iocp,kqueue按号入座那就OK了。
select和iocp分别对应第3种与第5种模型,那么epoll与kqueue呢?其实也于select属于同一种模型,只是更高级一些,可以看作有了第4种模型的某些特性,如callback机制。
那么,为什么epoll,kqueue比select高级?
答案是,他们无轮询。因为他们用callback取代了。想想看,当套接字比较多的时候,每次select都要通过遍历FD_SETSIZE个Socket来完成调度,不管哪个Socket是活跃的,都遍历一遍。这会浪费很多CPU时间。如果能给套接字注册某个回调函数,当他们活跃时,自动完成相关操作,那就避免了轮询,这正是epoll与kqueue做的。
windows or *nix (IOCP or kqueue/epoll)?
诚然,Windows的IOCP非常出色,目前很少有支持asynchronous I/O的系统,但是由于其系统本身的局限性,大型服务器还是在UNIX下。而且正如上面所述,kqueue/epoll 与 IOCP相比,就是多了一层从内核copy数据到应用层的阻塞,从而不能算作asynchronous I/O类。但是,这层小小的阻塞无足轻重,kqueue与epoll已经做得很优秀了。
提供一致的接口,IO Design Patterns
实际上,不管是哪种模型,都可以抽象一层出来,提供一致的接口,广为人知的有ACE,Libevent这些,他们都是跨平台的,而且他们自动选择最优的I/O复用机制,用户只需调用接口即可。说到这里又得说说2个设计模式,ReactorandProactor。有一篇经典文章
http://www.artima.com/articles/io_design_patterns.html值得阅读,Libevent是Reactor模型,ACE提供Proactor模型。实际都是对各种I/O复用机制的封装。
Java nio包是什么I/O机制?
我曾天真的认为java nio封装的是IOCP。。现在可以确定,目前的java本质是select模型,可以检查/jre/bin/nio.dll得知。至于java服务器为什么效率还不错。。我也不得而知,可能是设计得比较好吧。。-_-。
=====================分割线==================================
总结一些重点:
- 只有IOCP是asynchronous I/O,其他机制或多或少都会有一点阻塞。
- select低效是因为每次它都需要轮询。但低效也是相对的,视情况而定,也可通过良好的设计改善
- epoll, kqueue是Reacor模式,IOCP是Proactor模式。
- java nio包是select模型。。
文章来自:Shallway
相关推荐
- 完美解决华硕主板机箱前置面板连接音箱无声音问题
-
#精品长文创作季#最近新组装了一台电脑主机,听歌时发现,音箱音频输入线插入主板自带的音频输出端口LINEOUT声音正常。但当将音箱音频输入线插入机箱自带的音频输出端口却没有声音。...
- Java 监控直播流rtsp协议转rtmp、hls、httpflv协议返回浏览器
-
Java监控直播流rtsp协议转rtmp、hls、httpflv协议返回浏览器...
- 编译安装OpenCV全攻略,附本地源码包
-
本文以Ubuntu(适用于18,20,22版本,其他的未进行测试)为例,介绍了编译安装OpenCV的最佳实践。其他平台比如windows,只需要参考本文的思路做稍微调整即可。一、为什么需要编译安装Op...
- 音视频录制+RTMP直播推拉流
-
音视频录制:1,录音通过条件编译识别pc或者mac://条件编译技术识别pc或者mac#ifdefQ_OS_WIN#defineFMT_NAME"dshow"...
- Python Socket.IO 简介
-
Socket.IO是一种传输协议,支持客户端与服务器之间基于事件的实时双向通信。客户端通常但不总是web浏览器,一般情况下,客户端是采用js编写的,当然,也可以用python、Java等。...
- MyCat系列二--配置文件之server.xml
-
MyCat系列二--配置文件之server.xml从【安装与基本使用】一文中,可以看到MyCat运行,需要进行一些配置文件的相关配置,本文将重点介绍配置文件server.xml的基本元素信息,尽量了解...
- 3分钟搞懂Socket.IO:接口调试技巧
-
在数字化协作需求井喷的今天,即时通讯、协同文档、MMO游戏等场景对实时交互提出了严苛要求。传统HTTP协议"请求-响应"的离散式通信机制已难以满足需求,这正是Socket.IO这类实时...
- 「云原生」Containerd ctr,crictl 和 nerdctl 命令介绍与实战操作
-
一、概述作为接替Docker运行时的Containerd在早在Kubernetes1.7时就能直接与Kubelet集成使用,只是大部分时候我们因熟悉Docker,在部署集群时采用了默认的dockers...
- 搜狗开源srpc:自研高性能通用RPC框架
-
今年7月底,搜狗公司开源了内部的工业级C++服务器引擎Workflow,一路收获业内许多认可和关注。9月15日,作为Workflow最重要的生态项目——srpc,一个基于其打造的轻量级RPC框架,也在...
- socket.io 权限认证
-
socket.io是一款流行的WebSocket库,提供了实时双向通信的能力。它支持多种身份验证方式,可用于保护某些敏感信息。接下来,我们将介绍如何使用socket.io权限认证1.安装依...
- Linux高性能服务器设计
-
C10K和C10M计算机领域的很多技术都是需求推动的,上世纪90年代,由于互联网的飞速发展,网络服务器无法支撑快速增长的用户规模。1999年,DanKegel提出了著名的C10问题:一台服务器上同时...
- 19K 标星!开源局域网文件传输神器,AirDrop 跨平台替代品!
-
传统文件传输方式(如USB、蓝牙、邮件)要么速度慢,要么操作繁琐,而AirDrop仅限苹果生态。如果你还在为手机和电脑之间传文件来回折腾?还在装各种臃肿的客户端、扫码连Wi-Fi、用数据线拖来...
- WebRTC 入门教程:搭建WebRTC信令服务器
-
前言我们在学习WebRTC时,首先要把实验环境搭建好,这样我们就可以在上面做各种实验了。对于WebRTC来说,它有一整套规范,如怎样使用它的接口、使用SDP进行媒体协商、通过ICE收集地址并进...
- 在 Go 中使用 Websockets 和 Socket.IO - 教程
-
注意-本教程是使用Go1.9版和googollee/go-socket.io编写的Websockets是我觉得有趣的东西,因为它们为我们提供了应用程序之间通信的替代选项,而不是标准的R...
- 2021 年 Node.js 开发人员学习路线图
-
Node.js自发布以来,已成为业界重要破局者之一。Uber、Medium、PayPal和沃尔玛等大型企业,纷纷将技术栈转向Node.js。Node.js支持开发功能强大的应用,例如实时追踪...
- 一周热门
- 最近发表
- 标签列表
-
- mydisktest_v298 (34)
- document.appendchild (35)
- 头像打包下载 (61)
- acmecadconverter_8.52绿色版 (39)
- word文档批量处理大师破解版 (36)
- server2016安装密钥 (33)
- mysql 昨天的日期 (37)
- parsevideo (33)
- 个人网站源码 (37)
- centos7.4下载 (33)
- mysql 查询今天的数据 (34)
- intouch2014r2sp1永久授权 (36)
- 先锋影音源资2019 (35)
- jdk1.8.0_191下载 (33)
- axure9注册码 (33)
- pts/1 (33)
- spire.pdf 破解版 (35)
- shiro jwt (35)
- sklearn中文手册pdf (35)
- itextsharp使用手册 (33)
- 凯立德2012夏季版懒人包 (34)
- 冒险岛代码查询器 (34)
- 128*128png图片 (34)
- jdk1.8.0_131下载 (34)
- dos 删除目录下所有子目录及文件 (36)