百度360必应搜狗淘宝本站头条
当前位置:网站首页 > 技术教程 > 正文

再谈select, iocp, epoll,kqueue及各种I/O复用机制

csdh11 2025-05-16 12:36 2 浏览

首先,介绍几种常见的I/O模型及其区别,如下:

  • blocking I/O
  • nonblocking I/O
  • I/O multiplexing (
  • signal driven I/O (
  • asynchronous I/O (the POSIX

blocking I/O

这个不用多解释吧,阻塞套接字。下图是它调用过程的图示:

重点解释下上图,下面例子都会讲到。首先application调用 recvfrom转入kernel,注意kernel有2个过程,wait for data和copy data from kernel to user。直到最后copy complete后,recvfrom才返回。此过程一直是阻塞的。

nonblocking I/O:

与blocking I/O对立的,非阻塞套接字,调用过程图如下:

可以看见,如果直接操作它,那就是个轮询。。直到内核缓冲区有数据。

I/O multiplexing (select and poll)

最常见的I/O复用模型,select。

select先阻塞,有活动套接字才返回。与blocking I/O相比,select会有两次系统调用,但是select能处理多个套接字。

signal driven I/O (SIGIO)

只有UNIX系统支持,感兴趣的课查阅相关资料

I/O multiplexing (select and poll)相比,它的优势是,免去了select的阻塞与轮询,当有活跃套接字时,由注册的handler处理。

asynchronous I/O (the POSIX aio_functions)

很少有*nix系统支持,windows的IOCP则是此模型

完全异步的I/O复用机制,因为纵观上面其它四种模型,至少都会在由kernel copy data to appliction时阻塞。而该模型是当copy完成后才通知application,可见是纯异步的。好像只有windows的完成端口是这个模型,效率也很出色。

下面是以上五种模型的比较

可以看出,越往后,阻塞越少,理论上效率也是最优。

=====================分割线==================================

5种模型的比较比较清晰了,剩下的就是把select,epoll,iocp,kqueue按号入座那就OK了。

select和iocp分别对应第3种与第5种模型,那么epoll与kqueue呢?其实也于select属于同一种模型,只是更高级一些,可以看作有了第4种模型的某些特性,如callback机制。

那么,为什么epoll,kqueue比select高级?

答案是,他们无轮询。因为他们用callback取代了。想想看,当套接字比较多的时候,每次select都要通过遍历FD_SETSIZE个Socket来完成调度,不管哪个Socket是活跃的,都遍历一遍。这会浪费很多CPU时间。如果能给套接字注册某个回调函数,当他们活跃时,自动完成相关操作,那就避免了轮询,这正是epoll与kqueue做的。

windows or *nix (IOCP or kqueue/epoll)?

诚然,Windows的IOCP非常出色,目前很少有支持asynchronous I/O的系统,但是由于其系统本身的局限性,大型服务器还是在UNIX下。而且正如上面所述,kqueue/epoll 与 IOCP相比,就是多了一层从内核copy数据到应用层的阻塞,从而不能算作asynchronous I/O类。但是,这层小小的阻塞无足轻重,kqueue与epoll已经做得很优秀了。

提供一致的接口,IO Design Patterns

实际上,不管是哪种模型,都可以抽象一层出来,提供一致的接口,广为人知的有ACE,Libevent这些,他们都是跨平台的,而且他们自动选择最优的I/O复用机制,用户只需调用接口即可。说到这里又得说说2个设计模式,ReactorandProactor。有一篇经典文章
http://www.artima.com/articles/io_design_patterns.html值得阅读,Libevent是
Reactor模型,ACE提供Proactor模型。实际都是对各种I/O复用机制的封装。

Java nio包是什么I/O机制?

我曾天真的认为java nio封装的是IOCP。。现在可以确定,目前的java本质是select模型,可以检查/jre/bin/nio.dll得知。至于java服务器为什么效率还不错。。我也不得而知,可能是设计得比较好吧。。-_-。

=====================分割线==================================

总结一些重点:

  1. 只有IOCP是asynchronous I/O,其他机制或多或少都会有一点阻塞。
  2. select低效是因为每次它都需要轮询。但低效也是相对的,视情况而定,也可通过良好的设计改善
  3. epoll, kqueue是Reacor模式,IOCP是Proactor模式。
  4. java nio包是select模型。。

文章来自:Shallway

相关推荐

完美解决华硕主板机箱前置面板连接音箱无声音问题

#精品长文创作季#最近新组装了一台电脑主机,听歌时发现,音箱音频输入线插入主板自带的音频输出端口LINEOUT声音正常。但当将音箱音频输入线插入机箱自带的音频输出端口却没有声音。...

Java 监控直播流rtsp协议转rtmp、hls、httpflv协议返回浏览器

Java监控直播流rtsp协议转rtmp、hls、httpflv协议返回浏览器...

编译安装OpenCV全攻略,附本地源码包

本文以Ubuntu(适用于18,20,22版本,其他的未进行测试)为例,介绍了编译安装OpenCV的最佳实践。其他平台比如windows,只需要参考本文的思路做稍微调整即可。一、为什么需要编译安装Op...

音视频录制+RTMP直播推拉流

音视频录制:1,录音通过条件编译识别pc或者mac://条件编译技术识别pc或者mac#ifdefQ_OS_WIN#defineFMT_NAME"dshow"...

Python Socket.IO 简介

Socket.IO是一种传输协议,支持客户端与服务器之间基于事件的实时双向通信。客户端通常但不总是web浏览器,一般情况下,客户端是采用js编写的,当然,也可以用python、Java等。...

MyCat系列二--配置文件之server.xml

MyCat系列二--配置文件之server.xml从【安装与基本使用】一文中,可以看到MyCat运行,需要进行一些配置文件的相关配置,本文将重点介绍配置文件server.xml的基本元素信息,尽量了解...

3分钟搞懂Socket.IO:接口调试技巧

在数字化协作需求井喷的今天,即时通讯、协同文档、MMO游戏等场景对实时交互提出了严苛要求。传统HTTP协议"请求-响应"的离散式通信机制已难以满足需求,这正是Socket.IO这类实时...

「云原生」Containerd ctr,crictl 和 nerdctl 命令介绍与实战操作

一、概述作为接替Docker运行时的Containerd在早在Kubernetes1.7时就能直接与Kubelet集成使用,只是大部分时候我们因熟悉Docker,在部署集群时采用了默认的dockers...

搜狗开源srpc:自研高性能通用RPC框架

今年7月底,搜狗公司开源了内部的工业级C++服务器引擎Workflow,一路收获业内许多认可和关注。9月15日,作为Workflow最重要的生态项目——srpc,一个基于其打造的轻量级RPC框架,也在...

socket.io 权限认证

socket.io是一款流行的WebSocket库,提供了实时双向通信的能力。它支持多种身份验证方式,可用于保护某些敏感信息。接下来,我们将介绍如何使用socket.io权限认证1.安装依...

Linux高性能服务器设计

C10K和C10M计算机领域的很多技术都是需求推动的,上世纪90年代,由于互联网的飞速发展,网络服务器无法支撑快速增长的用户规模。1999年,DanKegel提出了著名的C10问题:一台服务器上同时...

19K 标星!开源局域网文件传输神器,AirDrop 跨平台替代品!

传统文件传输方式(如USB、蓝牙、邮件)要么速度慢,要么操作繁琐,而AirDrop仅限苹果生态。如果你还在为手机和电脑之间传文件来回折腾?还在装各种臃肿的客户端、扫码连Wi-Fi、用数据线拖来...

WebRTC 入门教程:搭建WebRTC信令服务器

前言我们在学习WebRTC时,首先要把实验环境搭建好,这样我们就可以在上面做各种实验了。对于WebRTC来说,它有一整套规范,如怎样使用它的接口、使用SDP进行媒体协商、通过ICE收集地址并进...

在 Go 中使用 Websockets 和 Socket.IO - 教程

注意-本教程是使用Go1.9版和googollee/go-socket.io编写的Websockets是我觉得有趣的东西,因为它们为我们提供了应用程序之间通信的替代选项,而不是标准的R...

2021 年 Node.js 开发人员学习路线图

Node.js自发布以来,已成为业界重要破局者之一。Uber、Medium、PayPal和沃尔玛等大型企业,纷纷将技术栈转向Node.js。Node.js支持开发功能强大的应用,例如实时追踪...