返回首页  设为首页  加入收藏  今天是:
网站首页电脑主板电脑cpu电脑内存电脑硬盘电脑显卡电脑电源显示器电脑配件电脑维修
相关文章
 2023-07-16:讲一讲Kafka与R…
 《星球大战绝地陨落的武士团…
 荣耀Magic V2真机外观曝光 黑…
 显示器可壁挂-显示器可壁挂品…
 节能超薄省钱 五款全高清LED…
 【质保3年1月换新】现代显示…
 支尔成超薄显示器支架17-32英…
 电脑屏幕亮度快捷键_电脑屏幕…
 电脑开机时cpu风扇噪音大
 CPU风扇声音大故障分析和解决…
 机箱如何消除噪音 先马黑洞解…
 拒绝噪音污染 手把手教你打造…
 让你的PC变得更安静
 相关教程
 电脑显卡都起什么作用
 老司机告诉你显卡有什么用
 铭凡NPB7英特尔i7-13700H迷你…
 集成显卡和独立显卡的区别
 电脑主机电源排行(电脑主机电…
 主机电源十大名牌主机电源哪…
 主机电源哪个牌子好一线电源…
 电商名人
 机箱电源什么牌子好-土巴兔装…
 PC装机标配 高性能250GB固态…
 固态硬盘和内存的低价红利期…
 开学PC要配大容量 十款内存硬…
 电脑硬盘到底该怎么选?又要…
 固态硬盘和内存越来越贵!
 西门子主轴电机维修前后轴承…
 承诺与实现主流显示器售后服…
 老王搞破坏之液晶显示器的零…
 修电脑机箱液晶显示器
 城中村电脑店探访:维修收费…
 联想推出了“ Go”系列电脑配…
 联想回应国内价格为何高于国…
 联想暑期特惠购来袭服务、爆…
 开学装备怎么选?联想暑期特…
 联想暑期特惠购爆品尖货、超…
 机箱秒变副屏!华擎发布 eDP…
 华硕PRIME B460M-A
 【2023年7月】7月装机走向与…
 电脑显示无信号然后黑屏解决…
 昂达推出新款 B450S-W 主板:…
 Arm 技术媒体分享日:TCS23如…
 澜起科技股价腰斩董事长总经…
 不同容量不同时序品牌频率内…
 由于微软对CPU、内存和存储资…
 8GB来了!iPhone 15内存大升…
 超薄无边框 山西飞利浦234E5…
 国星光电应邀出席行业峰会共…
专题栏目
网络
您现在的位置: 电脑评测网 >> 电脑内存 >> 正文
高级搜索
2023-07-16:讲一讲Kafka与RocketMQ中零拷贝技术的运用?
作者:佚名 文章来源:本站原创 点击数: 更新时间:2023/7/21 1:56:49 | 【字体:

  藤萍作品集下载零拷贝(英语: Zero-copy) 技术是指计算机执行操作时,CPU不需要先将数据从某处内存复制到另一个特定区域。这种技术通常用于通过网络传输文件时节省CPU周期和内存带宽。

  ➢零拷贝技术可以减少数据拷贝和共享总线操作的次数,消除传输数据在存储器之间不必要的中间拷贝次数,从而有效地提高数据传输效率

  ➢零拷贝技术减少了用户进程地址空间和内核地址空间之间因为上:下文切换而带来的开销

  3、第三步:将application应用程序buffer中的数据,copy到socket网络发送缓冲区(属于操作系统内核的缓冲区);

  4、第四次:将socket buffer的数据,copy到网卡,由网卡进行网络传输。

  分析上述的过程,虽然引入DMA来接管CPU的中断请求,但四次copy是存在“不必要的拷贝”的。实际上并不需要第二个和第三个数据副本。应用程序除了缓存数据并将其传输回套接字缓冲区之外什么都不做。相反,数据可以直接从读缓冲区传输到套接字缓冲区。

  显然,第二次和第三次数据copy 其实在这种场景下没有什么帮助反而带来开销(DMA拷贝速度一般比CPU拷贝速度快一个数量级),这也正是零拷贝出现的背景和意义。

  打个比喻:200M的数据,读取文件,再用socket发送出去,实际经过四次copy(2次cpu拷贝每次100ms ,2次DMS拷贝每次10ms)

  硬盘上文件的位置和应用程序缓冲区(application buffers)进行映射(建立一种一一对应关系),由于mmap()将文件直接映射到用户空间,所以实际文件读取时根据这个映射关系,直接将文件从硬盘拷贝到用户空间,只进行了一次数据拷贝,不再有文件内容从硬盘拷贝到内核空间的一个缓冲区。

  打个比喻:200M的数据,读取文件,再用socket发送出去,如果是使用MMAP实际经过三次copy(1次cpu拷贝每次100ms ,2次DMS拷贝每次10ms)合计只需要120ms

  Kafka两个重要过程都使用了零拷贝技术,且都是操作系统层面的狭义零拷贝,一是Producer生产的数据存到broker,二是 Consumer从broker读取数据。

  Producer生产的数据持久化到broker,采用mmap文件映射,实现顺序的快速写入;

  当调用sendfile()时,DMA将磁盘数据复制到kernel buffer,然后将内核中的kernel buffer直接拷贝到socket buffer。在硬件支持的情况下,甚至数据都并不需要被真正复制到socket关联的缓冲区内。取而代之的是,只有记录数据位置和长度的描述符被加入到socket缓冲区中,DMA模块将数据直接从内核缓冲区传递给协议引擎,从而消除了遗留的最后一次复制。

电脑内存录入:admin    责任编辑:admin 
  • 上一个电脑内存:

  • 下一个电脑内存: 没有了
  •  
     栏目文章
    普通电脑内存 2023-07-16:讲一讲Kafka与RocketMQ中零拷贝技… (07-21)
    普通电脑内存 《星球大战绝地陨落的武士团》配置要求公布 推… (07-21)
    普通电脑内存 荣耀Magic V2真机外观曝光 黑色素皮加持 (07-21)
    普通电脑内存 Arm 技术媒体分享日:TCS23如何满足未来计算复… (07-20)
    普通电脑内存 澜起科技股价腰斩董事长总经理2000万火速“护… (07-20)
    普通电脑内存 不同容量不同时序品牌频率内存可混用吗?能组… (07-20)
    普通电脑内存 由于微软对CPU、内存和存储资源调配进行了优化… (07-20)
    普通电脑内存 8GB来了!iPhone 15内存大升级:苹果区别对待… (07-20)
    普通电脑内存 突破痛点!Zig 为 C 语言提供绝佳解决方案 (07-20)
    普通电脑内存 名爵5行车记录仪怎么查看视频? 自带的行车记… (07-19)
    普通电脑内存 内存将产能大幅提高:重庆工厂将成海力士全球… (07-19)
    普通电脑内存 c盘满了怎么清理内存垃圾?微软官方工具就能解… (07-19)
    普通电脑内存 英语单词集 (07-19)
    普通电脑内存 日本冲绳媒体称美军基地内存有大量遭有机氟化… (07-19)
    普通电脑内存 为什么手机内存比电脑还大? 看看我们日常用机… (07-18)
    普通电脑内存 锐龙7000系列什么时候上市 锐龙R9 7900X支持内… (07-18)
    普通电脑内存 命运方舟电脑配置要求 (07-18)
    普通电脑内存 华为p10闪存门事件是什么意思? (07-18)
    普通电脑内存 华为2023新平板电脑曝光:采用骁龙7 4G处理器 (07-18)
    普通电脑内存 这款迷你电脑送女生真的合适 (07-18)