、效率问题错误谬误：1，间问题2、空。大量不持续的内存碎片标识表记标帜断根之后会发生，运转过程中需要分派较大对象时空间碎片太多会导致当前法式在，提前触发另一次垃圾收集动作无法找到足够的持续内存而。

　　会极大地影响机能Full GC 。很大内存空间的 JVM 来说特别是为了处置更大数据而开了，秒级以至分钟级GC 会达到。

　　rror: PermGen space若是呈现g.OutOfMemoryE，久代 Perm 内存设置不敷申明是 Java 虚拟机对永。

　　-消费者模子的一个图示这是对于单历程内出产者，实上事， TaskManager 内若是两个 Task 在统一个，就是上述模子那么利用的，

　　象存储密度低Java 对。次要部门：对象头、实例数据、对齐填充部门Java 的对象在内存中存储包含 3 个。

　　作系统节制间接受操，历程和设备拜候能够间接被其他，拟机复制的过程削减了本来从虚；

　　化过程中若何利用 MemorySegment通过一个案例引见Flink在序列化和反序列：

　　计数器的实现很简单援用计数法：援用，对象 A对于一个，对象援用了 A只需有任何一个，计数器就加 1则 A 的援用，失效时当援用，器就减 1援用计数。用计数器的值为 0只需对象 A 的引，不成能再被利用则对象 A 就。

　　Direct buffer memory 非常若是报 OutOfMemoryError: ，限制太小或具有间接内存泄露凡是暗示 JVM间接内存。能否利用了 JVM 间接内存查抄用户代码或其他外部依赖项，被准确考虑以及它能否。堆外内存来添加其限制能够测验考试通过调整间接。agers 和 Flink 设置的JVM 参数设置装备摆设堆外内存能够参考若何为 TaskManagers、 JobMan。

　　了多种算法进行垃圾收受接管虽然 Java 供给，带来的长时间的 GC 搁浅的问题但仍然无法完全处理堆内内存过大，内内存不成知的问题以及操作系统对堆。

　　 区和两个 Survivor 区重生代：重生代有一个 Eden， Eden 区起首将对象放入，rvivor1 区上放若是空间不足就向 Su，nor GC 触发一次 mi，放入 Survivor2 区中若是仍然放不下就将存活的对象，urvivor1 区的内存然后清空 Eden 和 S。C 过程中在某次 G，又放不下的对象若是发觉仍然，入老年代内存里去就将这些对象放。

　　StateBackend若是利用 RocksDB，TaskManager 的托管内存而且内存节制被禁用：能够测验考试添加 。启用内存节制和非堆内存添加在保留点或完整查抄点期间，c内存分派器而发生的这可能是因为glib。

　　容易呈现问题的处所因为堆内内存处置是，致法式或系统的不不变以至解体健忘或者错误的内存收受接管会导，能否跨越感化域从而达到主动收受接管内存的目标Java 就供给 GC 功能主动监测对象。

　　agers 添加框架堆内存还可认为 TaskMan，身需要更多内存时才该当更改此选项但只要在确定 Flink 框架本。

　　射中问题缓存未。行计较的时候CPU 进，缓存中获取数据是从 CPU 。U 会有多级缓存现代系统的 CP，he Line 为单元加载而加载的时候是以 Cac。对象持续存储若是可以或许将，Cache Miss如许就会大大降低 。 集中处置营业使得 CPU，是空转而不。

　　tateBackend 利用本机内存该 EmbeddedRocksDBS。环境下默认，内存分派限制为托管内存的大小RocksDB 设置为将本机。此因，的托管内存很是主要为你的形态保留足够。cksDB 内存节制若是禁用默认的 Ro，求的容器大小（总历程内存）的限制RocksDB 分派的内存跨越请， TaskManager 则能够在容器化摆设中终止。

　　要跨收集传输的 TM 之间对于分歧 TM 内、或者需，进行数据传输的道理图如下操纵出产者-消费者模子来：

　　MemorySegmentBuffer 的底层是 ，由 Flink 自行办理Buffer 申请和释放，入了援用数的概念Flink 引。fer 消费者时当有新的 Buf，加 1援用数，Buffer 时当消费者消费完 ，减 1援用数，变为 0 时最终当援用数，fer 释放重用了就能够将 Buf。

　　若是两者都设置托管内存设置装备摆设时，笼盖分数则大小将。数均未明白设置装备摆设若是大小和分，默认分数则将利用。

　　据范畴中在大数，k、Storm）等都是基于 JVM 运转有良多开源框架（Hadoop、Spar，据范畴饰演的主要脚色可见 JVM 在大数，link 内存时所以在领会 F，一下 JVM 我们需要先领会。

　　斥地很大的内存空间能够很便利的自主，伸缩性很好对大内存的；来的系统搁浅时间削减垃圾收受接管带；

　　内存具有一些问题基于 JVM ，数据场景下而且在大，存储海量数据无法在内存中，无法提高计较效率。用自主内存办理设想Flink 社区采。

　　中会把它在主存中办理的内存部门划分成多个区域Java 虚拟机在施行 Java 法式的过程，分歧类型的数据每个区域存放。图所示如下：

　　 节为容器设置装备摆设内存这个对应 5.2。（Yarn 或 Kubernetes）的内存若是 Flink 容器测验考试分派超出其请求大小， 没有预留足够的本机内存这凡是表白 Flink。署情况杀死时当容器被部，或从错误动静中察看到这一点能够通过利用外部监控系统。

　　操纵托管内存来更高效地运转Flink 的批处置操作符。做时如许，数据施行某些操作能够间接对原始， Java 对象而无需反序列化为。使用法式的机能有现实影响这意味着托管内存设置装备摆设对。批处置功课设置装备摆设的尽可能多的托管内存Flink 将测验考试分派和利用 为，出其限制但不会超。emoryError’s这能够防止 OutOfM，地晓得它必需操纵几多内存由于 Flink 精确。内存不足若是托管，文雅地溢出到磁盘Flink 会。

　　容量划分为大小相等的两块复制算法：将可用内存按，此中的一块每次只试用，内存用完时当这一块，到别的一块内存上面将存活的对象复制，存中的所有对象然后断根利用内。初生代合用于。

　　处置轮回援用环境错误谬误：1、无法，内存泄露会形成。机能发生影响2、对系统。

　　和操作系统办理内存一样Flink 的内存办理，段、内存页等布局将内存划分为内存。

　　tes或Yarn）设置装备摆设总历程内存建议为容器化摆设（Kuberne，s.size 大小设置 proces，给 Flink JVM 历程它声了然总共该当分派几多内存，求容器的大小并对应于请。式如下设置装备摆设方：

　　记出所有需要收受接管的对象标识表记标帜压缩算法：起首标，对象都向一端挪动然后让所有存活的，鸿沟以外的内存然后清理掉端。于老年合用代

　　大量对象具有堆内存上Flink 并不是将，一个预分派的内存块上而是将对象都序列化到，morySegment这个内存块叫做 Me，存（默认大小为 32KB）它代表了一段固定长度的内，中最小的内存分派单位也是 Flink ，高效的读写方式而且供给了很是，操作 二进制数据良多运算能够间接，列化即可施行不需要反序。或多个 MemorySegment 中每笔记录城市以序列化的形式存储在一个。能够保具有内存中的数据若是需要处置的数据多于，会将部门数据溢出到磁盘Flink 的运算符。

　　本身利用的内存Flink框架，r本身所占用的堆上内存即TaskManage，ot的资本中不计入Sl。

　　图所示如上，le 3 对象时当建立一个Tup，个层面包含三，nt 类型一是 i，ble 类型一是 dou，Person还有一个是 。象包含两个字段Person对， 型的 ID一是 int，g 类型的 name另一个是 Strin，

　　是一个常驻内存区域永世代：永世存储区，ass、Interface 的元数据用于存放 JDK 本身所照顾的 Cl，运转情况必需的类消息也就是说它存储的是，不会被垃圾收受接管器收受接管掉的被装载进此区域的数据是，放此区域所占用的内存封闭 JVM 才会释。

　　题影响不变性OOM 问。 是分布式计较框架经常会碰到的问题OutOfMemoryError，过度配给 JVM 的内存大小时当 JVM 中所有对象大小超，moryError 错误就会发生 OutOfMe，VM 解体导致 J，和机能城市遭到影响分布式框架的健壮性。

　　为两个阶段：标识表记标帜阶段和断根阶段标识表记标帜-断根算法：将垃圾收受接管分，需要收受接管的对象起首标识表记标帜出所有，收所有被标识表记标帜的对象在标识表记标帜完成后同一回。

　　配超出容器大小的非托管堆外（本机）内存警告：若是 Flink 或用户代码分，能会失败功课可，会杀死有问题的容器由于摆设情况可能。

　　RocksDB 形态后端流式功课能够将其用于 。行排序、哈希表、两头成果的缓存流和批处置功课都能够利用它进。ython 历程中施行用户定义的函数流功课和批处置功课都能够利用它在 P。

　　k 流使用法式时在摆设 Flin，决定集群的最佳内存设置装备摆设所利用的形态后端类型将。

　　本身所需要的内容JVM 施行时，编译缓存等所利用的内存包罗线程仓库、IO、 ,成分的的总历程内存这是一个上限分级。

　　久区的垃圾收受接管关于堆内存和永， 算法包含：援用计数法Java 供给的 GC，断根算法标识表记标帜-，算法复制，压缩算法标识表记标帜-，收集算分代法

　　va 代码的设想计较机 JVM 是可运转 Ja，、本处所式栈、Java 堆 和方式区包罗法式计数器、Java 虚拟机栈。在操作系统之上的JVM 是运转，有间接的交互它与硬件没。

　　列化操作时（1）在序，列化器进行响应的序列化操作会委托响应具体序列化的序。型通过 IntSerializer 进行序列化操作从图中能够看到 Tuple 3 会把 int 类，需要占用四个字节此时 int 只。

　　垃圾收集器的次要工作区域堆内内存是 Java ，圾收受接管的效率为了提高垃，了重生代、老年代、永世代在堆内内存的内部又划分出。en、Survivor1、Survivor2 三个区域在重生代内存中又按照 8:1:1 的比例划分出了 Ed。

　　小没有指定若是内存大，、框架堆外内存、使命堆外内存、托管内存和收集内存它将被推导出为总 Flink 内存减去框架堆内存。

　　总 Flink 内存留意：若是你设置装备摆设了，M 内存组件来推导总历程内存Flink 会隐式添加 JV，导大小的内存的容器并请求一个具有该推。

　　 MemorySegment内存段在 Flink 内部叫，最小的内存分派单位是 Flink 中， 32KB默认大小。va 的 byte 数组）它既能够是堆上内存（Ja，的 DirectByteBuffer）也能够是堆外内存（基于 Netty ，据进行读取和写入的方式同时供给了对二进制数。

　　11 中在 1.，端的内存设置装备摆设进行了点窜Flink 对 JM ，TM 端的设置装备摆设体例连结一以致它的选项和设置装备摆设体例与 。

　　程轮番切换并分派处置器时间来实现的Java 虚拟机的多线程就是通过线，恢复到准确的位置为了线程切换后能，个独立的法式计数器每条线程都需要一，影响互不，机栈：与线程生命周期不异该区域线、Java 虚拟，局部变量表用于存储，作栈操，前往值方式。着根基数据类型局部变量表放，象的援用还有对，栈：跟虚拟机栈很像该区域线、本处所式， Native 方式办事不外它是为虚拟机利用到的,存虚拟机加载的类消息该区域线、方式区：储，量常，变量静态，的代码编译后，堆：存放所有对象的实例该区域线、Java 。 虚拟机启动的时候被建立这一块区域在 Java，有线程所共享该区域被所，器的次要工作区域同时也是垃圾收集，了被叫 堆内内存以外因而这一部门区域除，e Collected Heap）也被叫做 GC 堆（Garbag。

　　apStateBackend 时运转无形态功课或利用 HashM，存设置为零将托管内。户代码分派最大数量的堆内存这将确保为 JVM 上的用。如下设置装备摆设：

　　一个 Pojo 对象来进行处置（2）Person 类会被当成，器会把一些属性消息利用一个字节存储起来PojoSerializer 序列化。样同，序列化器进行响应序列化其字段则采纳相对应的，完的成果中在序列化，morySegment 去支撑能够看到所有的数据都是由 Me。

　　办理的原生托管内存由 Flink ，缓存和 RocksDB 形态后端保留用于排序、哈希表、两头成果。理并分派为原生内存（堆外）托管内存由 Flink 管。利用托管内存以下工作负载：

　　述问题基于上，(off-heap memory)Java 虚拟机斥地出了堆外内存。Java 虚拟机堆内内存以外的内存区域堆外内存意味着把一些对象的实例分派在 ，统（而不是虚拟机）办理这些内存间接受操作系。能连结一个较小的堆如许做的成果就是，集对使用的影响以削减垃圾收。间接受操作系统的办理同时由于这部门区域，能够间接通过操作系统对其进行拜候此外历程和设备（例如 GPU ），复制内存数据的过程削减了从虚拟机中。