资讯频道 → 编程语言
阅读更多

0顶
0踩

编程语言

转载新闻 Java 堆内存溢出梗概分析

2018-03-30 10:13 by 副主编 jihong10102006 评论(0) 有12775人浏览
java
引用
原文：Java Out of Memory Heap Analysis
链接：https://dzone.com/articles/java-out-of-memory-heap-analysis
译者：dreamanzhao, 无若

任何使用过基于 Java 的企业级后端应用的软件开发者都会遇到过这种低劣、奇怪的报错，这些报错来自于用户或是测试工程师： java.lang.OutOfMemoryError：Java heap space。

为了弄清楚问题，我们必须返回到算法复杂性的计算机科学基础，尤其是“空间”复杂性。如果我们回忆，每一个应用都有一个最坏情况特征。具体来说，在存储维度方面，超过推荐的存储将会被分配到应用程序上，这是不可预测但尖锐的问题。这导致了堆内存的过度使用，因此出现了"内存不够"的情况。

这种特定情况最糟糕的部分是应用程序不能修复，并且将崩溃。任何重启应用的尝试 - 甚至使用最大内存（-Xmx option）- 都不是长久之计。如果不明白什么导致了堆使用的膨胀或突出，内存使用稳定性（即应用稳定性）就不能保障。于是，什么才是更有效的理解关于内存的编程问题的途径？当内存溢出时，明白应用程序的内存堆和分布情况才能回答这个问题。

在这一前提下，我们将聚焦以下方面：
  • 当内存溢出时，获取到 Java 进程中的堆转储。
  • 明白应用程序正在遭遇的内存问题的类型。
  • 使用一个堆分析器，可以使用 Eclipse MAT 这个优秀的开源项目来分析内存溢出的问题。
配置应用，为堆分析做准备

任何像内存溢出这种非确定性的、时有时无的问题对于事后的分析都是一个挑战。所以，最好的处理内存溢出的方法是让 JVM 虚拟机转储一份 JVM 虚拟机内存状态的堆文件。
Sun HotSpot JVM 有一种方法可以引导 JVM 转储内存溢出时的堆状态到一个文件中。其标准格式为 .hprof 。所以，为了实现这种操作，向 JVM 启动项中添加 XX:+HeapDumpOnOutOfMemoryError 。因为内存溢出可能经过很长一段时间才会发生，向生产系统增加这一选项也是必须的。
如果堆转储 .hprof 文件必须被写在一个特定的文件系统位置，那么就添加目录途径到 XX:HeapDumpPath 。只需确保该应用对于指定目录途径始终拥有写入权限。

原因分析

101：了解内存溢出错误的本质

当尝试去评估和了解一个内存溢出错误时，最先做的事情应该是观察内存增长特征。根据情况做出可能性的评估：
  • 尖峰状：这种类型的内存溢出在某种类型的加载上会是比较激烈的。当 JVM 分配内存给 20 个用户时，应用程序可以正常运行。但是，如果到第 100 个用户时可能会遭遇到内存峰值，从而导致内存溢出。有两种可能的办法去解决这个问题。
  • 泄露：由于某些编程问题，内存使用随着时间的推移逐渐增加。

拥有良性垃圾回收机制的健康图表
 

健康一段时间后，随时间推移而泄露的图表
       

引起内存使用凸起、导致内存溢出的内存图表

在我们了解导致使用率激增的内存问题的本质之后，基于从对分析中得到的推断，下面的这些方法或许可以用来避免遭遇内存溢出的错误。

解决内存问题

  • 修复引起内存溢出的代码：由于应用在某段时间内增量添加了一个对象而没有清除其引用（来自正在运行的应用程序的对象引用），导致不得不修复程序错误。例如，这一错误可能是插入了一个哈希表, 其中的业务对象会逐渐增加，然而业务逻辑和事务在完成之后并没有删除这些对象。
  • 增加内存最大值作为一种修复方法。在了解了运行内存特征和堆之后，可能必须增加分配的最大堆内存来避免再次发生内存溢出，因为推荐的最大内存值不能够满足应用程序的稳定性。所以，应用程序可能不得不基于堆分析器的评估，将 Java -Xmx 的 flag 信息更新成一个更高值后再来运行。
堆分析

下面我们将详细分析如何使用一个堆分析工具来分析堆转储。在示例中，将使用到 Eclipse 基金会的开源工具 MAT 。

使用 MAT 进行堆分析

是时候进行深入探讨了。我们将通过一系列的步骤，帮助探索在 MAT 中的不同表现和视图，以获取一个堆内存溢出的示例并思考分析。
1. 打开内存溢出错误发生时产生的 .hprof 堆文件。确保复制转储文件到一个专门的文件夹下，因为 MAT 会创建许多索引文件：文件 -> 打开
2. 打开转储文件，有内存泄漏嫌疑报告和组件报告的选项。选择运行泄漏嫌疑报告。

3. 泄漏嫌疑表打开后，在预览窗口的饼状图会展示在每个对象基础上保留内存的分布情况。它显示了内存中的最大对象（拥有最高保留内存的对象 —— 累积的内存和引用的对象）。
4. 上面的饼图通过聚合拥有最高内存引用（本身内存和总内存）的对象来展示 3 个问题嫌疑人。
让我们逐一分情况查看，评估它是否是内存溢出错误的根本原因。

可疑点 1

由 “<system class loader>” 加载的 454,570 个 “java.lang.ref.Finalizer” 实例占用了 790,205,576（47.96％）个字节。
这就是告诉我们有 454,570 个 JVM finalizer（终结器）实例占据了分配的应用内存的近 50 %。
假设读者知道 Java Finalizer 是做什么的，上面的信息会让我们明白什么呢？
入门阅读：http://stackoverflow.com/questions/2860121/why-do-finalizers-have-a-severe-performance-penalty
本质上，开发者编写了一些定制化的终结器去释放一个实例的资源。这些由终结器收集的实例不在 JVM 使用单独队列的垃圾回收算法的范围之内。实际上，这种途径比起垃圾回收机制的清理路径更长。所以现在我们应该努力搞清楚这些终结器到底终结了什么？
也或许是可疑点 2 ，占据了 20% 的 sun.security.ssl.SSLSocketImpl 。我们能确认是否这些就是要被终结器终结的实例吗？

可疑点 2

现在，让我们打开在 MAT 顶部的工具按钮下面的 Dominator 视图。我们会看到所有的列出的类实例，经由 MAT 解析展示出有效的堆存储。

下一步，在 Dominator 视图，我们尝试理解 java.lang.Finalizer 和 sun.security.ssl.SSLSocketImpl 之间的关系。我们右键点击 sun.security.ssl.SSLSocketImpl 这一列，打开 GC Roots  -> exclude soft/weak references。

现在，MAT 将会开始绘制内存的图表来显示 GC root 的路径以及它所对应的实例引用。这会被显示在另外一个页面上，显示的引用如下：

如上面引用链显示，实例 SSLSocketImpl 来自于 java.lang.ref.Finalizer，整个 SSLSocketImpl 实例大约占用了 88k。我们还注意到 finalizer 链是一个针链表数据结构它指向下一个实例。
推论：在这一点上，我们有一个明确的感觉，Java finalizer 试图在收集 SSLSocketImpl 对象。为了解释为什么还有很多信息没有被收集到，我开始检查代码。

检查代码

代码检查需要查看是不是由 socket 套接字被关闭导致的。在这种情况下，它显示与 I/O 相关的所有流，需要被正确地关闭。在一点上，我们怀疑 JVM 是始作俑者。实际上，在 Open JDK 6.0.XX 的 GC（垃圾收集器）上的代码中有一个 BUG。
我希望这篇文章给你一个模式来分析 Java 应用中的错误是由堆存储还是内部问题导致的。希望你使用堆分析愉快！

扩展阅读

Shallow heap (浅堆） vs. Retained Heap (保留堆）
浅堆是一个对象消耗的内存。根据情况，一个对象需要 32 位或 64 位（取决于其操作系统架构），对于整型为 4 字节，对于 Long 型为 8 字节等等。依据堆转储格式，其内存大小（比如，向 8 对齐）或许适应于更好地塑造虚拟机的真实消耗。
X 的保留集合是当 X 被垃圾回收时，那些将要被移除的对象集合。
X 的保留堆是在 X 的保留集合中所有对象的浅堆之和，也就是 X 存留的内存。
总体讲，一个对象的浅堆就是其在堆中的大小。同一个对象的保留大小就是当对象被垃圾回收时堆内存的总量。
一些对象的主要集合，比如某一特定类的所有对象、或是由某一特定类加载器加载的所有类的所有对象、或仅仅是一些任意的对象，它们的保留集是如果那些主要集的所有对象变得不可接近时所释放的对象集。
保留集包括这些对象和仅通过这些对象才能获取的其它对象。保留集的大小是包含在保留集中的所有对象的堆的大小。
  • 大小: 31.2 KB
  • 大小: 82.6 KB
  • 大小: 15.2 KB
  • 大小: 176.7 KB
  • 大小: 12.3 KB
  • 大小: 123.6 KB
  • 大小: 109.4 KB
来自: 开源中国
0
顶
0
踩
评论 共 0 条 请登录后发表评论

发表评论

您还没有登录,请您登录后再发表评论

相关推荐

  • Python内存泄漏和内存溢出的解决方案

    像Java程序一样，虽然Python本身也有垃圾回收的功能，但是同样也会产生内存泄漏的问题。 对于一个用 python 实现的，长期运行的后台服务进程来说，如果内存持续增长，那么很可能是有了“内存泄露”。 1、内存泄露的...

  • java 堆内存分析_Java 堆内存溢出梗概分析

    堆分析下面我们将详细分析如何使用一个堆分析工具来分析堆转储。在示例中，将使用到 Eclipse 基金会的开源工具 MAT 。使用 MAT 进行堆分析是时候进行深入探讨了。我们将通过一系列的步骤，帮助探索在 MAT 中的不同...

  • 小白以及计算机类学生的福音！java查看内存溢出的工具

    前言 在本篇文章开始前，我想想来回答一个问题：我为什么要写这一篇关于面试的文章...或许这份面试题还不足以概括所有Java问题，但有了它，我相信你一定不会”败“的很惨，因为有哦了它，足以应对目前市面上绝大部分的J

  • Java内存区域介绍与Java内存溢出异常分析

    如图，我们将内存分成了5大块区域：方法区，堆，虚拟机栈，本地方法栈以及程序计数器。 这几个区域的功能概括如下： 程序计数器：占用内存很小，作用就是指示下一条将要执行指令的地址，分支，循环，跳转，异常处理...

  • java虚拟机内存区域6,深刻理解Java虚拟机-Java内存区域与内存溢出异常

    Java与C++之间有一堵由内存动态分配和垃圾收集技术所围成的"高墙"，墙外面的人想进去，墙里面的人却想出来。css概述对于从事C、C++程序开发的开发人员来讲，在内存管理领域，他们既是拥有最高权力的“皇帝”又是从事...

  • 深入理解Java虚拟机 读书笔记（二）Java内存区域与内存溢出异常

    深入理解Java虚拟机 读书笔记（二）自动内存管理一、运行时数据区域1. 程序计数器2. Java虚拟机栈3.... 内存溢出和内存泄漏2. Java堆3. 虚拟机栈和本地方法栈4. 方法区和运行时常量池5. 本机直接内存溢出 一、

  • JVM:内存监控及各区域内存溢出解决

    本文仅关注一些常见的虚拟机内存监视手段，以及JVM运行时数据区各个部分内存溢出的发生和对应的解决方案，总体来说属于概括性总结，涉及相对不是很深入，目的是让自己和其它初学者有一个框架性、概念性的了解，当...

  • java内存管理（堆、栈、方法区）

    java内存管理 简介 首先我们要了解我们为什么要学习java虚拟机的内存管理，不是java的gc垃圾回收机制都帮我们释放了内存了吗？但是在写程序的过程中却也往往因为不懂内存管理而造成了一些不容易察觉到的内存问题，...

  • python 内存溢出_Python之内存泄漏和内存溢出

    一、内存泄漏像Java程序一样，虽然Python本身也有垃圾回收的功能，但是同样也会产生内存泄漏的问题。对于一个用 python 实现的，长期运行的后台服务进程来说，如果内存持续增长，那么很可能是有了“内存泄露”。1、...

  • linux java的启动内存溢出,java - Java的R代码可在Linux上运行，但不能在Windows中运行 - 堆栈内存溢出...

    我正在用Java编写一个数据分析程序，该程序依赖R的arulesViz库来挖掘关联规则。我想要什么？我的目的是将规则存储在Java中的String变量中，以便以后进行处理。它是如何工作的？该代码分别使用String.format和eval ...

  • (一)深入理解Java虚拟机-虚拟机内存区域与内存溢出

    作为Java开发者，一般可能关注最多的就是堆内存（heap）和栈内存（stack），实际可分为以下几个区域： 方法区(Method Area)：与Java堆一样，是各个线程共享内存区域，它存储已被虚拟机加载的类信息 、常量、静态...

  • JVM--Java内存区域与内存溢出异常

    概括:程序计数器是一块较小的内存空间,可以看作是当前线程所执行的字节码的行号指示器. 作用:在Java虚拟机的概念模型里,字节码解释器工作是就是通过改变这个计数器的值爱选取下一条需要执行的字节码指令,它是程序...

  • android eclipse 内存溢出,Eclipse项目内存溢出解决方案

    再双击InstalledJREs，在右边选择前面有对勾的JRE，再单击右边的“Edit”按钮，出现一个 Edit JRE 的对话框，在其中的Default VM Arguments: 框中输入 -Xms128m -Xmx512m,这样设置Java拟虚机内存使用最小是128M，...

  • jvm内存分配,jvm内存溢出情况分析

    最近在学习jvm的内存分配机制,于是就网上各种查找资料,看博客等,发现有些博客解释的比较好,我便引来记录学习一下. 以下内容转载自:https://www.cnblogs.com/wangjzh/p/5258254.html ...jvm内存分配 ...

  • 毕业设计基于STC12C5A、SIM800C、GPS的汽车防盗报警系统源码.zip

    STC12C5A通过GPS模块获取当前定位信息，如果车辆发生异常震动或车主打来电话（主动请求定位），将通过GSM发送一条定位短信到车主手机，车主点击链接默认打开网页版定位，如果有安装高德地图APP将在APP中打开并展示汽车当前位置 GPS模块可以使用多家的GPS模块，需要注意的是，当前程序对应的是GPS北斗双模芯片，故只解析 GNRMC数据，如果你使用GPS芯片则应改为GPRMC数据即可。 系统在初始化的时候会持续短鸣，每初始化成功一部分后将长鸣一声，如果持续短鸣很久（超过20分钟），建议通过串口助手查看系统输出的调试信息，系统串口默认输出从初始化开始的所有运行状态信息。 不过更建议你使用SIM868模块，集成GPS.GSM.GPRS，使用更加方便

  • 基于tensorflow2.x卷积神经网络字符型验证码识别.zip

    基于tensorflow2.x卷积神经网络字符型验证码识别 卷积神经网络（Convolutional Neural Networks, CNNs 或 ConvNets）是一类深度神经网络，特别擅长处理图像相关的机器学习和深度学习任务。它们的名称来源于网络中使用了一种叫做卷积的数学运算。以下是卷积神经网络的一些关键组件和特性： 卷积层（Convolutional Layer）： 卷积层是CNN的核心组件。它们通过一组可学习的滤波器（或称为卷积核、卷积器）在输入图像（或上一层的输出特征图）上滑动来工作。 滤波器和图像之间的卷积操作生成输出特征图，该特征图反映了滤波器所捕捉的局部图像特性（如边缘、角点等）。 通过使用多个滤波器，卷积层可以提取输入图像中的多种特征。 激活函数（Activation Function）： 在卷积操作之后，通常会应用一个激活函数（如ReLU、Sigmoid或tanh）来增加网络的非线性。 池化层（Pooling Layer）： 池化层通常位于卷积层之后，用于降低特征图的维度（空间尺寸），减少计算量和参数数量，同时保持特征的空间层次结构。 常见的池化操作包括最大池化（Max Pooling）和平均池化（Average Pooling）。 全连接层（Fully Connected Layer）： 在CNN的末端，通常会有几层全连接层（也称为密集层或线性层）。这些层中的每个神经元都与前一层的所有神经元连接。 全连接层通常用于对提取的特征进行分类或回归。 训练过程： CNN的训练过程与其他深度学习模型类似，通过反向传播算法和梯度下降（或其变种）来优化网络参数（如滤波器权重和偏置）。 训练数据通常被分为多个批次（mini-batches），并在每个批次上迭代更新网络参数。 应用： CNN在计算机视觉领域有着广泛的应用，包括图像分类、目标检测、图像分割、人脸识别等。 它们也已被扩展到处理其他类型的数据，如文本（通过卷积一维序列）和音频（通过卷积时间序列）。 随着深度学习技术的发展，卷积神经网络的结构和设计也在不断演变，出现了许多新的变体和改进，如残差网络（ResNet）、深度卷积生成对抗网络（DCGAN）等。

  • 【三维装箱】遗传和模拟退火算法求解三维装箱优化问题【含Matlab源码 031期】.zip

    【三维装箱】遗传和模拟退火算法求解三维装箱优化问题【含Matlab源码 031期】.zip

  • 自己编写的python 程序计算cpk/ppk

    cpk&ppk python 小程序,品友点评

  • 基于Springboot开发的分布式抽奖系统.zip

    基于springboot的java毕业&课程设计

  • 课设毕设基于SpringBoot+Vue的影城管理系统 LW+PPT+源码可运行.zip

    课设毕设基于SpringBoot+Vue的影城管理系统 LW+PPT+源码可运行.zip

Global site tag (gtag.js) - Google Analytics