使用MAT对java内存分析

标签: mat java 内存 | 发表时间:2015-08-17 19:08 | 作者:changedi
出处:http://www.blogjava.net/

这是一篇阅读MAT helper的笔记。

Heap dump是java进程在特定时间的一个内存快照。通常在触发heap dump之前会进行一次full gc,这样dump出来的内容就包含的是被gc后的对象。

dump文件包含的内容:

1,全部的对象:类,域,原生值和引用;

2,全部的类:classloader,类名,超类,静态域;

3,GC root:被JVM定义的可触达的对象;

4,线程栈和本地变量:线程的call stack,本地对象每帧的信息。

dump文件不包含内存的分配信息,因此无法查询谁创建了哪个对象这样的信息。

Shallow heap是一个对象占用的内存空间,一个对象需要32或者64bits。

Retained set of X是X在被jvm gc回收后被remove的一组object。

Retained heap of X是在retained set of X中的所有对象的shallow heap size的和。换句话说就是保持X活着需要的内存空间。

通俗的讲,shallow heap是一个对象在内存中的实际空间,而retained heap是一个对象被gc回收后内存释放出来的空间。

 


 

这张图可以看懂什么是leading set什么是retained set。

 

Dominator tree:定义一个对象x dominate 对象y,当每一条从root开始到y的路径都经过x。说白了就是只要有y对象的存活,那么一定会有一个x对象。Dominator tree就是将对象引用图转换成的树形结构。帮助发现在对象间保持alive的依赖,同时也能识别出retained内存的最大的chunk。Immediate dominator x of y是离y最近的dominator。

Dominator tree有几个属性:

1,对象x的子树包含的对象(x dominate的对象集),代表了x的retained set;

2,如果x是y的immediate dominator,那么x的immediate dominator同样dominate y,以此类推;

3,dominate tree中的边不代表对象引用图里对应的边,并非严格的直接的对象引用。

 


 

这张图反应了一个对象引用图转换成dominator tree的示例。

 

Gc root:一个gc根就是一个对象,这个对象从堆外可以访问读取。以下一些方法可以使一个对象成为gc根。

1,System class:被bootstrap或者system类加载器加载的类,比如rt.jar里的java.util.*;

2,JNI local:native代码里的local变量,比如用户定义的JNI代码和JVM的内部代码;

3,JNI global:native代码里的global变量;

4,Thread block:当前活跃的线程block中引用的对象;

5,Thread:已经启动并且没有stop的线程;

6,busy monitor:被调用了wait()或者notify()或者被synchronized同步的对象,如果是synchronized方法,那么静态方法指的类,非静态方法指的是对象;

7,java local:local变量,比如方法的入参和方法内创建的变量;

8,native stack:native代码里的出入参数,比如file/net/IO方法以及反射的参数;

9,finalizable:在一个队列里等待它的finalizer 运行的对象;

10,unfinalized:一个有finalize方法的对象,还没有被finalize,同时也没有进入finalizer队列等待finalize;

11,unreachable:不会被触碰到的对象,在MAT里被标记为root用来retain object,否则是不会在分析中出现的;

12,java stack frame:java栈帧包含了本地变量,当dump被解析时且在preferences里设置过把栈帧当做对象,这时才会产生;

13,unknown:位置的root类型。

 

接下来是一些获取dump的方法:

1,在oom时dump:JVM参数:-XX:+HeapDumpOnOutOfMemoryError

2,交互式环境下dump:

1)JVM参数:-XX:+HeapDumpOnCtrlBreak

2)用外部tools:jmap -dump:format=b,file=<filename.hprof> <pid>

3)用外部tools:jconsole

4)用外部工具:MAT

5)kill -3 <pid>

6)jstack -l <pid> > <dumpfile>

 

一些排查方法:

1,通过top consumers查找大对象,可以按照class、classloader和package进行group by;

2,通过immediate dominator找到责任对象,对于快速定位一组对象的持有者非常有用,这个操作直接解决了“谁让这些对象alive”的问题,而不是“谁有这些对象的引用”的问题,更直接高效;

3,运行classloader分析,这个重要性体现在亮点:第一,应用使用不同的classloader加载类,第二,不同classloader加载的类存储在不同的永久代,这理论上也是可以被回收的。当有一个类被不同的classloader加载时,这时要根据各自loader下的instance数量判断哪个loader更重要,从而要把另一个回收掉;

4,分析线程,本身heap dump里包含了thread信息,可以通过MAT来查看threads 的overview和detail,detail中有线程的堆内存信息,也有线程栈,同时还包含了操作系统本地栈。假设不做heap dump,我们检查到系统有问题,如何通过线程的角度来排查呢?首先top -H -p <pid>以线程的模式查看java应用的运行情况,找到占用cpu或者内存大的线程,记录线程id,然后printf %x <tid>转为16进制,再jstack -l <pid> > thread.log把java进程的thread dump出来,从里面找到tid,分析是哪个线程占用了系统资源。

5,分析java容器类,因为java的容器类是最常用来存储对象的,所以理论上发生内存泄露的风险也最高。可以从几个角度来看:1)array填充率查询(填充率fill ratio是数组中非空元素的比例),打印非原生类型数组的填充率频率分布,从而排查系统中array的利用率;2)数组按照size分组查询,打印一个按size分组的直方图;3)collection的填充率查询,ArrayList/HashMap/Hashtable/Properties/Vector/WeakHashMap/ConcurrentHashMap$Segment;4)collection按照size分组直方图;5)查看一个list里的所有对象;6)查看hashmap里的所有对象;7)查看hashset里的对象;8)检查map的碰撞率;9)检查所有只有一个常量的array。

6,分析Finalizer,1)查询finalizer正在处理的对象;2)查询finalizer准备处理的对象;3)直接查看finalizer线程;4)查看finalizer线程的thread local对象。



changedi 2015-08-17 19:08 发表评论

相关 [mat java 内存] 推荐:

使用MAT对java内存分析

- - BlogJava-首页技术区
这是一篇阅读MAT helper的笔记. Heap dump是java进程在特定时间的一个内存快照. 通常在触发heap dump之前会进行一次full gc,这样dump出来的内容就包含的是被gc后的对象. dump文件包含的内容:. 1,全部的对象:类,域,原生值和引用;. 2,全部的类:classloader,类名,超类,静态域;.

MAT JVM内存分析

- - 开源软件 - ITeye博客
我们使用的是 Eclipse Memory Analyzer V0.8,Sun JDK 6. 和其他插件的安装非常类似,MAT 支持两种安装方式,一种是“单机版“的,也就是说用户不必安装 Eclipse IDE 环境,MAT 作为一个独立的 Eclipse RCP 应用运行;另一种是”集成版“的,也就是说 MAT 也可以作为 Eclipse IDE 的一部分,和现有的开发平台集成.

Java程序内存分析:使用mat工具分析内存占用 - 王爵的技术博客

- -
    MAT 不是一个万能工具,它并不能处理所有类型的堆存储文件. 但是比较主流的厂家和格式,例如 Sun, HP, SAP 所采用的 HPROF 二进制堆存储文件,以及 IBM 的 PHD 堆存储文件等都能被很好的解析. 下面来看看要怎么做呢,也许对你有用. 官方文档:http://help.eclipse.org/luna/index.jsp?topic=/org.eclipse.mat.ui.help/welcome.html.

使用MAT分析内存泄露

- - Taobao QA Team
对于大型服务端应用程序来说,有些内存泄露问题很难在测试阶段发现,此时就需要分析JVM Heap Dump文件来找出问题. 随着单机内存越来越大,应用heap也开得越来越大,动辄十几G的Dump也不足为奇了. 要快速分析,快速定位问题就必须有给力的工具帮忙,下面我来介绍下常用内存分析工具. JDK自带的一个工具,是JVM Heap导出的必备工具.

使用Memory Analyzer tool(MAT)分析内存泄漏

- - 移动开发 - ITeye博客
前言的前言:本文是自2005年8月以来,首次在一个月之内发布三篇文章. 谨以此文献给这么多年始终不济的我. 北漂快两年了,何时能回到故乡,回去后又会怎样,也许永远是个未知……. 在平时工作过程中,有时会遇到OutOfMemoryError,我们知道遇到Error一般表明程序存在着严重问题,可能是灾难性的.

你不知道的Eclipse的用法:使用MAT分析Android的内存

- - CSDN博客研发管理推荐文章
如果使用DDMS确实发现了我们程序中存在内存泄露,那如何定位到具体出现问题的代码片段,最终找到问题所在呢. 如果从头到尾分析代码逻辑,那肯定会把人逼疯,特别是在维护别人写的代码的时候. 这里介绍一个极好的内存分析工具Memory Analyzer Tool(MAT). 在Eclipse中安装和使用MAT步骤 .

Android 性能优化之使用MAT分析内存泄露问题

- - CSDN博客推荐文章
转载请注明本文出自xiaanming的博客( http://blog.csdn.net/xiaanming/article/details/42396507),请尊重他人的辛勤劳动成果,谢谢. 内存泄露就像一个定时炸弹,随时都有可能使我们的应用程序崩溃掉,所以作为一名Android开发人员,还是需要有分析内存泄露的能力,说道这里我们还是要说下什么是内存泄露,内存泄露是指有个引用指向一个不再被使用的对象,导致该对象不会被垃圾回收器回收.

JVM 内存分析工具 MAT 的深度讲解与实践——进阶篇

- - 掘金后端本月最热
注:本文原创,转发需标明作者及原文链接. 【0广告微信公众号:Q的博客】. 本系列共三篇文章, 本文是系列第2篇——进阶篇,详细讲解 MAT 各种工具的 核心功能、用法、适用场景,并在具体实战场景下讲解帮大家学习如何针对各类内存问题. JVM 内存分析工具 MAT 的深度讲解与实践——入门篇》 介绍 MAT 产品功能、基础概念、与其他工具对比、Quick Start 指南.

JAVA内存释放

- - Java - 编程语言 - ITeye博客
(问题一:什么叫垃圾回收机制. ) 垃圾回收是一种动态存储管理技术,它自动地释放不再被程序引用的对象,按照特定的垃圾收集算法来实现资源自动回收的功能. 当一个对象不再被引用的时候,内存回收它占领的空间,以便空间被后来的新对象使用,以免造成内存泄露. (问题二:java的垃圾回收有什么特点. ) JAVA语言不允许程序员直接控制内存空间的使用.

Java 堆内存(Heap)

- - ITeye博客
        堆(Heap)又被称为:优先队列(Priority Queue),是计算机科学中一类特殊的数据结构的统称. 堆通常是一个可以被看做一棵树的数组对象. 在队列中,调度程序反复提取队列中第一个作业并运行,因而实际情况中某些时间较短的任务将等待很长时间才能结束,或者某些不短小,但具有重要性的作业,同样应当具有优先权.