기본 콘텐츠로 건너뛰기

JVM Garbage Collection Tuning

몇 가지 기본적인 GC 튜닝 방법을 적어봅니다.

1. Concurrent Mark and Sweep 알고리즘에서 class unloading 문제

대충 아래와 같은 옵션으로 실행되는 자바 서버 프로세스가 있다고 가정하자.

-XX:+UseParNewGC -XX:ParallelGCThreads=4 -XX:+UseConcMarkSweepGC

이것은 old generation에 대해서 CMS 알고리즘을 사용하기 위한 튜닝 방법이다.
그런데 다음 내용을 보면 CMS GC를 사용할 때 기본값으로 class unloading 즉, perm gc를 안 하도록 되어 있다.

http://bugs.sun.com/bugdatabase/view_bug.do?bug_id=6329603

해결책은 다음 옵션을 추가하는 것이다.

-XX:+CMSPermGenSweepingEnabled -XX:+CMSClassUnloadingEnabled

2. 트랜잭션이 많고 해당 객체들의 lifespan은 짧을 경우의 튜닝 (Sun Hotspot JVM. HP JVM도 마찬가지)
  • 새로운 객체들이 많이 생성되고 또 트랜잭션양이 많은 경우 Thruput 중심의 garbage collector를 사용해야 하기 때문에 기본값인 UseParallelGC 옵션은 그냥 사용하면 될 것 같고..
  • Parallel GC Thread 갯수는 CPU 갯수와 동일하게 혹은 2배 정도로 증가시킬 필요가 있다. 예를 들어 CPU가 6장이라면
    -XX:ParallelGCThreads=12
  • eden 과 tenured의 비율을 지정하는 옵션인 NewRatio 옵션이 기본값인 2인데 eden이 계속 부족해질 가능성이 높으므로 NewRatio 값을 1 정도로 하여 eden과 tenured 비율이 같도록 하는 게 좋겠다. (1.5가 먹는지 모르겠음 ㅠ_ㅠ)
    -XX:NewRatio=1
  • 위의 옵션들은 주로 young generation의 처리 성능을 높여 thruput을 높이는 목적을 가지고 있는데 full gc 가 발생하면 old generation까지 collection 대상이 된다. 기본값은 old gen에 대해서는 serial collector 즉, single thread 방식이므로 pause time이 길 수 있는데 JDK 5.0update6 (SUN JVM 기준)부터는 parallel old gc 기능이 추가되었다. 이 기능을 사용하려면 다음 옵션을 추가해야 한다. 이 옵션은 young generation에 대해 UseParallelGC 옵션이 사용되는 경우에만 가능하다.
    -XX:+UseParallelOldGC
    HP JVM의 경우 Sun JDK 5.0u6에 해당하는 JVM 버전은 5.0update4이다.
  • 그외 jconsole을 써서 모니터링할 수 있으려면 해당 JVM을 실행할 때 다음 옵션을 켜줘야 한다.
    -Dcom.sun.management.jmxremote
  • 메모리 문제(OutOfMemoryError)가 발생할 경우 heap 분석을 위해서는 다음 옵션 추가하는 것 빼먹지 말아야 한다. -XX:+HeapDumpOnOutOfMemoryError

3. IBM JVM의 경우 튜닝

IBM JVM 은 gc 특성이 Sun/HP와는 완전히 다르다. -verbosegc 옵션을 켜면 기본값으로 standard error로 gc log를 내보내는데 verbose gc 로그의 timestamp는 gc가 시작한 시간을 나타낸다. IBM JDK는 gc 때에는 무조건 stop the world 즉, 다른 일을 할 수 없는 상태가 된다. (이런 면에서는 Sun의 HotSpot에 비해 뒤처진다고 보여짐.) gc log에서 <sys 라고 되어 있는 부분은 System.gc 가 호출된 것이고 <af 라고 되어 있는 부분은 allocation failure 즉, 메모리 부족에 의해 garbage collection이 trigger되는 경우이다. 자세한 것은 IBM JDK diagnosis 문서 참조.

  • verbose gc log를 다른 파일로 쓰려면 다음 옵션을 추가
    -Xverbosegclog:<파일경로>
  • GC 정책을 지정하는 옵션은 다음과 같다.
    -Xgcpolicy:<정책 이름>
  • 위의 정책 이름 중 가능한 것은 다음과 같다.
    optthruput : 기본값. 이 알고리즘은 gc pause time이 긴 게 흠이다. mark and sweep 시 mark 하는 부분이 single thread로밖에 실행할 수 없어 가끔씩 매우 긴 pause time이 발생한다.
    optavgpause : heap이 클 경우에 gc pause time을 줄이기 위해 사용하는 옵션
    gencon : gc pause time을 최소화하는 옵션
    subpool : 성능적으로 더 우수한 object allocation 알고리즘을 사용. 큰 SMP 시스템에 유용(CPU 16장 등...) AIX, Linux PPC, zSeries, z/OS, i5/OS 에만 사용 가능하며 이 알고리즘에서는 LOA(large object area)를 사용하지 않는다.
    보통 기본값인 optthruput이 적용되어 있으니, pause time이 너무 길다면 optavgpause 나 gencon을 사용하는 게 좋겠다.
  • GC 쓰레드 갯수는 다음 옵션을 사용하여 지정한다.
    -Xgcthreads<쓰레드 갯수>
    기본값으로 CPU 갯수만큼 사용하게 되어 있다. 필요하다면 CPU 갯수의 2배 정도로 쓰레드 갯수를 지정하면 좀더 효율이 높을 것이다.
  • LOA / SOA 비율 지정
    -Xloainitial<퍼센트>, -Xloamaximum<퍼센트>
    IBM JVM에서 tenured 영역은 soa(small object area)와 loa로 구분된다. 그 초기 및 최대 비율을 LOA : SOA로 지정한다. 기본값은 초기는 0.05 (혹은 5%)이고, 최대는 0.5 (혹은 50%)이다. 0과 0.95 사이의 값을 지정해야 한다. LOA를 많이 사용하지 않는다면 기본값을 그대로 사용하면 된다.
  • 예를 들자면 다음과 같이 지정할 수 있다.
    -verbose:gc -Xverbosegclog:<파일경로> -Xgcpolicy:optavgpause -Xgcthreads8

4. 참고 자료
추가 (2013-03-29)
Hotspot JVM은 JDK 6에서는 큰 변화가 없었네요.
  • Hotspot JVM Tuning Guide (JDK 6.0 기준)
    • http://www.oracle.com/technetwork/java/javase/gc-tuning-6-140523.html
IBM JDK에 추가된 gencon은 Hotspot에 이미 구현된  generatioinal collector 인데 IBM JDK 7에서는 gencon을 기본값으로 권장하고 있다.  이 경우 hotspot JVM의 경우처럼 new area의 크기를 지정해줘야 한다.  -Xmns 는 new area의 초기값,  -Xmnx는 new area의 최대값이다. 32bit JVM은 256MB - 512MB, 64bit JVM은 512MB - 1024MB 사이의 크기가 가능하다. 64bit JVM에서 32bit 방식의 addressing을 사용하는 옵션은 -XcompressedRefs 를 켜면 훨씬 효율적인 성능을 보이는데 이 경우 최대 힙 크기는 28GB로 제약된다.

댓글

이 블로그의 인기 게시물

Java G1 GC의 특성에 따른 Full GC 회피 튜닝 방법

Java 6 중반부터 G1 GC가 나오면서 이 새로운 Java VM GC 정책을 두고 성능 튜닝을 어떻게 할지 고민이 많은 것 같다.

일단 생소하기 때문에 어렵다.

그런데 경험들이 조금씩 쌓이면서 문제점도 꽤 발견되는 것 같다.

먼저 G1GC를 이해하는 데 유용한 사이트이다.

Garbage-First CollectorGetting Started with the G1 Garbage CollectorUnderstanding G1 GC LogsTuning Garbage Collection for Mission-Critical Java ApplicationsControlling GC pauses with the GarbageFirst CollectorG1: One Garbage Collector To Rule Them AllGarbage First (G1) Garbage Collection Optionscompare JVM options for public메일 : G1 GC clean up time is too long
JDK 7부터 기본이 된 G1(garbage first) GC는 JVM의 Heap 메모리를 1MB 정도 크기의 region들로 나눠서 region별로 generation을 지정하여 상당히 효율이 좋지만 튜닝하는 게 까다롭다.
(새로운 메모리 처리 구조에 대한 튜닝 경험도 많이 부족해서 더욱 까다롭게 느껴지는 것 같다.)

지금까지 널리 알려진 문제로는 첫째, perm generation collection을 full gc때만 하는 문제가 있다.
즉, 클래스 언로딩을 full gc때만해서 자주 재배포가 발생하는 코드가 있는 경우 문제가 될 수 있다.
앞으로는 perm generation을 완전히 없애도록 JVM의 방향을 잡고 있기 때문에 당분간 이 문제는 해결하지 않을 것으로 보인다.

둘째, G1 GC에서 거대 객체(humongous object)라고 부르는 메모리 사용량이 큰 객체들에 대한 처리는 아직 최적화되지 않았다. 보통 한 region의 50% …

Heap Dump 분석을 통한 Perm Area Memory Leak 원인 진단

Software 특히 Java 언어를 사용하는 Software 개발 조직에 몸담고 있지만, 마흔을 훌쩍 넘긴 나이에 이런 글을 쓰는 것이 적합한지 의심되는데 특히 국내 SW 환경을 고려한다면 몹시 우스꽝스럽다.

이젠 개발팀장도 아니고 개발실장도 아니고 그위의 관리자이지만, 아직 완전히 제품 코드로부터 역할을 분리하지 못했고, 이러한 시간이 많이 걸리고 책임 소재가 불분명한 문제를 해결할 전문 인력을 두고 있지 않기 때문에 결국 직접 하는 경우가 생긴다. 이것은 미흡한 관리 능력의 결과라고 봐도 좋겠다.

개인적으로는 이러한 일이 전혀 나쁘지 않다. 즐거운 Software Life의 하나일 뿐이다.
관리자가 이러한 삽질을 직접 하는 것이 관리 체계를 무너뜨리는 것 아니냐고 묻겠지만...

oh, give me a break.. 나중에 교육교재 만드는 데 도움이 될까해서 하는 관리 행위의 하나라고 봐주기 바람~~ ㅠ_ㅠ;;

perm gen 과 class leak
Permanent Generation 은 young과 old를 구분하는 Generational Collector 방식인 Sun (now, Oracle)의 HotSpot JVM에서 Old generation 중 한 영역이다.
lifetime이 길다고 판단된 object들을 old generation으로 옮겨서 빈번한 gc의 대상이 되지 않도록 하는 것이 generational collector의 기본 아이디어인데 permanent generation은 old 중에서도 거의 gc 대상이 될 일이 없다고 생각되는 object들을 딴 영역에서 관리하겠다는 아이디어의 산물이다.

HotSpot JVM의 Perm Area 에는 주로 자바의 클래스 객체들이나 문자열 상수 풀에 속한 String 객체들이 위치한다.
메모리 leak의 대상이 되는 것은 string constants 보다는 주로 class 객체들이다.

(class 객체는 주로 객체의 타입을 나타내는 클래스나 인터페이스를 표현하는 객체로 타입명 뒤에 .class…

더 재미있게 사는 10 가지 간단한 방법

How To Be More Interesting (In 10 Simple Steps) - Forbes

어떻게 하면 좀더 재미있게 살 수 있을까?

Software를 얼마나 재미있게 할 수 있을까?

늘 갖고 있는 생각인데 저는 대부분 매우 재미를 가지고 일을 하는 편입니다.
새로운 것을 알게 되는 것이 매우 즐겁고 여러 사람들과 토론 속에서 문제를 해결해가는 과정은 때론 신비롭기도 하고 놀랍기도 합니다. 그 놀라움의 대상은 뛰어난 아이디어를 내는 다른 연구원일수도 있고 문제를 여러 토론 속에서 얼떨결에 해결해내고 있는 자신일수도 있습니다.

개인과 소규모 그룹, 그리고 그보다 더 큰 그룹을 유기적으로 연결하여 혁신 아이디어 체계를 구축하는 일이 현재의 본업이라고 생각하는데 그 출발점은 각 성원들이 흥미를 가지고 자신의 일과 관심 속에서 아이디어를 만들고 공유하고 또 발전시키는 것이라고 생각합니다.

재미있게 일하는 것은 여러 가지 아이디어를 적극적으로 매사에 적용해보는 것이 아닐까 생각해봅니다. 또 일을 하는 것이 아니라 늘 같지 않은 일로 만들 수 있는 적극성이 필요한 것이지요. 다행히 제 일인 소프트웨어는 늘 아이디어를 필요로 하고 아이디어에 따라 크게 달라집니다.

이 글은 벤다이어그램이나 그래프로 표현한 것이 재미있어서 옮겨봅니다.

1. 탐험하라. 아이디어, 장소, 의견을 탐험하라. 에코 체임버 안에 모든 지루한 사람들은 갇혀 있다. (해야 할 일과 가야할 곳이 만나는 곳이 무한의 영역이라는 표현 재미있습니다.)






2. 발견한 것을 공유하라. 발견한 것을 인심좋게 공유하라. 모든 사람이 당신의 탐험을 함께 하지 않았다. 다른 사람들이 당신의 탐험, 모험을 대리경험할 수 있도록 하라. (발견을 공유하지 않으면 발견이 많더라도 dumb 벙어리일 뿐이고 발견이 많고 이를 공유를 많이 하는 사람이 smart하다는 것. 공유하는 과정에서 더 발견이 많아지고 깨달음도 커지고 당연히 smart해지겠지요)





3. 무언가를 하라. 무엇이든 하라. 춤추고, 얘기하고, 만들고, 사람들을 …