![](http://i1.daumcdn.net/thumb/C148x148/?fname=https://blog.kakaocdn.net/dn/xxAJK/btsLBxY3fdl/nsLpYlnu5lmmXY2gnAGKA1/img.png)
- webhook문제가 간헐적으로 계~속 발생함- 모니터링 툴이 전무한 상황 일단 이걸 해결하고자함. - 특정시점에 발생하는 것을 확인함. - 간할적인 좀시상태도 생김보여지는 원인 - DB lock- Thread점유- CPU부하.. 로직을 잘모르니 시스템 메트릭을 분석해봐야함. 해결과정- Heap dump 분석, Thread 부하테스트 진행.. - Thread TIMED_WATING 발생이 대부분이므로 이부분을 중점적으로 확인. (lettuce-eventExecutorLoop... -> Redis문제자나?)1차 해결방법- 일단 간헐적으로 좀비상태가 되는 문제 해결책으로 문제생기면 server restart 방법을 채택 (근본적인 해결책은 아니지만)- 특정 시점 Thread Cnt가 기하 급수적으로 느는것..
![](http://i1.daumcdn.net/thumb/C148x148/?fname=https://blog.kakaocdn.net/dn/bmdEhm/btsLAz4g1Dq/NhNpQ5wxXs1jOOaUDfo7H0/img.png)
연말 발송량이 많아지면서 발송처리 후 처리 작업을 위한 토픽의 컨슈머 랙이 40,000건 기준으로 6시간 이상 처리가 안되는 이슈가 생겨 처리가 필요해 보였음. 이 정도도 처리 못하는건 문제가 있다고 판단.해결 할 수 있는 방법이 몇 가지 있을듯?컨슈머 처리 속도를 높인다.1. 컨슈머 20개 토픽 20개 맞춰서 처리를 높인다. (확인해보니 토픽이 20개인데, 컨슈머는 3개인 상태로 동작하고 있음.)- 아예 토픽을 좀 더 늘리는 방법도 고려해볼 수 있을 것 같다. 하지만 컨슈머 3개인 상태로 동작하는게 큰 문제로 보여, 이 부분 부터 해결하고 고려하기로하자.2. 컨슈머의 비지니스 로직을 개선한다. (비지니스로직이 단건 씩 처리하도록 하는 부분이 많아 DB I/O가 부하가 많이 걸리도록 처리되고 있었음 ..
jvm 프로세스 상태 확인 명령어 : jps 파라미터와 함꼐 보려면 : jps -v > jps -v17201 Jps -Denv.class.path=. -Dapplication.home=/app/jdk1.8.0 -Xms8m13028 test-batch-1.2.30-SNAPSHOT.jar -Xmx3g -Xms3g -Dfile.encoding=UTF-8 -Dspring.data.elasticsearch.cluster-nodes=tas-es-master:19300 -XX:+UseG1GC -XX:MaxGCPauseMillis=20 -XX:InitiatingHeapOccupancyPercent=35 -XX:+DisableExplicitGC -Dspring.profiles.active=prod -DtargetList..