월요일부터 장애발생

한동한 잠잠하더니.
결국 월요일 아침 한건 했습니다.

—–
문제의 발단은 일요일 오후
OP의 전화한통..(이땐 열심히 taken 미니시리즈를 땡기고 있었습니다.)
“모모서버의 CPU사용량이 안떨어져요” – 걍 무시하셈.. ( 머 이런분위기였습니다.)

일요일 배치작업돌면서 늘상 종종 있는 일이거든요..
(흠 그래도 원격으로 접속해서 함 살펴봐야지… : 아냐 그까이꺼머 종종 있는일이니까 괜찮을꺼야.)
결론은.. 고민그만하고 빨랑 taken 10부작 빨리 끝내야지로 결론입니다.

——
TAKEN의 영향으로.. –. 아침 출근은 허겁지겁이었습니다. 도시락싸고 아침먹고 씻고 단 15분만에 출근준비를 완료하는 쾌거를 이루었습니다. 회사에는 지각을 면하고 도착하였습니다. 불안한 기분으로 어제 문제의 서버를 보니.. 털석.
서버가 먹통입니다. 흠 머랄까 아스라한 분위기. 업무테스트는 문제없는데 일단 서버 콘솔에서 접근을 불허하는군요.. 이럴경우 서버를 끄고 재기동을 할까 아니면 일단 버텨보자 둘중에 하나 선택해야 합니다.  IT부서에는 오전동안 대에충 그까이꺼 서버 함 지켜봅시다. 문제발생하면 서버 확 꺼버리자구용.. ( 이런 분위기로 보고하고..)

아니나 다를까 결국 일이 터졌습니다. T.T  인터넷, 기간계 서비스가 느려요.. 서버 모니터링 스크립트에서는 처리못한 TR들이 아우성을 치는군요. 가뿐하게 파워버튼으로 이모든 문제의 원흉이 된 서버를 재부팅하고 연계된 관련 서버 프로세스 모조리 재기동하고 10분만에 모두 서비스는 복구했습니다.

——
이제는 소설을 써야 할시간. 장애보고서를 쓰기전 팀장님께는 이실직고 했습니다.
(일요일 미니시리즈 컴텨로 10부작 땡겨보느라. 회사나오기 귀찮아서 걍 버티기 작전을 감행하였으나 결과론적으로 어제 보고받았을시 직접 확인하고 회사로 달려왔어야 했으나 그러지 못했습니다. 이런요지..)
아 그리고 개발팀 팀장님께도 이실직고 했습니다. (제가 좀더 판단을 일찍하지 못하여 결과적으로 장애가 발생했습니다. 지금까지 팀장님이 사기로 하셨던 술은 모두 오늘 사건으로 가리하겠습니다. –.. 이런 분위기.)

머 장애보고서는. 소설한권쓰듯 장황하게 쓸수도 있지만.
시적인 표현도 가능합니다.
xx시 xx분 장애발생. 그후 분단위로 서버리부팅, 프로세스 재기동 했음..
장애원인은 로그가 초기화되어 분석불가
장애복구프로세스 보완하겠슴.
끝입니다.

역시 보고서는 소설보다는 시적으로 압축,생략하는것이 제격이죠.
(머 이러다가 뒤통수 맞기도 합니다만.  이시간 되도록 아직 절 호출하지 않는 걸 보면.. 오늘은 무난히 넘어가는듯합니다.)

오늘의 반성.
“무언가 마음의 미심적인 의혹이 생긴다면 그 마음의 소리를 경청해야 겠습니다.”
지금까지 이러한 저의 직감을 무시했을때 꼭 이런 커다란 일이 발생했거든요.
카오스의 법칙을 오늘도 체험한 하루가 아닌가 합니다.

반성문 끝.