파일서버 장애 그리고 개점휴업

아침에 출근해서 보니 파일서버가 맛탱이가 간채 누워있습니다. 개발자들은 개점휴업상태..

차장님 왈 “portmap” 프로세스가 이상혀.. ~~ “
“웽?? 공유디렉토리 서비스 중단이랑은 상관 없는 프로세스인데??..”

들어가서 확인해본결과.. 새벽 05:40분 서버 다운 로그 발견… 허걱..
다시 시간을 되돌려 생각해보니 .

오늘 새벽 05:30분.
띠리링.. “으음.. 알람이 울릴시간인가” 하지만 회사 OP가 다급하게 저를 부르는 소리였습니다.
“자자 침작하게 어느서버죠.. 네네 그럼 직접 서버랙 있는 곳으로 가셔서.. 전원버튼꾸욱 누르고 강제로 재부팅해주세요. 그리고 리부팅후 확인하시고 문제 있으면 다시 연락주세요”

우으으응.. 새벽의 전화라니 아직도 알람이 울리려면 30분이나 남았는데.
이런 투덜거림속에 다시 잠에 빠져듭니다.

허걱 급하다 급해.. 눈을 떠보니 아침창가가 꽤 환해졌습니다. 네네.. 아침 출근이 임박했다는 뜻이지요. 그러나 지각을 하는 한이 있더라도 아침은 꼭 챙겨먹겠다는 신년약속은 변함없습니다. 후다닥 5분 아침식사에 15분 준비를 거쳐 무사히 회사에 도착하고 보니.. 이런 사태가 발생한것입니다. –.

네에. OP분께서 전원을 내린 건 다른 엉뚱한 서버를 전원 OFF/ON 한것이지요.. 전원을 재기동해야 하는건 모니터 뒤에 숨어있는 또 다른 서버였던 것입니다. 사실 전화받으면서 내가 좀더 잘 확인을 했어야 하는데.. 머 제탓이지요. 업체유지보수도 끝났으니 업체 엔지니어가 들어올것도 아니고 DISK 볼륨이 깨진걸 제가 확인하여 알려드린후에나 사태를 파악하신 (며칠전 저에게 칼을 꼽아댄 그 차장님. ㅋㅋㅋ) 차장님도 머 오늘 새벽의 사건 전말을 알수는 없을 듯합니다.

조용히 OP Admin을 불러서 오늘 사건은 어둠속으로 조용히 밀어넣도록 합의했습니다.
아 그럼에도 불구하고 여러분들에게는 이실직고 하겠습니다.

암만 그래도 “임금님 귀는 당나귀” 라고 외칠곳은 필요하자나요.. ㅎㅎ

복구가 완료되는 오후 나절까지 갑자기 여유가 생긴 개발자들은 좋아하는군요. 하지만 복구완료후에는 또 일들이 몰려들거 같아서 좀 죄송스럽긴 합니다.