PrayHee

이번 여름에 유지보수를 하고 있는 회사의 서버 용량이 부족하여 디스크를 추가하는 작업을 하였습니다.

서버도 다운해야 하는 큰 작업이니 ..  그 내용을 정리해보고자 합니다.

H/W : HP DL360 GEN10

OS : CentOS 7.4

먼저 확인할 사항.

1. 디스크 규격

2. 디스크 추가 시 기존 파일은 어떻게 되는지

3. 가동 중인 프로세스

디스크 규격은 기존에 찍어둔 디스크 사진을 통해서 확인해서 발주하였습니다.

해외에서 오는 거라 잊을 때쯤 왔습니다.

여기서 팁은 모든 작업 과정을 사진으로 많이 찍어두는 것 ..

저도 2시간도 안 되는 작업 끝나고 사진 47장 남은 여자가 되었답니다 ..

사진 많이 찍는 이유는 나중에 작업 결과 보고서를 작성할 때(시리얼 번호나 모델명)나 신품 납부 사항을 청구할 때 증빙 자료가 될 수 있기 때문입니다.

디스크 추가 시 데이터가 어떻게 되는지 확인은 제일 먼저 사무실에서 VMWare로 테스트 했는데요.

OS와 장비마다 다를 수 있기 때문에 확인해야하는 과정입니다. 가상 환경을 만든 다음에 디스크 추가를 상황을 가정하니 기존 로그 파일이 숨겨지더라고요?

그래서 안에 있는 로그 파일을 다른 PC로 옮긴 후에 작업 들어갔습니다.

디스크를 추가한 다음에 마운트까지 하고 PC에서 서버쪽으로 다시 로그 파일을 옮겼습니다.

가동 중인 프로세스 확인, 저희는 CentOS 사용하고 있어서 ps 명령어로 찾았습니다.

동작하고 있는 프로그램은 꼼꼼히 기록해두세요.

그냥 머리에 힘 안 주고 작업하면 큰일나요 ..

찾았다면 꼭 기록하고 데몬을 내려줍니다.

그 다음 서버 파워 종료 후 디스크 추가, BIOS 화면에서 RAID 설정 후 서버 재기동

마운트 후 종료했던 프로세스 시작하기. 그럼 끝 ~~

디스크 추가 자체는 어려운 작업이 아니어서 2시간만에 끝났어요 ~

현장에서 작업 끝났다고 연락드리고 사무실로 돌아갔습니다.

그리고 다음 날 장애가 났다고 연락이 왔어요 ~ ^^

사실 저희도 인지하고 있던 문제였는데 서버 끄기 전에 확인했던 데몬 프로그램 2개 중 하나만 올라왔기 때문.

당일 날 연락 없기에 크게 문제될 거 없다고 생각했는데 .. 두 서버 간 인터페이스 UDP 통신이 안 되는 문제 발생

서버 시작 시 데몬이 자동으로 올라오도록 개발했으면 참 좋았을텐데 .. (개발은 다른 회사)

왜 .. 한 개만 올라와요 .. 뭐에요 ..

그리고 그 회사에는 서버 모니터링을 아침에 한 번하는데 아침에 보니깐 모니터에 빨간 불로 통신이 안 되는 걸로 보여서 발견했다고 합니다 ..

원복하라고 해서 원격으로 가득찬 디스크.ver로 원복도 하고

(하지만 데몬 안 올라옴 .. 당연함, 재부팅한다고 꺼진 건데 재부팅 한다고 켜질 리가 없음) 등등의 작업했으나 ..

결국 그 날 하루종일 매달려서 오후쯤에 문제를 해결했습니다 ..

모든 디렉토리를 뒤져서 java 파일명과 동일한 .class파일을 찾아서 동작 시켜서 해결봤습니다.

무튼 이 날 배운 것.

1. 디스크 추가 전 데몬을 잘 확인해두자.

2. 디스크 추가 레이드와 마운트 방법