Ubuntu에서 운영하던 여러 웹사이트가 응답하지 않았다. 커널과 Apache 로그를 대조한 결과, 메모리 고갈로 Apache가 종료된 뒤 서버를 재부팅할 때까지 웹서비스가 복구되지 않았다. 같은 장애가 발생했을 때 자동으로 복구하도록 systemd 설정을 변경했다.

데이터센터 참고 이미지. 사진 Taylor Vick / Unsplash.
장애 발생과 복구 기록
OOM(Out of Memory)이 확인됐다. MySQL이 강제 종료됐고, 1 Apache가 oom-kill 실패 상태로 바뀌었다. MySQL은 자동으로 다시 시작됐지만 Apache는 재부팅까지 시작 기록이 없었다.
메모리를 많이 사용한 프로세스
서버 메모리는 955 MiB였으며 Apache는 prefork 방식으로 동작했다. 동시 처리 상한인 MaxRequestWorkers는 150이었고, OOM 시점에는 Apache 프로세스가 114~148개 있었다. 약 3.7 GiB의 스왑도 여유 공간이 0이었다. 커널의 프로세스별 기록에서 Apache가 메모리 사용량의 가장 큰 비중을 차지했다.
웹 요청 108건이 기록됐고 그중 83건은 이미지·CSS·JavaScript 등의 정적 파일 요청이었다. 기록상 OOM은 이보다 앞서 발생했다. PHP 세션 정리도 최초 확인된 OOM보다 늦었다. 당시 로그에는 요청별 메모리 사용량이나 처리 중이던 요청 목록이 없어, 부하가 시작된 URL이나 플러그인은 특정하지 못했다.
systemd로 Apache 자동 재시작 설정
기존 Restart=on-abort 설정에서는 이번 oom-kill 이후 Apache가 복구되지 않았다. 서비스 본체는 그대로 두고 systemd 드롭인 파일에 자동 재시작 정책을 추가할 수 있다.
sudo systemctl edit apache2.service
[Unit]
StartLimitIntervalSec=120
StartLimitBurst=5
[Service]
OOMPolicy=stop
Restart=on-failure
RestartSec=10s
OOMPolicy=stop은 OOM으로 서비스 프로세스가 종료되면 systemd가 나머지 프로세스를 정리하도록 한다. Restart=on-failure는 서비스 실패 후 재시작을 요청하고, RestartSec=10s는 재시작 전 대기 시간을 지정한다. 2분 동안 시작 시도는 최대 5회이며, 관리자가 직접 서비스를 중지한 경우에는 자동으로 다시 시작하지 않는다.
설정 반영과 검증
sudo systemctl daemon-reload
systemctl show apache2.service -p Restart -p RestartUSec -p OOMPolicy \
-p StartLimitIntervalUSec -p StartLimitBurst -p MainPID
systemctl is-active apache2.service
운영 서버에서는 systemd에 설정을 다시 읽힌 뒤 Apache가 active 상태이고 기존 Apache PID가 유지된 것을 확인했다. 서버 내부 HTTPS 점검에서 사이트 3곳 모두 HTTP 200을 반환했다. 운영 중인 서버에 강제 종료나 OOM을 유발하는 복구 시험은 진행하지 않았다.
자동 재시작은 장애 시간을 줄이는 조치다. 메모리 고갈 재발을 줄이려면 Apache 프로세스당 메모리와 MySQL·운영체제에 필요한 여유를 측정해 MaxRequestWorkers를 조정해야 한다.
