운영 점검표 | MLOps Central Platform 매뉴얼

운영 중인 MLOps Central Platform 의 최소 점검 항목.

매일 (5분)

담당	확인 항목	확인 위치	이상 시 조치
전역 관리자	시스템 홈 카드의 배지(진단 총평, GPU 대기 파드, 테넌트 삭제 일부 실패)	시스템 홈	해당 화면에서 원인 확인
전역 관리자	의존 컴포넌트가 모두 정상인지	시스템 진단	다시 점검, 해당 서비스 로그 확인
전역 관리자	발생 중인 경보	Alertmanager	점검 중이면 좁은 매처로 사일런스
전역 관리자	노드가 모두 Ready, Pod Ready 비율	클러스터	노드 상태 조건 확인, 필요하면 Cordon
전역 관리자	오래 대기 중인 GPU 파드	GPU 슬롯	배선·풀 슬롯 수 조정, 멈춘 학습 정리 요청
전역 관리자	패키지 프록시가 실패 상태가 아닌지	빌드 캐시	프록시가 응답하지 않으면 그 프록시를 사용하는 빌드 실패. 프록시 컨테이너 재시작.
테넌트 관리자	준비 상태 세 줄, 장시간 실행 중이거나 멈춘 학습 Job	관리자 홈, 학습 러너	중지, 중지되지 않으면 강제 종료

담당	확인 항목	확인 위치
테넌트 관리자	지난주 역할 변경·토큰 발급 기록에 알 수 없는 항목이 있는지 (`role.`, `mlflow_token.`, `registry_token.`)	감사 로그
테넌트 관리자	만료가 임박한 토큰, 무기한 토큰, 팀을 떠난 사람의 토큰	토큰
테넌트 관리자	팀을 떠난 사람·역할이 변경된 사람의 멤버십	멤버
테넌트 관리자	장기간 사용하지 않은 데이터셋 캐시, `Released` 로 남은 볼륨	데이터셋 캐시
전역 관리자	회수 가능한 빌드 레이어, 고아 가중치 객체	빌드 캐시, 가중치 미러
전역 관리자	PVC 사용량이 상한에 가까운 볼륨	스토리지
전역 관리자	백업 타이머 실행 여부: `journalctl -u geo-mlops-backup.service -n 20` 출력에 `backup finished` 가 있는지	서버 셸
전역 관리자	설정 위생에 새 CRITICAL·WARNING 이 있는지	시스템 진단
전역 관리자	백업 디스크 여유 공간. DB 덤프는 `BACKUP_KEEP_DAYS`(기본 14일)가 지나면 삭제되지만, 오브젝트 미러는 추가만 하므로 계속 증가.	서버 셸

복구 훈련: 개발 서버에서 백업을 한 번 만들고 덤프를 읽을 수 있는지 확인. 실제 복원 절차는 백업·복구 참고.
```
BACKUP_DIR=/tmp/geo-backup-drill BACKUP_BUCKETS=build-logs deploy/backup/backup.sh
docker exec -i geo-mlops-mlflow-postgres pg_restore --list \
    < /tmp/geo-backup-drill/postgres/mlflow-*.dump | head
```
DB 덤프와 오브젝트 미러는 서로를 참조하므로, 복구 시 같은 날의 덤프와 미러를 함께 사용.
감사 로그 보관: 지난 분기 전체 감사 로그를 CSV 로 내려받아 보관.
권한 검토: 사용자에서 전역 관리자 권한이 꼭 필요한 사람에게만 있는지, 테넌트마다 ADMIN 이 둘 이상인지 확인.
공유 이미지 정리: 사용하지 않는 공유 변형·자기 변형을 정리하고, 기본이 비어 있는 테넌트(기본 누락)가 없는지 확인.
GPU 배선 검토: 테넌트별 실제 사용량에 맞게 공유 풀 슬롯 수·전용 슬롯 조정.
보존 기간 검토: 알림·빌드 로그·엣지 기록의 보존 기간(GEO_MLOPS_*_RETENTION_DAYS)이 디스크 용량에 맞는지 확인. 감사 로그(GEO_MLOPS_AUDIT_RETENTION_DAYS)와 엣지 수집 파일(GEO_MLOPS_EDGE_COLLECTED_RETENTION_DAYS)은 기본이 0(삭제하지 않음). 기본값은 서버 설정 참고.