4. 학습 진행 확인
서버가 관찰하는 6단계 타임라인과 MLflow 지표로 학습 진행 확인
학습 실행 상세는 실시간 갱신. 서버가 단계·상태·로그의 변화를 전송하므로(SSE) 새로고침 불필요.
- 위쪽①에 모델·데이터셋·GPU·런타임 이미지와 설정 요약, 오른쪽②에 학습 지표 그래프와 로그. ③ MLflow run 보기는 이 학습이 생성한 MLflow Run 으로 이동.
학습 실행 상세: ① 실행 정보·설정 ② 학습 지표(MLflow) ③ MLflow run 보기 - 아래 진행 단계에서 현재 위치 확인. 단계는 모든 학습에서 동일하게 6개.
진행 단계: 서버가 관찰하는 6단계 타임라인
6단계 타임라인
| 단계 | 화면 이름 | 처리 내용 |
|---|---|---|
queue | 실행 대기 | 학습 대기열의 차례. 서버 전체의 동시 학습 수 한도(GEO_MLOPS_TRAINING_MAX_CONCURRENT, 기본 1, 모든 테넌트가 공유)에 여유가 생길 때까지 대기. GPU 슬롯은 기다리지 않음. |
runtime_prepare | 학습 환경 준비 | Kubernetes Job 생성, 파드 배치, 학습 이미지 내려받기 |
data_stage | 데이터셋 준비 | 데이터셋을 파드 내부로 전송. 캐시에 이미 있으면 즉시 완료. |
train | 학습 | 학습 컨테이너 실행. 진행률은 MLflow 에 기록된 에포크 수로 계산. |
register | 모델 레지스트리 등록 | 마법사에서 등록을 활성화한 경우, 학습이 기록한 모델을 새 버전으로 등록 |
finalize | 결과 정리 | 상태·종료 시각 기록, 알림 |
단계 상태는 시작 전 → 진행 중 → 완료 로 변경, 문제가 있으면 실패·중지됨·건너뜀·중단됨. 학습 전체 상태는 목록과 제목 옆 배지에 접수됨·대기 중·실행 중·중지 중·완료·실패·중지됨·중단됨으로 표시. 중단됨은 서버 재시작으로 실행 중이던 학습과 대기 중이던 학습이 중단된 상태. 자동으로 다시 실행되지 않으므로 같은 설정으로 다시 학습으로 재제출.
GPU 슬롯은 제출 시와 대기열에서 시작 직전에 확인. 대기 중 다른 작업이 슬롯을 점유하면 학습은 "GPU 를 확보하지 못했습니다" 로 실패. 이때 상세의 같은 설정으로 다시 제출로 재제출.
MLflow 에서 읽는 학습 지표
그래프의 손실·mAP 같은 값은 학습 컨테이너가 MLflow 에 기록한 지표. 플랫폼은 표준출력을 해석해 지표를 만들지 않음.
- 학습 시작 직후에는 첫 검증이 끝나기 전까지 그래프가 비어 있을 수 있음(지표 키가 그때 생성).
- 같은 값은 실험 화면의 Run 상세와 MLflow 클라이언트에서도 확인 가능.
로그 카드에 학습 컨테이너의 표준출력 실시간 표시. 로그 검색으로 검색하고 전체 로그로 내려받음.
학습이 끝나면 후처리 결과 카드에 마법사 8단계에서 활성화한 평가 지표(MLflow 의 eval/*)와 속도 테스트 결과, 자동 등록된 모델 버전 링크 표시. 요청한 평가나 속도 테스트가 기록되지 않았으면 카드에 그 사실 표시. 이때는 로그 확인.
학습 중지와 같은 설정으로 재실행하는 방법은 How-to 의 학습 중지와 체크포인트에서 이어 학습, 같은 설정으로 다시 학습 참고.
다음: 5. Run 비교와 모델 등록