학습 러너 · 데이터셋 캐시
이 테넌트의 학습 Job 상태 확인·중지·강제 종료, 학습 데이터셋 캐시(PVC) 정리
필요 권한: 설정ADMIN
학습 기능이 활성화된 테넌트에 있는 두 가지 학습 운영 화면. 학습 생성은 워크스페이스의 학습 화면에서, 여기서는 실행 중인 Job 과 누적된 캐시 관리.
학습 러너
학습은 모두 Kubernetes Job 으로 실행. 학습 러너 화면은 이 테넌트의 러너 상태와 현재 실행 중이거나 대기 중인 학습 Job 표시. 다른 테넌트의 Job 은 표시되지 않음.
| 항목 | 뜻 |
|---|---|
| 러너 · 클러스터 | 러너 종류(kubernetes)와 클러스터 사용 가능 여부 |
| 실행 중 · 대기 | 이 테넌트에서 현재 실행 중인 학습 수와 실행 순서를 기다리는 학습 수 |
| 동시 실행 상한 · 대기열 크기 | 서버 전체(모든 테넌트 합계)에서 동시에 실행할 수 있는 학습 수와, 현재 서버 대기열에 있는 학습 수 |
활성 Job 표에 학습 실행(작업 디렉터리 포함), 상태, 현재 스텝, Job 이름, 소유 표시, 오른쪽에 제어 버튼 배치. 소유는 현재 서버의 해당 Job 관리 여부 표시: 관리 중, 대기(아직 Job 이 없음), 고아(서버 재시작 전에 생성된 Job 이므로 현재 서버가 관리하지 않음).
| 버튼 | 기능 |
|---|---|
| 중지 | 트레이너가 현재 epoch 을 마치고 체크포인트(last.pt)를 저장한 뒤 안전하게 종료. 유예 시간(GEO_MLOPS_TRAINING_GRACE_PERIOD, 기본 60초)을 넘기면 강제 종료. 대기 중(QUEUED)인 학습은 즉시 중지. 대기 중·실행 중일 때만 클릭 가능. |
| 강제 종료 | Job 즉시 삭제. 실행 중이던 학습은 실패로 종료. 응답하지 않는 트레이너나 중지 중(STOPPING) 상태에서 진행되지 않는 학습에만 사용. |
데이터셋 캐시
한 번 내려받은 데이터셋은 테넌트 네임스페이스의 볼륨(PVC)에 캐시로 남음. 다음 학습은 다시 내려받지 않고 시작. 캐시는 클러스터 저장소를 차지하므로 주기적으로 정리.
- 사용량 카드: 캐시 전체 크기, 클레임(PVC) 수와 클레임당 상한(기본
100Gi), 자동 정리 기준(기본 14일간 미사용 시 자동 정리). 사용량은 디스크 측정값이 아니라 내려받은 파일 크기의 합. - 클러스터 캐시 (PVC) 표: 데이터셋별 클레임, 사용량/상한, 마지막 사용, 삭제 시(클레임 삭제 시 볼륨 처리 방식: 볼륨 유지 / 볼륨 삭제 / 확인 불가).
- 볼륨 (PV) 표: 캐시 클레임 뒤의 볼륨과 사용량/용량, 상태, 회수 정책. 볼륨이 있을 때만 표시.
- 장기간 사용하지 않은 데이터셋 행의 비우기 를 눌러 그 캐시 삭제. 모두 삭제하려면 전체 비우기 클릭. 테넌트 공유 클레임(ReadWriteMany)과 삭제된 데이터셋의 클레임은 행의 비우기 가 비활성화되어 있어 전체 비우기 로만 삭제 가능.
- 행의 삭제 시 가 볼륨 유지(
Retain)이면 클레임을 삭제해도 볼륨이Released로 남아 디스크 공간을 계속 차지. 아래 볼륨 (PV) 표에서 그 볼륨의 지우기 를 눌러야 실제로 회수. 지우기 는Released볼륨에서만 활성화.