학습
학습 실행 목록과 상세(진행 단계·지표·로그), 사전학습 가중치 관리
필요 권한: 조회
플랫폼에서 실행하는 학습의 목록과 상세 조회. 학습은 테넌트 네임스페이스의 Kubernetes Job 으로 실행, 결과 지표는 MLflow Run 으로 기록. 목록·상세는 모든 멤버가 조회 가능. 새 학습과 가중치 업로드에는 develop 권한 필요. 새 학습의 11단계는 새 학습 마법사 참고.
학습 목록
| 번호 | 영역 | 설명 |
|---|---|---|
| ① | 이름 검색 | 실행 이름으로 검색. |
| ② | 상태 필터 | 아래 상태 표의 값으로 필터링(접수됨 제외). |
| ③ | 사전학습 가중치 | 테넌트에 업로드한 체크포인트 화면(develop). |
| ④ | 새 학습 | 마법사 열기(develop). |
| ⑤ | 학습 실행 | 이름(프리셋으로 만들면 프리셋 배지)·상태·현재 스텝·소요·생성. 이름·상태·생성 열 머리로 정렬. 클릭 시 상세로 이동. 진행 중인 실행이 있으면 목록을 10초마다, 없으면 30초마다 갱신. |
학습 실행 상세
| 번호 | 영역 | 설명 |
|---|---|---|
| ① | 동작 | 이 설정으로 다시 학습(develop, 같은 설정으로 마법사의 검토 단계 열기), MLflow run 보기(Run 이 아직 연결되지 않았으면 흐림), 모델 등록(model_register, 완료됐지만 아직 등록되지 않은 실행에만 표시), 중지(develop, 대기·실행 중. 대기 중이면 대기열에서 제거하고 즉시 취소), 삭제(operate, 종료된 실행에만 표시). |
| ② | 실행 정보 | 모델, 데이터셋, GPU(배선 슬롯 수 또는 CPU), 런타임 이미지, 시작·종료. |
| ③ | 설정 | 태스크·클래스·분할·시작 가중치·평가·변환·모델 등록·데이터 캐시, 접힌 하이퍼파라미터(YAML). |
| ④ | 진행 단계 | 여섯 단계의 상태와 소요 시간. 진행 중인 단계에는 진행 막대가 표시될 수 있음. 화살표로 단계를 펼치면 메시지와 세부 내용 표시. |
| ⑤ | 학습 지표 | MLflow 에 기록된 지표 차트. 처음에는 서버가 선택한 지표 4개를 표시, 아래 지표 이름 칩을 눌러 최대 4개까지 선택해 겹쳐 표시. 실행 중에는 실시간 배지 표시, 실시간 연결 단절 시 폴링 5초 로 전환. |
| ⑥ | 로그 | 트레이너 로그의 마지막 부분. 로그 검색 은 화면에 불러온 줄 중에서만 필터링. 전체 로그는 전체 로그 로 파일 내려받기, 크게 보기 로 넓은 창에서 확인. |
평가·속도 테스트 결과나 모델 등록 결과가 있으면 후처리 결과 카드도 함께 표시. 평가 지표는 MLflow 의 eval/*, 속도 테스트는 speed/* 에서 조회. 속도는 학습 장치에서 배치 1로 측정한 값이라 서빙 환경과 다를 수 있음. 요청한 평가·속도 테스트 결과가 완료된 실행에 없으면 카드에 안내 표시. 사유는 로그의 evaluation 이나 speed test 줄에서 확인. 모델을 등록했으면 등록된 버전 링크와 스테이지 표시. 변환(Export) 결과는 이 카드에 표시되지 않음.
왼쪽 열 아래 실행 정보 (디버그) 를 펼치면 Job 매니페스트, 환경 변수, 볼륨, 파드 상태, 클러스터 이벤트 표시. 실패 원인 파악용.
실행이 대기 중이면 위에 "대기열 N번째입니다" 와 앞선 건수, 이 테넌트에서 실행 중인 학습을, 실패하면 실패한 단계와 오류를 배너로 표시. 시작 직전 GPU 슬롯을 확보하지 못해 실패했으면 배너의 같은 설정으로 다시 제출 로 재제출. 중지 중·중지됨·중단됨 상태도 배너로 표시.
사전학습 가중치
보유한 체크포인트(.pt, .pth)에서 이어 학습하려면 이 화면에서 체크포인트 업로드. 목록의 사전학습 가중치 버튼으로 이동.
| 번호 | 영역 | 설명 |
|---|---|---|
| ① | 가중치 올리기 | 업로드 대화상자 열기. |
| ② | 목록 | 테넌트에 업로드된 가중치의 이름·변형·크기·상태·업로드 시각. 각 줄의 삭제 로 삭제(확인 창을 거침). 이미 제출된 학습 실행은 남지만 삭제한 가중치로 재실행 불가. |
- 가중치 올리기 클릭, 이름 입력 후 태스크·프레임워크·모델 변형·파일 선택, 올리기 클릭. 체크포인트는 아키텍처에 종속되므로 여기서 선택한 변형의 학습에만 사용. 테넌트에서 활성화된 프레임워크와 사전학습 체크포인트를 사용하는 변형만 선택 가능.
사전학습 가중치 올리기: 체크포인트는 선택한 모델 변형의 학습에만 사용 - 상태가 사용 가능 이 되면 마법사의 ③ 모델 단계 시작 가중치 에 표시.
상태·배지
학습 실행 상태:
| 배지 | 값 | 뜻 |
|---|---|---|
| 접수됨 | PENDING | 제출됨. 아직 대기열에 추가되기 전. |
| 대기 중 | QUEUED | 서버 전체의 동시 학습 수 한도(기본 1)에 걸려 차례를 기다리는 중. 한도는 모든 테넌트가 공유. GPU 슬롯은 제출 시 확인해 부족하면 제출 거부, 시작 직전 다시 확인해 슬롯을 확보하지 못하면 실패로 종료. |
| 실행 중 | RUNNING | Job 실행 중. |
| 중지 중 | STOPPING | 중지 요청을 받아 트레이너가 체크포인트(last.pt)를 저장하고 종료하는 중. 유예 시간 초과 시 강제 종료. |
| 중지됨 | STOPPED | 사용자가 중지함. |
| 완료 | COMPLETED | 정상 종료. |
| 실패 | FAILED | 오류로 종료됨. 상세의 배너와 로그에서 원인 확인. |
| 중단됨 | INTERRUPTED | 서버가 재시작되어 추적이 중단된 실행. 자동으로 다시 실행되지 않음. 이 설정으로 다시 학습 으로 재제출. |
진행 단계(④)와 목록의 현재 스텝:
| 단계 | 하는 일 |
|---|---|
| 실행 대기 | 대기열에서 차례를 기다림 |
| 학습 환경 준비 | 학습 런타임 이미지를 내려받고 파드를 기동함 |
| 데이터셋 준비 | 데이터셋을 학습 볼륨으로 복사(캐시가 있으면 복사하지 않고 완료) |
| 학습 | 트레이너 실행 |
| 모델 레지스트리 등록 | 등록을 활성화했으면 결과를 새 모델 버전으로 등록(목록에서는 "모델 등록"). 등록이 실패해도 실행은 완료 상태로 종료, 상세의 모델 등록 으로 재등록 |
| 결과 정리 | 학습이 정상 종료되면 완료로 표시됨. 평가·속도 테스트·변환은 트레이너가 학습 단계 내에서 수행함 |
단계 상태: 시작 전 · 진행 중 · 완료 · 실패 · 중지됨 · 건너뜀 · 중단됨. 건너뜀은 앞 단계가 실패·중지·중단되어 실행되지 않은 단계.
사전학습 가중치 상태: 올리는 중(업로드 %), 확인 중(서버가 파일을 검사), 사용 가능(마법사에서 선택할 수 있음), 실패(옆에 오류).