학습 중지와 체크포인트에서 이어 학습
실행 중인 학습의 안전한 중지, 이후 체크포인트에서 이어서 학습
필요 권한: 개발DEVELOPER · OPERATOR · ADMIN
중지
- 학습 실행 상세에서 중지를 누르고 확인. 대기 중인 학습이면 "대기 중인 학습을 취소할까요?" 가 표시되고 즉시 취소.
실행 중인 학습의 중지 확인
실행 중인 학습의 중지 순서.
- 상태가 중지 중으로 변경되고 "트레이너가 체크포인트(last.pt)를 저장한 뒤 안전하게 종료됩니다" 표시.
- 플랫폼이 학습 Job 을 삭제하면 컨테이너가 종료 신호(SIGTERM) 수신. 내장 트레이너는 현재 에포크를 마치고 체크포인트를 저장한 뒤 남은 MLflow 기록을 전송하고 종료. 유예 시간(서버 설정
training_grace_period, 기본 60초)이 지나도 종료되지 않으면 강제 종료. - 최종 상태는 종료 코드와 무관하게 중지됨. MLflow Run 은
KILLED.
중지된 시점까지의 지표는 MLflow 에 남음. 단, 학습 컨테이너의 작업 폴더(/geo/work)는 실행 종료 시 삭제되므로 그곳에 저장된 last.pt 는 플랫폼이 회수하지 않음. 내장 트레이너는 중지된 학습의 모델을 MLflow 에 기록하지 않으므로 레지스트리 등록도 불가.
이어서 학습하기
플랫폼에 "중지한 학습 이어 하기" 버튼 없음. 대신 보유한 체크포인트를 시작 가중치로 새 학습 시작.
- 학습 → 사전학습 가중치에서 가중치 올리기① 클릭. 위저드에 표시할 이름을 입력하고 태스크·프레임워크·모델 변형(예: YOLO · yolo26n) 선택 후
.pt/.pth파일 업로드. 체크포인트는 모델 구조에 종속되므로 같은 변형으로만 사용 가능.사전학습 가중치: ① 가중치 올리기 (직접 업로드한 체크포인트에서 이어서 학습하는 경우에 사용) - 목록의 상태가 올리는 중 → 확인 중 → 사용 가능으로 변경될 때까지 대기. 서버가 조각을 병합하고 체크섬을 계산하는 동안에는 마법사에서 선택 불가.
- 새 학습 3단계 모델의 시작 가중치에서 방금 업로드한 가중치 선택. 나머지는 평소처럼 진행. 이전 설정을 그대로 사용하려면 같은 설정으로 다시 학습에서 3단계만 변경.
체크포인트를 구하는 두 곳.
- 완료된 학습의 모델: 모델 레지스트리 → 버전 화면의 모델 다운로드로 내려받은 모델 묶음 안에 학습된 가중치 파일 포함.
- 직접 만든 학습 컨테이너: 중지 신호 수신 시 체크포인트를 MLflow 아티팩트로 업로드하도록 구현하면 Run 상세 아티팩트 탭에서 내려받기 가능. 규칙은 연동 장의 학습 컨테이너 안내 참고.
대용량 체크포인트는 명령행으로도 업로드 가능.
geo-mlops-client training-weights upload "helmet-last" ./last.pt \
--framework yolo --model yolo26n