9. 모니터링·드리프트·재학습
운영 지표와 드리프트 확인, 성능이 저하된 모델의 재학습
모델 배포 후 확인할 두 가지: 서비스가 정상 동작하는가(모니터링), 입력 데이터가 학습 때와 달라졌는가(드리프트). 달라졌다면 새 데이터로 다시 학습해 전체 과정 반복.
모니터링
- 사이드바 모니터링 열기. 오른쪽 위에서 모델·엣지·기간(1h·24h·7d·30d) 선택. 위쪽 네 칸은 RPS·에러율·p95 지연(요청 95% 가 이 시간 이내에 완료됨)·데이터 지연, 그 아래는 학습 큐와 GPU 슬롯 추세. 모델을 선택하면 모델 성능과 입력 분포(PSI·KS) 차트 추가 표시.
모니터링: 운영 지표·학습 큐·GPU 슬롯, 모델을 선택하면 성능과 입력 분포도 표시
모델 성능과 입력 분포 차트는 플랫폼 DB 의 모델별 집계 조회. 현재는 이 집계를 생성하는 작업이 없어, 데모 데이터가 적재된 테넌트가 아니면 "데이터 없음" 안내 표시.
기준값(임계값)을 넘는 상황은 경보에 표시. 알림이 너무 많으면 경보 음소거로 일시 중지.
드리프트
PSI(Population Stability Index)는 입력 데이터 분포가 기준과 달라진 정도를 나타내는 지표. 0 에 가까울수록 같고, 드리프트 정책(모델별, 없으면 테넌트 기본)의 경고 임계값(기본 0.1)이나 위험 임계값(기본 0.2)을 넘으면 표시 색 변경. KS 검정은 같은 질문을 다른 통계로 확인.
플랫폼은 PSI·KS 를 직접 계산하지 않음. CLI(geo-mlops-client drift evaluate)나 배치 작업이 operate 권한으로 측정값을 전송하면, 서버가 정책 임계값으로 드리프트 여부를 판정하고 드리프트면 CT 트리거와 경보 기록.
- 사이드바 드리프트에서 모델별 최근 PSI·KS 와 상태(드리프트·정상) 확인. 모델 클릭.
드리프트 목록: 모델별 최근 PSI·KS 와 상태 - PSI 추이 (30일)①에서 막대가 노랑(경고)·빨강(위험)이 된 시점 확인. CT 트리거 이력(CT 는 지속 학습, Continuous Training)은 임계값을 넘어 재학습 계기가 기록된 이력. 드리프트 정책에 임계값 표시(정책 수정은 관리자). 재학습하려면 이 모델 다시 학습하기② 클릭.
드리프트 상세: ① 정책 임계값에 따라 색으로 구분한 PSI 추이 ② 이 모델 다시 학습하기
재학습
빠르게 다시 학습하는 방법 두 가지.
- 새 데이터 추가: 현장에서 수집한 사진을 2. 데이터셋의 같은 데이터셋에 업로드하면 매니페스트 자동 갱신. 데이터셋 상세의 이 데이터셋으로 학습으로 마법사 열기.
- 이전 설정 재사용: 이전 학습 실행 상세에서 이 설정으로 다시 학습을 누르면 11단계가 모두 채워진 상태로 검토 단계로 이동. 자세한 내용은 같은 설정으로 다시 학습 참고.
같은 실험 이름과 등록 모델 이름을 사용하면 새 Run 은 같은 실험에 기록되고 새 버전은 같은 모델에 추가. 5. Run 비교에서 이전 버전과 비교하고, 결과가 더 좋으면 6. 승격 요청부터 다시 진행.
자주 하는 작업은 How-to 참고.