운영에서 발생하는 문제
모델 운영이 어려운 다섯 가지 이유와 MLOps Central Platform 의 대응
다섯 가지 문제
| # | 문제 | 흔한 증상 | MLOps Central Platform 의 대응 |
|---|---|---|---|
| 1 | 재현되지 않는 학습 | 당시 학습 설정을 알 수 없고, 같은 코드로 다시 실행해도 결과가 다름 | 학습 마법사가 설정 전체 저장. 모든 실행의 파라미터·지표·산출물은 MLflow 실험에 자동 기록. 같은 설정으로 다시 제출로 재현. |
| 2 | 출처를 모르는 모델 | 운영 중인 모델 파일이 어떤 데이터로 만들어졌는지 모름 | 모델 버전마다 학습 실행·데이터셋·지표 연결. 레지스트리에서 버전을 누르면 출처 역추적. |
| 3 | 검증 없는 배포 | 좋아 보이는 모델을 담당자가 바로 현장에 배포 | 스테이지(Staging → Production)와 승인. Production 승격은 항상 승인 요청으로 시작, 승인자가 승인해야 반영. 안전이 중요한 모델은 두 번의 승인 필요. |
| 4 | 흩어진 현장 장비 | 장비마다 모델 버전이 다르고, 중단된 장비를 뒤늦게 파악 | Edge Fleet 이 장비의 하트비트(장비가 동작 중임을 알리려고 주기적으로 보내는 신호), 수집 데이터, 추론 결과를 한곳에서 관리. 명령·정책·모델은 중앙에서 전송. 연결이 끊어진 장비에 경보 발생. |
| 5 | 감지되지 않는 성능 저하 | 현장 데이터가 변화해 정확도가 떨어져도 아무도 모름 | 드리프트 감시가 입력 데이터 분포의 변화 정도를 PSI·KS 지표로 측정하고 경보 발생. 그 화면에서 재학습 마법사 시작. |