DataOps 연동
외부 데이터 서버의 데이터셋을 내려받아(Pull) 플랫폼 사본으로 맞추는 동기화의 개념
학습 데이터를 따로 보관·관리하는 시스템을 이 문서에서는 DataOps 서버로 지칭. 플랫폼은 이 서버에 접속해 데이터셋을 내려받아 플랫폼 데이터셋으로 생성.
| 구분 | 역할 | 담당 |
|---|---|---|
| DataOps 서버 | HTTP REST 서버: 목록 · 매니페스트 · 파일 API 3개 | 데이터 보유 측 |
| MLOps Central Platform | HTTP 클라이언트: 사용자가 버튼을 누르면 접속해 비교 · 다운로드 | 플랫폼 |
DataOps 서버는 보유한 데이터의 조회·다운로드 엔드포인트 3개만 제공하면 충분. 방향은 Pull 한 가지, 플랫폼에서 DataOps 로 업로드하는 기능 없음.
동기화 동작
동기화 버튼을 누르면 원격 매니페스트와 데이터셋의 파일을 한 줄씩 비교. 예:
| 원격 매니페스트 | 데이터셋에 있는 파일 | 그 파일의 출처 | 결과 |
|---|---|---|---|
f-0001 a.png, sha256 9f8a… | a.png, sha256 9f8a… (같음) | 동기화 | 유지 |
f-0002 b.png, sha256 77c1… | b.png, sha256 12de… (다름) | 동기화 | 다시 내려받아 같은 행을 교체 |
f-0003 c.png | 없음 | 없음 | 새로 내려받음 |
| 없음 | d.png | 동기화 | 삭제 |
f-0005 e.png | e.png (이름만 같음) | 업로드 | 건너뛰고 경고 |
| 없음 | x.png | 업로드 | 변경하지 않음 |
- 원격 매니페스트(파일 목록 + SHA-256)를 읽음.
- 이 데이터셋에 이미 있는 동기화로 내려받은 파일과
file_id·sha256으로 비교. - 새 파일과 변경된 파일만 내려받고, 원격에서 제거된 파일은 삭제.
- 내려받은 파일은 직접 업로드한 파일과 동일한 과정을 거침(같은 검증기, 같은 집계, 같은
manifest.json재기록). 학습은 파일의 유입 경로와 무관.
이 절의 순서
- DataOps 서버가 구현할 API 3개: 데이터 제공 측 개발자
- 참조 구현: 표준 라이브러리만 사용하는 최소 서버
- 플랫폼에 연결하기: 소스 등록 → 연결 확인 → 데이터셋 만들기 → 결과 확인
- 동기화 규칙과 한계