serving
serving API, 엔드포인트 15개 (자동 생성)
GET /api/v1/serving/endpoints
GET/api/v1/serving/endpoints
테넌트의 서빙 엔드포인트 목록
테넌트의 추론 서빙 엔드포인트 목록을 반환합니다.
필요 권한: VIEW
응답
| 상태 | 설명 |
|---|---|
| 200 | Successful Response (object) |
POST /api/v1/serving/endpoints
POST/api/v1/serving/endpoints
서빙 엔드포인트 생성
이미 빌드된 이미지를 서빙 엔드포인트로 세웁니다.
필요 권한: DEPLOY
요청 본문: application/json, CreateEndpointBody
| 필드 | 형식 | 필수 | 설명 |
|---|---|---|---|
name | string | ✓ | 엔드포인트 이름(DNS-1123, K8s 오브젝트 이름) |
image_id | string (uuid) | ✓ | 배포할 model_image id (READY 상태여야 함) |
replicas | integer | 서빙 파드 수 | |
gpu | integer | 파드당 GPU 슬롯 수. 0 이면 CPU 서빙입니다. CUDA 텐서로 저장된 모델은 CPU 파드에서 로딩이 실패하므로 슬롯을 지정해야 합니다. 슬롯은 이 테넌트에 배선된 몫에서 나옵니다(GET /api/v1/gpu/allocation): 배선이 없으면 GPU 서빙을 만들 수 없습니다. | |
validation_dataset_id | string? | [선택] Validation KPI 스모크에 쓸 데이터셋 |
응답
| 상태 | 설명 |
|---|---|
| 201 | Successful Response (object) |
| 422 | Validation Error (HTTPValidationError) |
GET /api/v1/serving/endpoints/{name}
GET/api/v1/serving/endpoints/{name}
서빙 엔드포인트 상세
단일 서빙 엔드포인트의 상세를 반환합니다.
필요 권한: VIEW
파라미터
| 이름 | 위치 | 형식 | 필수 | 설명 |
|---|---|---|---|---|
name | path | string | ✓ |
응답
| 상태 | 설명 |
|---|---|
| 200 | Successful Response (object) |
| 422 | Validation Error (HTTPValidationError) |
PATCH /api/v1/serving/endpoints/{name}
PATCH/api/v1/serving/endpoints/{name}
서빙 엔드포인트 수정 (replicas)
서빙 파드 수를 조정합니다.
필요 권한: OPERATE
파라미터
| 이름 | 위치 | 형식 | 필수 | 설명 |
|---|---|---|---|---|
name | path | string | ✓ |
요청 본문: application/json, UpdateEndpointBody
| 필드 | 형식 | 필수 | 설명 |
|---|---|---|---|
replicas | integer | ✓ | 서빙 파드 수(0 은 stop 을 쓴다) |
응답
| 상태 | 설명 |
|---|---|
| 200 | Successful Response (object) |
| 422 | Validation Error (HTTPValidationError) |
DELETE /api/v1/serving/endpoints/{name}
DELETE/api/v1/serving/endpoints/{name}
서빙 엔드포인트 삭제
엔드포인트의 워크로드·Service·자격증명과 DB 행을 삭제합니다.
필요 권한: DEPLOY
파라미터
| 이름 | 위치 | 형식 | 필수 | 설명 |
|---|---|---|---|---|
name | path | string | ✓ |
응답
| 상태 | 설명 |
|---|---|
| 200 | Successful Response (object) |
| 422 | Validation Error (HTTPValidationError) |
POST /api/v1/serving/endpoints/{name}/stop
POST/api/v1/serving/endpoints/{name}/stop
서빙 엔드포인트 중단
엔드포인트를 0 으로 스케일해 중단합니다(STOPPED).
필요 권한: OPERATE
파라미터
| 이름 | 위치 | 형식 | 필수 | 설명 |
|---|---|---|---|---|
name | path | string | ✓ |
응답
| 상태 | 설명 |
|---|---|
| 200 | Successful Response (object) |
| 422 | Validation Error (HTTPValidationError) |
POST /api/v1/serving/endpoints/{name}/start
POST/api/v1/serving/endpoints/{name}/start
서빙 엔드포인트 재기동
중단된 엔드포인트를 원래 replicas 로 되돌립니다(CONNECTING).
필요 권한: OPERATE
파라미터
| 이름 | 위치 | 형식 | 필수 | 설명 |
|---|---|---|---|---|
name | path | string | ✓ |
응답
| 상태 | 설명 |
|---|---|
| 200 | Successful Response (object) |
| 422 | Validation Error (HTTPValidationError) |
GET /api/v1/serving/endpoints/{name}/logs
GET/api/v1/serving/endpoints/{name}/logs
서빙 파드 로그
추론 서버(파드)의 로그 tail 을 반환합니다.
필요 권한: VIEW
파라미터
| 이름 | 위치 | 형식 | 필수 | 설명 |
|---|---|---|---|---|
name | path | string | ✓ |
응답
| 상태 | 설명 |
|---|---|
| 200 | Successful Response (object) |
| 422 | Validation Error (HTTPValidationError) |
GET /api/v1/serving/endpoints/{name}/metrics
GET/api/v1/serving/endpoints/{name}/metrics
엔드포인트 운영 지표
엔드포인트의 RPS/error-rate/p95 와 차트용 히스토리를 반환합니다.
필요 권한: VIEW
파라미터
| 이름 | 위치 | 형식 | 필수 | 설명 |
|---|---|---|---|---|
name | path | string | ✓ | |
range | query | string | PromQL 윈도우 (예: 30m, 1h, 24h) | |
step | query | string | 히스토리 해상도 |
응답
| 상태 | 설명 |
|---|---|
| 200 | Successful Response (object) |
| 422 | Validation Error (HTTPValidationError) |
GET /api/v1/serving/endpoints/{name}/status-codes
GET/api/v1/serving/endpoints/{name}/status-codes
상태코드 분포 (2xx/4xx/5xx)
엔드포인트 응답의 2xx/4xx/5xx 분포(건수·비율)를 반환합니다.
필요 권한: VIEW
파라미터
| 이름 | 위치 | 형식 | 필수 | 설명 |
|---|---|---|---|---|
name | path | string | ✓ | |
range | query | string | PromQL 윈도우 (예: 30m, 1h, 24h) |
응답
| 상태 | 설명 |
|---|---|
| 200 | Successful Response (object) |
| 422 | Validation Error (HTTPValidationError) |
POST /api/v1/serving/endpoints/{name}/heartbeat
POST/api/v1/serving/endpoints/{name}/heartbeat
하트비트 수동 실행
추론 서버를 즉시 한 번 확인하고 상태를 갱신합니다.
필요 권한: OPERATE
파라미터
| 이름 | 위치 | 형식 | 필수 | 설명 |
|---|---|---|---|---|
name | path | string | ✓ |
응답
| 상태 | 설명 |
|---|---|
| 200 | Successful Response (object) |
| 422 | Validation Error (HTTPValidationError) |
GET /api/v1/serving/endpoints/{name}/validation
GET/api/v1/serving/endpoints/{name}/validation
Validation KPI 결과
마지막 Validation KPI 스모크 결과를 반환합니다.
필요 권한: VIEW
파라미터
| 이름 | 위치 | 형식 | 필수 | 설명 |
|---|---|---|---|---|
name | path | string | ✓ |
응답
| 상태 | 설명 |
|---|---|
| 200 | Successful Response (object) |
| 422 | Validation Error (HTTPValidationError) |
POST /api/v1/serving/endpoints/{name}/validation
POST/api/v1/serving/endpoints/{name}/validation
Validation KPI 재실행
Validation KPI 스모크를 다시 실행하고 결과를 기록합니다.
필요 권한: OPERATE
파라미터
| 이름 | 위치 | 형식 | 필수 | 설명 |
|---|---|---|---|---|
name | path | string | ✓ |
응답
| 상태 | 설명 |
|---|---|
| 200 | Successful Response (object) |
| 422 | Validation Error (HTTPValidationError) |
GET /api/v1/serving/endpoints/{name}/proxy/{path}
GET/api/v1/serving/endpoints/{name}/proxy/{path}
추론 서버로 프록시: 조회 (ping/version)
추론 서버의 조회 경로로 전달합니다(ping/version).
필요 권한: VIEW
파라미터
| 이름 | 위치 | 형식 | 필수 | 설명 |
|---|---|---|---|---|
name | path | string | ✓ | |
path | path | string | ✓ |
응답
| 상태 | 설명 |
|---|---|
| 200 | Successful Response (object) |
| 422 | Validation Error (HTTPValidationError) |
POST /api/v1/serving/endpoints/{name}/proxy/{path}
POST/api/v1/serving/endpoints/{name}/proxy/{path}
추론 서버로 프록시: 추론 (invocations)
추론 요청을 서빙 파드로 전달하고 응답을 그대로 돌려줍니다.
필요 권한: VIEW
파라미터
| 이름 | 위치 | 형식 | 필수 | 설명 |
|---|---|---|---|---|
name | path | string | ✓ | |
path | path | string | ✓ |
응답
| 상태 | 설명 |
|---|---|
| 200 | Successful Response (object) |
| 422 | Validation Error (HTTPValidationError) |