[AI] MLOps
Updated:
정의
- 위키백과
- 프로덕션 환경에서 기계 학습 모델을 안정적이고 효율적으로 배포하고 유지하는 것을 목표로 하는 패러다임
- 기계 학습 모델은 격리된 실험 시스템에서 테스트되고 개발
- 알고리즘을 시작할 준비가 되면 데이터 과학자, 데브옵스 및 기계 학습 엔지니어 간에 MLOps를 실행하여 알고리즘을 프로덕션 시스템으로 전환
- 일련의 모범 사례로 시작되었지만 ML 수명 주기 관리에 대한 독립적인 접근 방식으로 천천히 발전
- 전제 수명 주기에 적용
- 모델 생성(소프트웨어 개발 수명 주기, 지속적 통합/지속적 배포)
- 오케스트레이션 및 배포 통합
- 상태, 진단, 거버넌스 및 비즈니스 지표
- 가트너에 따르면 MLOps는 모델옵스의 하위 집합
- MLOps는 ML 모델의 운영화에 중점
- 모델옵스는 모든 유형의 AI 모델의 운영화를 다룸
- AWS
- 기계 학습 워크플로 및 배포를 자동화하고 단순화하는 일련의 관행
- ML 애플리케이션 개발(Dev)을 ML 시스템 배포 및 운영(Ops)과 통합하는 ML 문화 및 관행
- MLOps를 사용하면 조직은 ML 수명 주기 전반의 프로세스를 자동화하고 표준화 가능
- 프로세스에는 모델 개발, 테스트, 통합, 릴리스 및 인프라 관리가 포함
- MLOps는 애플리케이션 코드 및 데이터 변경 사항이 있는 새로운 ML 모델의 출시를 체계적이고 동시에 관리하기 위해 매우 중요
- 통합 릴리스 프로세스의 일환으로 ML 모델이 사용하는 애플리케이션 및 서비스와 함께 ML 모델을 배포
- 데이터 사이언티스트, 엔지니어, 비즈니스 이해관계자 등이 필요
- 원칙
- 버전 제어
- Automation
- 지속적 X
- 지속적이란 시스템의 어느 곳에서든 변경이 있을 경우 지속적으로 발생하는 네 가지 활동
- 통합, 전달, 훈련, 모니터링
- 지속적이란 시스템의 어느 곳에서든 변경이 있을 경우 지속적으로 발생하는 네 가지 활동
- 모델 거버넌스
- 이점
- 기계 학습은 조직이 데이터를 분석하고 의사 결정을 위한 인사이트를 도출하는 데 도움
- MLOps는 제약 조건에 관계없이 ML 프로젝트를 성공으로 이끄는 맵을 제공
- 출시 기간 단축
- 개발자와 관리자는 보다 전략적이고 민첩하게 모델 관리를 수행
- ML 엔지니어는 선언적 구성 파일을 통해 인프라를 프로비저닝하여 프로젝트를 보다 원활하게 시작
- 데이터 과학자는 조직의 데이터를 빠르게 탐색하여 모두에게 더 많은 비즈니스 가치를 제공
- 모델 생성 및 배포를 자동화하면 시장 출시 시간을 단축하고 운영 비용을 절감
- 생산성 향상
- 개발이나 실험 환경을 표준화
- ML 엔지니어가 새로운 프로젝트를 시작하고, 여러 프로젝트를 번갈아 가며, 여러 애플리케이션에서 ML 모델을 재사용 가능
- 소프트웨어 엔지니어링 팀은 ML 소프트웨어 개발 수명 주기 전반에 걸쳐 협업하고 조정하여 효율성 향상
- 개발이나 실험 환경을 표준화
- 효율적인 모델 배포
- MLOps는 프로덕션 환경의 문제 해결 및 모델 관리를 개선
- 소프트웨어 엔지니어는 문제 해결을 위해 모델 성능을 모니터링하고 동작을 재현
- 모델 버전을 추적하여 중앙에서 관리하고 다양한 비즈니스 사용 사례에 적합한 버전을 선택
- 모델 워크플로를 지속적 통합 및 지속적 전달(CI/CD) 파이프라인과 통합하면 성능 저하를 제한하고 모델의 품질을 유지
- 과제
- 민감한 데이터 보호, 적은 예산, 기술 부족, 지속적으로 진화하는 기술은 프로젝트의 성공을 제한
- 조직에서 MLOP를 구현하는 방법
- MLOps 레벨 0
- 기계 학습 시스템을 막 시작한 조직
- 수동 ML 워크플로와 데이터 과학자 주도 프로세스
- 데이터 준비, ML 훈련, 모델 성능 및 검증을 포함한 모든 단계를 수동으로 수행
- 릴리스 빈도가 낮음
- 데이터 과학자는 일반적으로 훈련된 모델을 엔지니어링 팀이 API 인프라에 배포하는 아티팩트로 전달
- 애플리케이션 코드가 포함된 ML 모델에는 CI/CD 고려 사항이 없음
- 능동적 성능 모니터링도 존재하지 않음
- MLOps 레벨 1
- 새로운 데이터로 동일한 모델을 훈련하고자 하는 조직
- ML 파이프라인을 자동화하여 모델을 지속적으로 훈련시키는 것을 목표
- 레벨 0에서는 훈련된 모델을 프로덕션에 배포
- 레벨 1에서는 반복적으로 실행되는 훈련 파이프라인을 배포하여 훈련된 모델을 다른 앱에 제공
- 최소한 모델 예측 서비스를 지속적으로 전달 가능
- 특징
- 상당한 자동화를 수반하는 신속한 ML 실험 단계
- 새로운 데이터를 라이브 파이프라인 트리거로 사용하여 프로덕션 환경에서 모델을 지속적으로 훈련
- 개발, 프리프로덕션, 프로덕션 환경 전반에 걸쳐 동일한 파이프라인 구현
- 엔지니어링 팀은 데이터 과학자와 협력하여 재사용 가능하고, 구성 가능
- ML 파이프라인 간에 잠재적으로 공유 가능한 모듈화된 코드 구성 요소를 만듬
- ML 훈련 및 제공을 위한 특성의 저장, 액세스, 정의를 표준화하는 중앙 집중식 특성 스토어를 생성
- 파이프라인의 각 실행에 대한 정보 및 재현성 데이터와 같은 메타데이터를 관리
- MLOps 레벨 2
- 지속적인 훈련이 필요한 새로운 모델을 더 많이 실험하고 자주 만들고자 하는 조직을 위한 것
- 기술 주도형 기업에 적합
- 몇 분 만에 모델을 업데이트
- 매시간 또는 매일 재훈련
- 수천 대의 서버에 동시에 재배포
- MLOps 레벨 0
- MLOps와 DevOps의 차이점
- MLOps와 DevOps는 모두 소프트웨어 애플리케이션을 개발, 배포 및 모니터링하는 프로세스를 개선하는 것을 목표로 하는 관행
- DevOps
- 개발 팀과 운영 팀 간의 격차를 해소하는 것을 목표
- 코드 변경 사항이 자동으로 테스트되고 통합되어 효율적이고 안정적으로 프로덕션에 배포되도록 지원
- 협업 문화를 장려하여 릴리스 주기를 단축하고 애플리케이션 품질을 개선하며 리소스를 보다 효율적으로 사용
- MLOps
- 기계 학습 프로젝트를 위해 특별히 설계된 일련의 모범 사례
- ML에 DevOps 원칙 적용
- 기존 소프트웨어를 배포하고 통합하는 것은 비교적 간단할 수 있지만 ML 모델은 고유한 과제를 안고 있음
- 데이터 수집, 모델 훈련, 검증, 배포, 지속적인 모니터링 및 재훈련이 포함
- ML 수명 주기 자동화에 중점
- 모델을 개발하는 데 그치지 않고 체계적이고 반복적으로 배포, 모니터링 및 재훈련하는 데 도움
- 구글
- ML 시스템 개발(Dev)과 ML 시스템 운영(Ops)을 통합하는 것을 목표로 하는 ML 엔지니어링 문화 및 방식
- DevOps 원칙을 ML 시스템(MLOps)에 적용하려는 데이터 과학자 및 ML 엔지니어를 위한 것
- DevOps
- 소프트웨어 배포 속도를 높이고 서비스 안정성을 개선하며 소프트웨어 이해관계자 간 공유 소유권을 구축하기 위한 조직적, 문화적 방법론
- DevOps
- 머신러닝(ML) 시스템을 위한 지속적 통합(CI), 지속적 배포(CD), 지속적 학습(CT)을 구현하고 자동화하는 기술
- MLOps을 수행하면 통합, 테스트, 출시, 배포, 인프라 관리를 비롯하여 ML 시스템 구성의 모든 단계에서 자동화 및 모니터링을 지원
- 시스템 구성 요소
- 구성, 자동화, 데이터 수집, 데이터 확인, 테스트 및 디버깅, 리소스 관리, 모델 분석, 프로세스 및 메타데이터 관리, 서빙 인프라, 모니터링
- DevOps와 MLOps 비교
- 팀 기술
- 탐색적 데이터 분석, 모델 개발, 실험에 중점을 두는 데이터 과학자 또는 ML 연구원을 포함
- 소프트웨어 엔지니어가 없을 수도 있습니다.
- 개발
- ML은 기본적으로 실험적
- 특성, 알고리즘, 모델링 기법, 매개변수 구성을 다양하게 시도하여 문제에 가장 적합한 것을 최대한 빨리 찾아야 합니다.
- 테스트
- 일반적인 단위 및 통합 테스트 외에도 데이터 검증, 학습된 모델 품질 평가, 모델 검증이 필요
- 배포
- 오프라인으로 학습된 ML 모델을 예측 서비스로 배포하는 것만큼 간단하지 않습니다.
- 모델을 자동으로 재학습시키고 배포하기 위해 다단계 파이프라인을 배포해야
- 복잡성을 추가하는 이 파이프라인을 사용하면 데이터 과학자가 배포하기 전 새 모델을 학습시키고 검증하기 위해 수동으로 수행되어야 하는 단계를 자동화해야 합니다.
- 프로덕션
- 지속적으로 진화하는 데이터 프로필로 인해 성능이 저하될 수 있습니다.
- 모델은 기존 소프트웨어 시스템보다 다양한 방식으로 손상될 수 있기 때문에 이러한 저하를 고려해야 합니다.
- 데이터의 요약 통계를 추적하고 모델의 온라인 성능을 모니터링하여 값이 기대치를 벗어나면 알림을 전송하거나 롤백해야 합니다.
- CI
- 코드 및 구성요소만 테스트하고 검증하는 것이 아니라 데이터, 데이터 스키마, 모델도 테스트하고 검증
- CD
- 단일 소프트웨어 패키지 또는 서비스만이 아니라 다른 서비스(모델 예측 서비스)를 자동으로 배포해야 하는 시스템(ML 학습 파이프라인)
- CT
- ML 시스템의 고유한 새 속성
- 모델을 자동으로 재학습시키고 서빙하는 데 사용
- 팀 기술
- ML을 위한 데이터 과학 단계
- 데이터 추출
- ML 태스크를 위해 다양한 데이터 소스에서 관련 데이터를 선택하고 통합
- 데이터 분석
- ML 모델을 빌드하는 데 사용할 수 있는 데이터를 이해하기 위해 탐사적 데이터 분석(EDA)을 수행
- 모델에서 예상하는 데이터 스키마 및 특성 이해
- 모델에 필요한 데이터 준비 및 특성 추출 식별
- 데이터 준비
- ML 태스크를 위해 데이터가 준비
- 데이터 정리가 포함
- 데이터를 학습, 검증, 테스트 세트로 분할
- 데이터 변환 및 특성 추출을 대상 태스크를 해결하는 모델에 적용
- 이 단계의 출력은 준비된 형식의 데이터 분할
- 모델 학습
- 데이터 과학자는 다양한 ML 모델을 학습시키기 위해 준비된 데이터로 다양한 알고리즘을 구현
- 최고 성능의 ML 모델을 갖도록 구현된 알고리즘을 초매개변수 조정에 적용
- 이 단계의 출력은 학습된 모델
- 모델 평가
- 모델 품질을 평가하기 위해 홀드아웃 테스트 세트에서 모델을 평가
- 이 단계의 출력은 모델의 품질을 평가하는 측정항목 집합
- 모델 검증
- 예측 성능이 특정 기준보다 우수하면 모델이 배포에 적합한 것으로 확인
- 모델 서빙
- 검증된 모델은 예측을 제공하기 위해 대상 환경에 배포
- 예시
- 온라인 예측을 제공하기 위해 REST API가 포함된 마이크로서비스
- 에지 또는 휴대기기에 삽입된 모델
- 일괄 예측 시스템의 일부
- 모델 모니터링
- 모델 예측 성능이 모니터링되어 ML 프로세스에서 새로운 반복을 호출
- 데이터 추출
- 자동화 수준
- 새 데이터가 제공된 새 모델의 학습 속도 또는 새 구현이 제공된 새 모델의 학습 속도를 반영하는 ML 프로세스의 성숙도를 정의
- MLOps 수준 0: 수동 프로세스
- 최첨단 모델을 빌드할 수 있는 데이터 과학자와 ML 연구원이 있지만, ML 모델을 빌드하고 배포하는 과정은 완전히 수동
- 특성
- 수동, 스크립트 기반, 양방향 프로세스
- 데이터 분석, 데이터 준비, 모델 학습, 모델 검증을 포함한 모든 단계가 수동
- 각 단계를 수동으로 실행하고, 한 단계에서 다른 단계로 수동 전환
- 작업 가능한 모델이 생성될 때까지 데이터 과학자가 노트북에서 작성하고 실행하는 실험 코드에 의해 이루어집니다.
- ML과 작업 간 연결 해제
- 모델을 만드는 데이터 과학자와 모델을 예측 서비스로 제공하는 엔지니어를 분리
- 데이터 과학자는 엔지니어링팀에 학습된 모델을 아티팩트로 전달하여 API 인프라에 배포
- 학습된 모델을 스토리지 위치에 배치하거나, 모델 객체를 코드 저장소에 확인하거나, 모델 레지스트리에 업로드하는 작업
- 모델을 배포하는 엔지니어는 짧은 지연 시간을 제공하기 위해 필요한 기능을 프로덕션 단계에서 사용할 수 있도록 해야 합니다.
- 학습-서빙 편향이 발생할 수 있습니다.
- 간헐적인 출시 반복
- 데이터 프로세스는 데이터 과학팀이 모델 구현을 변경하거나 새 데이터로 모델을 재학습시키는 등 자주 변경되지 않는 몇 가지 모델을 관리한다고 가정
- 새 모델 버전은 1년에 두어 번만 배포
- CI 없음
- 구현 변경사항이 거의 없으므로 CI가 무시
- CD 없음
- 모델 버전이 자주 배포되지 않으므로 CD는 고려되지 않습니다.
- 예측 서비스를 의미하는 배포
- 전체 ML 시스템을 배포하는 대신 예측 서비스로 학습된 모델을 배포
- 활성 성능 모니터링 부족
- 프로세스가 모델 성능 저하 및 기타 모델 동작 드리프트를 감지하는 데 필요한 모델 예측 및 작업을 추적하거나 로깅하지 않습니다.
- 수동, 스크립트 기반, 양방향 프로세스
- 도전과제
- 모델이 거의 변경되지 않거나 학습되지 않는 경우에는 이 수동적인 데이터 과학자 기반 프로세스로도 충분
- 실제로는
- 실제 환경에 모델이 배포될 때 손상되는 경우가 많습니다.
- 모델은 환경의 동적인 변화 또는 환경이 설명된 데이터의 변화에 적응하지 못합니다.
- 머신 러닝이 프로덕션 단계에서 다운 및 번인 되는 이유
- 프로덕션 단계에서 모델의 정확성을 유지하려면 다음을 수행
- 프로덕션 단계에서 적극적으로 모델 품질 모니터링
- 품질을 모니터링하면 성능 저하 및 모델 비활성을 감지
- 새로운 실험 반복 및 새 데이터에 대한 모델 재학습(수동)의 단서 역할
- 프로덕션 모델 자주 재학습
- 진화하고 새로운 패턴을 포착하려면 최신 데이터로 모델을 재학습시켜야 합니다.
- 예를 들어 앱에서 ML을 사용하여 패션 제품을 추천하는 경우 추천은 최신 트렌드와 제품에 맞게 조정되어야 합니다.
- 모델을 생성하기 위한 새로운 구현을 지속적으로 실험
- 최신 아이디어와 기술의 발전을 활용하려면 특성 추출, 모델 아키텍처, 초매개변수 등의 새로운 구현을 시도
- 예를 들어 얼굴 인식에 컴퓨터 비전을 사용하는 경우 얼굴 패턴은 고정되지만, 더 나은 새로운 기술을 사용하여 감지 정확도를 향상
- 프로덕션 단계에서 적극적으로 모델 품질 모니터링
- 수동 프로세스의 도전과제를 해결하려면 CI/CD 및 CT용 MLOps 방식이 도움
- MLOps 수준 1: ML 파이프라인 자동화
- 목표는 ML 파이프라인을 자동화하여 모델을 지속적으로 학습시키는 것
- 이를 통해 모델 예측 서비스를 지속적으로 제공
- 파이프라인 트리거 및 메타데이터 관리뿐만 아니라 자동화된 데이터 및 모델 검증 단계를 파이프라인에 도입해야 합니다.
- 특성
- 빠른 실험
- ML 실험 단계가 조정
- 단계 간 전환은 자동으로 이루어지므로 실험을 빠르게 반복
- 전체 파이프라인을 프로덕션으로 더 빠르게 이동
- 프로덕션 단계에서 모델의 CT
- 실시간 파이프라인 트리거를 기반으로 하는 새로운 데이터를 사용하여 모델이 프로덕션 단계에서 자동으로 학습
- 실험-운영 균형
- DevOps 통합을 위한 MLOps 방식에 있어 핵심적인 요소
- 개발 또는 실험 환경에서 사용되는 파이프라인 구현은 사전 프로덕션 및 프로덕션 환경에서 사용
- 구성요소 및 파이프라인의 모듈화된 코드
- ML 파이프라인을 구성하려면 ML 파이프라인 전체에서 구성요소를 재사용, 구성, 공유할 수 있어야 합니다.
- EDA 코드는 여전히 노트북에 있을 수 있지만 구성요소의 소스 코드는 모듈화되어야 합니다.
- 구성요소를 컨테이너화하여 다음을 수행하는 것이 좋습니다.
- 커스텀 코드 런타임에서 실행 환경을 분리합니다.
- 개발 및 프로덕션 환경 간에 코드를 재현 가능하도록 합니다.
- 파이프라인의 각 구성요소를 격리합니다. 구성요소는 자체 런타임 환경 버전을 가질 수 있으며 다양한 언어 및 라이브러리를 갖습니다.
- 모델의 지속적 배포
- 프로덕션 단계의 ML 파이프라인은 새 데이터로 학습된 새 모델에 예측 서비스를 지속적으로 배포
- 학습 및 검증된 모델을 온라인 예측용 예측 서비스로 제공하는 모델 배포 단계가 자동화
- 파이프라인 배포
- 학습된 모델을 예측 서비스로 제공하기 위해 자동으로 반복 실행되는 전체 학습 파이프라인을 배포
- 빠른 실험
- 추가 구성요소
- 데이터 및 모델 유효성 검사
- 데이터 검증
- 모델 학습 전에 모델을 재학습할지 또는 파이프라인 실행을 중지할지 결정하는 데 필요
- 파이프라인에서 다음을 식별하면 자동으로 수행
- 데이터 스키마 편향
- 데이터 값 편향
- 모델 검증
- 모델을 프로덕션으로 승격하기 전에 사용자가 모델을 평가하고 검증
- 오프라인 모델 검증 단계는 다음으로 구성
- 모델의 예측 품질을 평가하기 위해 테스트 데이터 세트에서 학습된 모델을 사용하여 평가 측정항목 값을 생성
- 새로 학습된 모델에서 생성된 평가 측정항목 값을 현재 모델과 비교
- 모델의 성능이 데이터의 다양한 세그먼트에서 일관성이 있는지 확인
- 예측 서비스 API와의 인프라 호환성 및 일관성을 포함하여 모델의 배포를 테스트
- 데이터 검증
- Feature Store
- 학습 및 제공을 위한 특성의 정의, 스토리지, 액세스를 표준화하는 중앙 집중식 저장소
- 특성 값에 대한 높은 처리량 일괄 처리 및 짧은 지연 시간 실시간 제공을 위한 API를 제공
- 학습 및 제공 워크로드를 모두 지원
- 데이터 과학자가 다음을 수행하는 데 도움
- 동일하거나 유사한 특성 세트를 다시 만들지 않고 항목에 사용 가능한 특성 세트 탐색 및 재사용
- 특성 및 관련 메타데이터를 유지하여 정의가 다른 유사한 특성 사용 방지
- 최신 특성 값 제공
- 지속적 학습, 온라인 서빙을 위한 데이터 소스로 사용하여 학습-서빙 편향 방지
- 메타데이터 관리
- ML 파이프라인의 각 실행에 대한 정보는 데이터 및 아티팩트 계보, 재현성, 비교를 돕기 위해 기록
- 오류와 이상을 디버깅하는 데도 도움
- 파이프라인을 실행할 때마다 ML 메타데이터 저장소는 다음과 같은 메타데이터를 기록
- 실행된 파이프라인 및 구성요소 버전
- 시작 및 종료 날짜, 시간, 파이프라인이 각 단계를 완료하는 데 걸린 시간
- 파이프라인의 실행자
- 파이프라인에 전달된 매개변수 인수
- 파이프라인의 각 단계에서 생성된 아티팩트에 대한 포인터
- 이미 완료된 단계를 다시 실행하지 않고도 파이프라인이 실패한 단계로 인해 중단된 경우 가장 최근 단계에서 파이프라인을 재개
- 이전에 학습된 모델에 대한 포인터
- 이전 모델 버전으로 롤백해야 하는 경우
- 이전 모델 버전에 대한 평가 측정항목을 생성해야 하는 경우
- ML 파이프라인 트리거
- 사용자의 사용 사례에 따라 ML 프로덕션 파이프라인을 자동화하여 새로운 데이터로 모델을 재학습
- 요청 시
- 일정 기준
- 새 학습 데이터의 가용성 기준
- 모델 성능 저하 시
- 데이터 분포의 중요한 변화 시
- 데이터 및 모델 유효성 검사
- 도전과제
- 파이프라인의 새 구현이 자주 배포되지 않고 몇 개의 파이프라인만 관리한다고 가정
- 이 경우 일반적으로
- 파이프라인과 구성요소를 수동으로 테스트
- 새 파이프라인 구현을 수동으로 배포
- 파이프라인을 대상 환경에 배포하기 위해 파이프라인의 테스트된 소스 코드를 IT팀에 제출
- 새 ML 아이디어가 아닌 새 데이터 기반의 새 모델을 배포할 때 적합
- 프로덕션 단계에서 여러 ML 파이프라인을 관리하는 경우 ML 파이프라인의 빌드, 테스트, 배포를 자동화하기 위한 CI/CD 설정이 필요
- MLOps 수준 2: CI/CD 파이프라인 자동화
- 프로덕션 단계에서 파이프라인을 빠르고 안정적이게 업데이트하려면 강력한 자동화된 CI/CD 시스템이 필요
- 데이터 과학자가 특성 추출, 모델 아키텍처, 초매개변수에 대한 새로운 아이디어를 빠르게 살펴볼 수 있습니다.
- 데이터 과학자는 이러한 아이디어를 구현하고 새 파이프라인 구성요소를 대상 환경에 자동으로 빌드, 테스트, 배포
- 데이터 분석 단계는 파이프라인이 새 반복의 실험을 시작하기 전에 데이터 과학자가 수행하는 수동 프로세스
- 모델 분석 단계 또한 수동 프로세스
- 구성요소
- 소스 제어
- 서비스 테스트 및 빌드
- 배포 서비스
- 모델 레지스트리
- Feature Store
- ML 메타데이터 저장소
- ML 파이프라인 조정자
- 특성
- 파이프라인은 다음 단계로 구성
- 개발 및 실험
- 새 ML 알고리즘과 실험 단계가 조정되는 새 모델링을 반복적으로 시도
- 이 단계의 출력은 ML 파이프라인 단계의 소스 코드
- 소스 코드는 소스 저장소로 푸시
- 파이프라인 지속적 통합
- 소스 코드를 빌드하고 다양한 테스트를 실행
- 이 단계의 출력은 이후 단계에서 배포될 파이프라인 구성요소(패키지, 실행 파일, 아티팩트)
- 파이프라인 지속적 배포
- CI 단계에서 생성된 아티팩트를 대상 환경에 배포
- 이 단계의 출력은 모델의 새 구현이 포함되는, 배포된 파이프라인
- 자동화된 트리거
- 파이프라인은 일정 또는 트리거에 대한 응답에 따라 프로덕션 단계에서 자동으로 실행
- 이 단계의 출력은 모델 레지스트리로 푸시되는 학습된 모델
- 모델 지속적 배포
- 학습된 모델을 예측의 예측 서비스로 제공
- 이 단계의 출력은 배포된 모델 예측 서비스
- 모니터링
- 실시간 데이터를 기반으로 모델 성능의 통계를 수집
- 이 단계의 출력은 파이프라인을 실행하거나 새 실험 주기를 실행하는 트리거
- 개발 및 실험
- 지속적 통합
- 파이프라인과 구성요소는 새 코드가 커밋되거나 소스 코드 저장소로 푸시될 때 빌드, 테스트, 패키징
- 지속적 배포
- 새 파이프라인 구현을 대상 환경에 지속적으로 배포하여 새로 학습된 모델의 예측 서비스를 전달