배포 및 자동화

질문	응답의 예
크기 조정 및 로드 밸런싱의 요구 사항은 무엇입니까?	지능형 요청 라우팅, 자동 조정 시스템, 모델 캐싱, 지연 로딩, 분산 스토리지 시스템과 같은 기술을 사용하여 빠른 콜드 스타트를 위한 최적화, 급증하고 예측할 수 없는 트래픽 패턴을 처리하도록 시스템 설계.
새 버전을 업데이트하고 출시하기 위한 요구 사항은 무엇입니까?	블루/그린 배포, 카나리 릴리스, 롤링 업데이트 등.
재해 복구 및 비즈니스 연속성을 위한 요구 사항은 무엇입니까?	백업 및 복원 절차, 장애 조치 메커니즘, 고가용성 구성 등.
생성형 AI 모델의 훈련, 배포 및 관리를 자동화하기 위한 요구 사항은 무엇입니까?	자동 훈련 파이프라인, 지속적 배포, 자동 조정 등.
새로운 데이터를 사용할 수 있게 되면 생성형 AI 모델은 어떻게 업데이트되고 재학습되나요?	주기적 재훈련, 증분 학습, 전이 학습 등을 통해.
모니터링 및 관리를 자동화하기 위한 요구 사항은 무엇입니까?	자동 알림, 자동 조정, 자가 복구 등.
생성형 AI 워크로드에 선호하는 배포 환경은 무엇입니까?	AWS를 모델 훈련에 사용하고 온프레미스 인프라를 추론에 사용하여 데이터 레지던시 요구 사항을 충족하는 하이브리드 접근 방식입니다.
생성형 AI 배포에 선호하는 특정 클라우드 플랫폼이 있나요?	AWS 서비스, 특히 모델 개발 및 배포를 위한 Amazon SageMaker AI와 파운데이션 모델을 위한 Amazon Bedrock.
생성형 AI 워크로드에 어떤 컨테이너화 기술을 고려하고 있나요?	하이브리드 환경 전체에서 이식성과 확장성을 보장하기 위해 Kubernetes로 오케스트레이션된 Docker 컨테이너를 표준화하려고 합니다.
생성형 AI 파이프라인에 CI/CD에 대해 선호하는 도구가 있습니까?	버전 관리 및 CI/CD 파이프라인용 GitLab은 자동화된 테스트 및 배포를 위해 Jenkins와 통합됩니다.
생성형 AI 워크플로를 관리하기 위해 어떤 오케스트레이션 도구를 고려하고 있나요?	워크플로 오케스트레이션, 특히 데이터 사전 처리 및 모델 훈련 파이프라인을 위한 Apache Airflow.
생성형 AI 워크로드를 지원하기 위한 온프레미스 인프라에 대한 특정 요구 사항이 있습니까?	온프레미스 추론 워크로드를 지원하기 위해 GPU 가속 서버 및 고속 네트워킹에 투자하고 있습니다.
다양한 환경에서 모델 버전 관리 및 배포를 어떻게 관리할 계획입니까?	MLflow를 모델 추적 및 버전 관리에 사용하고 이를 Kubernetes 인프라와 통합하여 환경에 원활하게 배포할 계획입니다.
생성형 AI 배포를 위해 어떤 모니터링 및 관찰성 도구를 고려하고 있나요?	지표 수집용 Prometheus와 시각화용 Grafana, 모델별 모니터링을 위한 추가 사용자 지정 로깅 솔루션.
하이브리드 배포 모델에서 데이터 이동 및 동기화를 어떻게 처리하나요?	온프레미스 스토리지와 간에 효율적인 데이터 전송을 AWS DataSync 위해를 사용하며 AWS, 훈련 주기에 따라 예약된 자동 동기화 작업을 사용합니다.
다양한 환경에서 생성형 AI 배포를 위해 어떤 보안 조치를 구현하고 있나요?	온프레미스 Active Directory와 통합된 클라우드 리소스에 IAM을 사용하여 end-to-end 암호화 및 네트워크 세분화를 구현하여 데이터 흐름을 보호합니다.