OPS03-BP05 실험 장려

실험은 새로운 아이디어를 제품과 기능으로 탈바꿈하는 촉매제입니다. 실험은 학습을 가속화하고 팀원의 관심과 참여를 유지합니다. 팀원은 혁신을 추진하기 위해 자주 실험하도록 장려됩니다. 원하지 않는 결과가 나오더라도 하지 말아야 할 것을 알았다는 사실만으로 실험은 가치가 있습니다. 원치 않는 결과가 나온 성공한 실험에 대해 팀원에게 불이익을 가하지 않습니다.

원하는 결과:

• 조직이 혁신을 촉진하기 위해 실험을 장려합니다.

• 실험을 통해 배울 수 있는 기회가 주어집니다.

일반적인 안티 패턴:

• A/B 테스트를 진행하려고 하는데 실험을 실행할 수 있는 메커니즘이 없습니다. UI 변경 사항을 테스트할 수 없는 상태에서 배포합니다. 이는 부정적인 고객 경험으로 이어집니다.

• 회사에는 스테이지와 프로덕션 환경만 있습니다. 새 기능이나 제품을 실험할 샌드박스 환경이 없어 프로덕션 환경에서 실험해야 합니다.

이 모범 사례 확립의 이점:

• 실험은 혁신을 불러옵니다.

• 실험을 통해 사용자의 피드백에 신속하게 반응할 수 있습니다.

• 조직은 학습하는 문화를 조성할 수 있습니다.

이 모범 사례를 따르지 않을 경우 노출 위험도: 중간

구현 가이드

실험은 안전한 방법으로 실행되어야 합니다. 여러 환경을 활용하여 프로덕션 리소스를 손상시키지 않고 실험할 수 있습니다. A/B 테스트 및 기능 플래그를 사용하여 실험을 테스트합니다. 팀원에게 샌드박스 환경에서 실험할 수 있는 기능을 제공합니다.

고객 사례

AnyCompany Retail은 실험을 장려합니다. 팀원은 주당 근무 시간의 20%를 새로운 기술을 실험하거나 학습하는 데 사용할 수 있습니다. 이들은 혁신을 가능케 하는 샌드박스 환경을 사용하고 있습니다. A/B 테스트는 새로운 기능을 실제 사용자 피드백으로 검증하기 위해 사용됩니다.

구현 단계

1. 조직 전체에서 경영진과 협력하여 실험을 지원합니다. 팀원이 안전한 방법으로 실험하도록 장려해야 합니다.

2. 팀원이 안전하게 실험할 수 있는 환경을 제공합니다. 프로덕션 환경과 같은 환경에 액세스할 수 있어야 합니다.

   1. 별도의 AWS 계정을 사용하여 실험용 샌드박스 환경을 생성할 수 있습니다. AWS Control Tower를 사용하여 이러한 계정을 프로비저닝할 수 있습니다.

3. 기능 플래그 및 A/B 테스트를 사용하여 안전하게 실험하고 사용자 피드백을 수집합니다.

   1. AWS AppConfig 기능 플래그는 기능 플래그를 만드는 기능을 제공합니다.

   2. Amazon CloudWatch Evidently는 제한된 배포 환경에서 A/B 테스트를 실행하는 데 사용할 수 있습니다.

   3. AWS Lambda 버전을 사용하여 베타 테스트를 위해 새로운 기능 버전을 배포할 수 있습니다.

구현 계획의 작업 수준: 높음. 팀원에게 실험할 환경과 실험을 안전하게 수행할 방법을 제공하려면 상당한 투자가 필요할 수 있습니다. 기능 플래그를 사용하거나 A/B 테스트를 지원하기 위해 애플리케이션 코드를 수정해야 할 수도 있습니다.

리소스

관련 모범 사례:

• OPS11-BP02 인시던트 사후 분석 수행 - 실험과 마찬가지로 인시던트로부터 배우는 일은 혁신을 이끄는 중요한 동인입니다.

• OPS11-BP03 피드백 루프 구현 - 피드백 루프는 실험의 중요한 부분입니다.

관련 문서:

• An Inside Look at the Amazon Culture: Experimentation, Failure, and Customer Obsession(Amazon 문화 들여다보기: 실험, 실패 및 고객 중심)

• Best practices for creating and managing sandbox accounts in AWS(AWS에서 샌드박스 계정을 생성하고 관리하기 위한 모범 사례)

• Create a Culture of Experimentation Enabled by the Cloud(클라우드를 통한 실험 문화 조성)

• Enabling experimentation and innovation in the cloud at SulAmérica Seguros(SulAmérica Seguros의 클라우드 내 실험 및 혁신 지원)

• Experiment More, Fail Less(실험할수록 줄어드는 실패)

• 여러 계정을 사용하여 AWS 환경 구성 - 샌드박스 OU

• Using AWS AppConfig Feature Flags(AWS AppConfig 기능 플래그 사용)

관련 동영상:

• AWS On Air ft. Amazon CloudWatch Evidently | AWS Events (AWS On Air - Amazon CloudWatch Evidently 소개 | AWS Events)

• AWS On Air San Fran Summit 2022 ft. AWS AppConfig Feature Flags integration with Jira (AWS On Air San Fran Summit 2022 - Jira와 AWS AppConfig 기능 플래그 통합)

• AWS re:Invent 2022 - A deployment is not a release: Control your launches w/feature flags (BOA305-R)(AWS re:Invent 2022 - 배포는 릴리스가 아님: 기능 플래그를 사용한 출시 제어(BOA305-R))

• Programmatically Create an AWS 계정 with AWS Control Tower(AWS Control Tower를 통해 프로그래밍 방식으로 AWS 계정 생성)

• AWS Organizations의 모범 사례를 사용하는 다중 계정 AWS 환경 설정

관련 예시:

• AWS Innovation Sandbox

• End-to-end Personalization 101 for E-Commerce(전자 상거래를 위한 엔드 투 엔드 개인화 101)

관련 서비스:

• Amazon CloudWatch Evidently

• AWS AppConfig

• AWS Control Tower