OPS03-BP05 実験の推奨
実験は、新しいアイデアを製品や機能に変える触媒となります。実験は、学習を加速し、チームメンバーが関心と当事者意識を持ち続けることの一助となります。イノベーションを促進するために、チームメンバーは頻繁に実験することが奨励されます。結果が思わしくないものであっても、何をすべきでないかを知ることに価値があります。実験が成功したものの望ましくない結果が得られた場合、チームメンバーが罰せられることはありません。
期待される成果:
-
イノベーションを育むために、組織では実験が奨励されます。
-
実験は学びの機会として使用されます。
一般的なアンチパターン:
-
A/B テストを実行したいが、実験を実行する仕組みがない。テストを行うことができないまま UI の変更をデプロイした。その結果、カスタマーエクスペリエンスが低下した。
-
会社にはステージ環境と本稼働環境しかない。新機能や新製品を実験するサンドボックス環境がないため、本稼働環境で実験を行わなければならない。
このベストプラクティスを活用するメリット:
-
実験はイノベーションを促進します。
-
実験を通して、ユーザーからのフィードバックにより迅速に対応できます。
-
組織に学習の文化が築かれます。
このベストプラクティスが確立されていない場合のリスクレベル: 中
実装のガイダンス
実験は安全な方法で実行する必要があります。複数の環境を活用して、本稼働リソースを危険に晒すことなく、実験を行います。A/B テストや機能フラグを使用して、実験をテストします。チームメンバーがサンドボックス環境で実験を行えるようにします。
お客様事例
AnyCompany Retail では実験が奨励されています。チームメンバーは週の仕事の 20% を実験や新技術の学習に使用できます。サンドボックス環境があり、イノベーションを行うことができます。新機能には A/B テストが使用され、実際のユーザーのフィードバックを使用して機能を検証します。
実装手順
-
組織全体でリーダーたちと協力して実験をサポートしてもらいます。チームメンバーは安全な方法で実験を行うことが奨励されます。
-
チームメンバーに、安全に実験できる環境を提供します。チームメンバーが本稼働環境に似た環境にアクセスできるようにする必要があります。
-
個別の AWS アカウントを使用して実験用のサンドボックス環境を作成できます。アカウントのプロビジョニングには、AWS Control Tower を使用できます。
-
-
機能フラグや A/B テストを使用して安全に実験を行い、ユーザーからのフィードバックを収集します。
-
AWS AppConfig 機能フラグを使用して、機能フラグを作成できます。
-
限定されたデプロイに対する A/B テストの実行には、Amazon CloudWatch Evidently を使用できます。
-
AWS Lambda のバージョンを使用して、関数の新しいバージョンをデプロイし、ベータテストを実行できます。
-
実装計画に必要な工数レベル: 高。安全な方法で実験できる環境をチームメンバーに提供し実験を行うには、多額の投資が必要です。また、機能フラグを使用したり A/B テストをサポートしたりするために、アプリケーションコードの変更が必要になる場合があります。
リソース
関連するベストプラクティス:
-
OPS11-BP02 インシデント後の分析を実行する - 実験に加えて、インシデントから学習することは、イノベーションの重要な推進要素です。
-
OPS11-BP03 フィードバックループを実装する - フィードバックループは、実験の重要な部分です。
関連するドキュメント:
-
An Inside Look at the Amazon Culture: Experimentation, Failure, and Customer Obsession
(Amazon 文化の裏側: 実験、失敗、顧客第一主義) -
Best practices for creating and managing sandbox accounts in AWS
(AWS でのサンドボックスアカウントの作成と管理におけるベストプラクティス) -
Create a Culture of Experimentation Enabled by the Cloud
(クラウドで可能になる実験文化の構築) -
Enabling experimentation and innovation in the cloud at SulAmérica Seguros
(SulAmérica Seguros におけるクラウドでの実験とイノベーションの実現) -
Experiment More, Fail Less
(実験が多いほど失敗は少なくなる) -
Organizing Your AWS Environment Using Multiple Accounts - Sandbox OU (複数のアカウントを使用した AWS 環境の組織化 - サンドボックス OU)
-
Using AWS AppConfig Feature Flags
(AWS AppConfig の機能フラグを使用する)
関連動画:
-
AWS On Air ft.Amazon CloudWatch Evidently | AWS Events
(AWS On Air: Amazon CloudWatch Evidently 特集 | AWS イベント) -
AWS On Air San Fran Summit 2022 ft.AWS AppConfig Feature Flags integration with Jira
(AWS On Air San Fran Summit 2022: Jira を使用した AWS AppConfig 機能フラグの統合) -
AWS re:Invent 2022 - A deployment is not a release: Control your launches w/feature flags (BOA305-R)
(AWS re:Invent 2022 - デプロイはリリースではない: 機能フラグで起動をコントロールする (BOA305-R)) -
Programmatically Create an AWS アカウント with AWS Control Tower
(AWS Control Tower を使用して AWS アカウントをプログラムで作成する) -
Set Up a Multi-Account AWS Environment that Uses Best Practices for AWS Organizations
(AWS Organizations のベストプラクティスを使用するマルチアカウント AWS 環境の設定)
関連する例:
-
End-to-end Personalization 101 for E-Commerce
(E コマース向けのエンドツーエンドのパーソナライゼーション 101)
関連サービス: