A/B測試顯示 CloudWatch 性

使用行銷活動建立推薦人或部署自訂解決方案版本後，您可以使用 Amazon Personalize 建議和 Amazon 進行 A/B 測試 CloudWatch 。下列影片說明使用明 CloudWatch 顯地透過 Amazon Personalize 建議執行 A/B 測試的程序。如需 step-by-step 指示，請參閱 CloudWatch 明顯地執行 A/B 測試。

CloudWatch 明顯地執行 A/B 測試

要使用 Amazon Personalize 和 Amazon 進行 A/B 測試，請創建一個 CloudWatch CloudWatch 顯而易見的項目，定義功能及其變體，更新應用程序以支持您的實驗，以及創建和運行實驗。隨著實驗的運行，您可以在「 CloudWatch 顯而易見」中查看結果。

為了使用亞馬遜進行A/B測試個性化， CloudWatch 顯而易見

1. 創建一個 CloudWatch 明顯的項目。專案是 CloudWatch 資源的邏輯分組。在專案中，您可以建立具有您想要測試或啟動之變化的功能。如需 step-by-step 指示，請參閱 Amazon CloudWatch 使用者指南中的建立新專案。

2. 將功能加入至您的專案並定義其變化。在此實驗中，您的功能應代表您要測試的建議案例，例如點進率。

   新增功能時，請指定識別碼，將案例的不同變體對應至 Amazon Personalize 推薦人或自訂行銷活動。對於每個變體，請指定「變體」類型 (例如「字串」)，為變體命名，並為其指定值。

   實驗執行時，您的應用程式會使用變化值來決定要使用哪些 Amazon Personalize 資源來提供建議。例如，如果您要測試兩個 VIDEO _ON_ 建DEMAND議程式，一個是針對您使用案例的「最佳選取」建立，另一個是針對「現在趨勢」使用案例建立的，則可以將下列項目設定JSON為每個變體的「值」。

   {"type":"top-picks-recommendations","arn":"arn:aws:personalize:us-west-2:<acct-id>:recommender/top-picks-recommender"}

   {"type":"trending-recommendations","arn":"arn:aws:personalize:us-west-2:<acct-id>:recommender/trending-now-recommender"}

   您可以指定任何標識符，只要您的應用程序可以使用它來識別相關資源即可。例如，您可以僅指定推薦人或促銷活動的名稱，並在應用程式中建構資源的 Amazon 資源名稱 (ARN)。

   如需新增功能的指 step-by-step 示，請參閱 Amazon CloudWatch 使用者指南中的將功能新增至專案。

3. 更新您的應用程序以支持您的實驗：

   • 功能評估 — 使用「 CloudWatch 明顯」EvaluateFeature API 操作為每個用戶會話分配變體。EvaluateFeature回應包含您在上一個步驟中指定的變化值。在這種情況下，它是一個具有推薦人類型的JSON對象，它是推薦人ARN的。更新您的建議要求程式碼，以取得此資源的建議。

     如需評估功能的相關資訊，請參閱 Amazon 使用 CloudWatch 者指南 EvaluateFeature中的使用。

   • 記錄成果 — 將程式碼新增至您的應用程式，以追蹤使用者與建議互動的結果。

     要在「 CloudWatch 顯而易見」中跟踪實驗的指標，請使用「 CloudWatch 顯而易見」PutProjectEvents API 操作記錄每個用戶的結果。例如，如果實驗中的用戶點擊了推薦的項目，則您可以將此事件的詳細 CloudWatch 信息發送給 Ediary。

     如需有關將事件傳送至「 CloudWatch 明顯」的資訊，請參閱 Amazon 使用 CloudWatch 者指南 PutProjectEvents中的使用。

     若要改善 Amazon Personalize 建議相關性，您可以使用 Amazon Personalize PutEvents API 作業記錄結果事件。如果您的網域使用案例或自訂配方支援即時更新建議，Amazon Personalize 可以從使用者最近的活動中學習，並在使用您的應用程式時更新建議。如果它不支援更新，Amazon Personalize 會在模型的下一次完整重新訓練期間使用此資料，然後影響建議。

     如需將事件串流至 Amazon Personalize 的相關資訊，請參閱記錄即時事件以影響建議。

4. 創建並開始實驗。建立實驗時，請指定下列項目：

   • 功能 — 選擇要在實驗中測試的功能。

   • 對象 — 設定要參與多少使用者，並設定如何在功能變體之間分割流量。

   • 指標 — 指定決定實驗成功的指標。例如，點擊次數。

   完成實驗創建後，請指定其持續時間並開始實驗。 step-by-step如需在「 CloudWatch 顯而易見」中建立和開始實驗的說明，請參閱 Amazon CloudWatch 使用者指南中的建立實驗。

5. 當您執行實驗時，您可以在「 CloudWatch 顯而易見的實驗」儀表板中檢視結果。有關檢視實驗結果的資訊，請參閱 Amazon CloudWatch 使用者指南中的儀表板中的檢視實驗結果。

實作範例

以下示例實現演示瞭如何顯 CloudWatch 而易見地實現 A/B 測試。

• 如需包含實作 A/B 測試之原始碼的即時APIs完整範例，請參閱 AWS 範例 GitHub 儲存庫APIs中的即時個人化。

• 如需包含個人化和 A/B 測試研討會的零售 Web 應用程式範例，請參閱範例 GitHub儲存庫中的零售示 AWS 範商店。對於描述如何使用「 CloudWatch 顯而易見」和「零售演示商店」創建 A/B 實驗的筆記本，請參閱零售演示商店實驗研討會- CloudWatch 顯然。

• 如需說明如何將 A/B 測試和範例反應應用程式搭配使用 CloudWatch 的教學課程，請參閱 Amazon 使用 CloudWatch 者指南中的教學課程：使用 Edition 範例應用程式進行 A/B 測試。