検索分析で同作を得る

Amazon Kendra 検索分析を使用すると、検索アプリケーションがユーザーによる情報の検索にどのように成功したか、または失敗しているかに関するインサイトを得ることができます。

Amazon Kendra Analytics は、ユーザーが検索アプリケーションとやり取りする方法と、検索アプリケーションの設定がどの程度効果的であるかを示すスナップショットを提供します。GetSnapshots API を使用するか、コンソールのナビゲーションパネルで分析を選択して、メトリクスデータを表示できます。

独自のカスタムビルドダッシュボードの GetSnapshots で、生成したデータをレンダリングできます。または、コンソールに提供される、ビジュアルグラフを含むメトリクスダッシュボードを使用することもできます。ビジュアルダッシュボードを使用すると、時間の経過に伴うユーザー行動の傾向やパターンを探したり、検索アプリケーション構成で問題を明らかにしたりできます。例えば、1 日あたりのクエリ数が一貫して増加し、一定の増加を示す折れ線グラフは、採用と使用量の増加を示している可能性があります。一方、急激な低下は、調査が必要な問題があることを示している可能性があります。

このメトリクスを使用して、さまざまなデータポイントの繋がりを確立し、ユーザーが情報を検索したり、ビジネスチャンスを発見したりする方法に関する問題を解決できます。例えば、「How does AI work?」というドキュメントは、検索結果内で最もクリックされたドキュメントで、検索された上位のクエリは「How does machine learning work?」です。これにより、ユーザーが使用する優先用語と言語が通知されます。これらの用語をドキュメントに統合したり、これらの用語にカスタムシノニムを使用して、ドキュメントをユーザーに対して検索しやすくすることができます。

検索のメトリクス

検索アプリケーションのパフォーマンスや、ユーザーが検索している情報を分析するための 10 のメトリクスがあります。メトリクスデータを取得するには、GetSnapshots を呼び出すときに取得するメトリクスデータの文字列名を指定します。

また、メトリクスデータを表示するには、時間間隔またはタイムウィンドウを指定する必要があります。時間間隔は、インデックスのタイムゾーンを使用します。データは次のタイムウィンドウで表示できます。

THIS_WEEK: 今週。日曜日から始まり、今日の前日に終わる。
ONE_WEEK_AGO: 先週。日曜日から始まり、次の土曜日に終わる。
TWO_WEEKS_AGO: 先々週。日曜日から始まり、次の土曜日に終わる。
THIS_MONTH: 今月。月の第一日から始まり、今日の前日に終わる。
ONE_MONTH_AGO: 先月。月の第一日から始まり、月の末日に終了する。
TWO_MONTHS_AGO: 先々月。月の第一日から始まり、月の末日に終了する。

コンソールでは、サポートされているタイムウィンドウは、[This week] (今週)、[Previous week] (先週)、[This month] (今月)、[Previous month] (先月) です。

クリックスルー率

検索結果内のドキュメントへのクリックスルーにつながるクエリの割合。これにより、検索アプリケーション構成がユーザーのクエリに関連する情報を見つけるのに役立つかどうかを把握できます。インスタント回答を返すクエリの場合、ユーザーはドキュメントをクリックして詳細を確認する必要がない場合があります。詳細については、「即時回答率」を参照してください。クリックスルーフィードバックが確実に収集されるようにSubmitFeedbackするには、を呼び出す必要があります。

GetSnapshots API を使用してクリックスルー率のデータを取得するには、AGG_QUERY_DOC_METRICS に metricType を指定します。ナビゲーションパネルの [Analytics] (分析) を選択して、このメトリクスをコンソールで表示することもできます。

ゼロクリック率

検索結果内のドキュメントへのゼロクリックにつながるクエリの割合。これは、無関係な検索結果を提供するコンテンツのギャップを把握するのに役立ちます。インスタント回答を返すクエリの場合、ユーザーはドキュメントをクリックして詳細を確認する必要がない場合があります。詳細については、「即時回答率」を参照してください。また、チューニング構成などの検索設定は、検索結果でドキュメントが返される方法に影響を与える可能性があります。

GetSnapshots API を使用してゼロクリックのデータを取得するには、AGG_QUERY_DOC_METRICS に metricType を指定します。ナビゲーションパネルの [Analytics] (分析) を選択して、このメトリクスをコンソールで表示することもできます。

ゼロ検索結果率

ゼロ検索結果につながるクエリの割合。これは、無関係な検索結果を提供するコンテンツのギャップを把握するのに役立ちます。

GetSnapshots API を使用してゼロ検索結果率のデータを取得するには、AGG_QUERY_DOC_METRICS に metricType を指定します。ナビゲーションパネルの [Analytics] (分析) を選択して、このメトリクスをコンソールで表示することもできます。

即時回答率

即時回答またはよくある質問が返されたクエリの割合。これは、情報提供における即時回答の役割を把握するのに役立ちます。

GetSnapshots API を使用して即時回答率のデータを取得するには、AGG_QUERY_DOC_METRICS に metricType を指定します。ナビゲーションパネルの [Analytics] (分析) を選択して、このメトリクスをコンソールで表示することもできます。

上位のクエリ

ユーザーが検索した上位 100 件のクエリ。これは、どのクエリが人気があり、ユーザーが最も関心を持っている情報の種類はどれかを把握するのに役立ちます。

メトリクスには、クエリが検索された回数、ドキュメントに対するクリックスルーの割合、ドキュメントに対するクリックスルーなしの割合、クエリの検索結果の平均クリック深度、クエリの即時回答の割合、および最初の 10 件のクエリの検索結果の平均信頼度が含まれます。

GetSnapshots API を使用して上位クエリのデータを取得するには、QUERIES_BY_COUNT に metricType を指定します。コンソールのナビゲーションパネルで、[Analytics] (分析) を選択して、このメトリクスをコンソールで表示することもできます。[Query lists] (クエリリスト) の [Top queries] (上位クエリ) を選択します。

ゼロクリックの上位クエリ

検索結果内のゼロクリックにつながる上位 100 クエリ。これにより、一部のクエリに関連するドキュメントが不足している場合や、検索アプリケーションの構成で無関係な検索結果が返されている場合に、コンテンツのギャップを把握できます。インスタント回答を返すクエリの場合、ユーザーはドキュメントをクリックして詳細を確認する必要がない場合があります。詳細については、「即時回答率」を参照してください。

メトリクスには、クエリがゼロクリックにつながった回数、クエリに対するゼロクリックの割合、クエリの即時回答の割合、およびクエリの最初の 10 件の検索結果の平均信頼度が含まれます。

GetSnapshots API を使用してゼロクリックを伴う上位クエリのデータを取得するには、QUERIES_BY_ZERO_CLICK_RATE に metricType を指定します。コンソールのナビゲーションパネルで、[Analytics] (分析) を選択して、このメトリクスをコンソールで表示することもできます。[Query lists] (クエリリスト) の [Top zero click queries] (上位ゼロクリッククエリ) を選択します。

ゼロ検索結果の上位クエリ

ゼロ検索結果につながる上位 100 クエリ。これにより、クエリに関連するドキュメントがないコンテンツのギャップを把握するのに役立ちます。または、検索結果 0 件につながる可能性がある特殊な用語でユーザーがクエリを実行し、カスタムシノニムを作成してこれに対処するよう促す場合があります。

メトリクスには、クエリのゼロ検索結果につながる回数、クエリの検索結果ゼロの割合、およびすべてのクエリに対するクエリが検索された回数の割合が含まれます。

GetSnapshots API を使用してゼロ検索結果の上位クエリのデータを取得するには、QUERIES_BY_ZERO_RESULT_RATE に metricType を指定します。コンソールのナビゲーションパネルで、[Analytics] (分析) を選択して、このメトリクスをコンソールで表示することもできます。[Query lists] (クエリリスト) の [Top zero result queries] (上位ゼロ結果クエリ) を選択します。

クリックされた上位ドキュメント

検索結果内で最もクリックされたドキュメントの上位 100 件。これにより、ユーザーが情報をクエリするときに、どのドキュメントまたは検索結果が最も関連しているかを把握できます。

メトリクスには、ドキュメントがクリックされた回数、ドキュメントがユーザーから受け取るいいね! の数 (高評価)、ドキュメントがユーザーから受け取る嫌いの数 (低評価) が含まれます。

GetSnapshots API を使用してクリックされた上位ドキュメントのデータを取得するには、DOCS_BY_CLICK_COUNT に metricType を指定します。コンソールのナビゲーションパネルで、[Analytics] (分析) を選択して、このメトリクスをコンソールで表示することもできます。[Query lists] (クエリリスト) の [Top clicked documents] (クリックされた上位ドキュメント) を選択します。

合計クエリ数

ユーザーが検索したクエリの合計数。これにより、ユーザーが検索アプリケーションにどの程度関わっているかを理解できます。

GetSnapshots API を使用してクエリの合計数のデータを取得するには、AGG_QUERY_DOC_METRICS に metricType を指定します。ナビゲーションパネルの [Analytics] (分析) を選択して、このメトリクスをコンソールで表示することもできます。

合計ドキュメント

インデックス内のドキュメントの合計数。これにより、インデックスのサイズとクエリの総数を比較して、クエリの量に対して適切な数のドキュメントがあるかどうかをチェックできます。

GetSnapshots API を使用してドキュメントの合計数のデータを取得するには、AGG_QUERY_DOC_METRICS に metricType を指定します。ナビゲーションパネルの [Analytics] (分析) を選択して、このメトリクスをコンソールで表示することもできます。

メトリクスデータの取得例

次のコードは、先月の上位のクエリのデータを取得する例です。

Console

先月の上位クエリを取得するには

左側のナビゲーションペインで、[Indexes] (インデックス) で、インデックスを選択し、[Analytics] (分析) を選択します。
[分析] ページで、[今週] ボタンをクリックし、データを取得するための期間を [先月] に変更します。
[Analytics] (分析) ページの [Query lists] (クエリリスト) で、[Top queries] (上位クエリ) を選択します。

CLI

先月の上位クエリを取得するには


aws kendra get-snapshots \
--index-id index-id \
--interval "ONE_MONTH_AGO" \
--metric-type "QUERIES_BY_COUNT"

Python

先月の上位クエリを取得するには


import boto3

kendra = boto3.client("kendra")

index_id = "index-id"
interval = "ONE_MONTH_AGO"
metric_type = "QUERIES_BY_COUNT"

snapshots_response = kendra.get_snapshots(
    IndexId = index_id,
    Interval = interval,
    MetricType = metric_type
)

print("Top queries data: " + snapshots_response["snapshotsData"])

Java

先月の上位クエリを取得するには


package com.amazonaws.kendra;

import software.amazon.awssdk.services.kendra.KendraClient;
import software.amazon.awssdk.services.kendra.model.GetSnapshotsRequest;
import software.amazon.awssdk.services.kendra.model.GetSnapshotsResponse;

public class TopQueriesExample {
    public static void main(String[] args) {
        KendraClient kendra = KendraClient.builder().build();

        String indexId = "indexID";
        String interval = "ONE_MONTH_AGO";
        String metricType = "QUERIES_BY_COUNT";

        GetSnapshotsRequest getSnapshotsRequest = GetSnapshotsRequest
            .builder()
            .indexId(indexId)
            .interval(interval)
            .metricType(metricType)
            .build();

        GetSnapshotsResponse getSnapshotsResponse = kendra.getSnapshots(GetSnapshotsRequest);

        System.out.println(String.format("Top queries data: ", getSnapshotsResponse.snapshotsData()))

メトリクスから実用的なインサイトまで

実用的なインサイトは、生データから抽出された有意義な情報であり、行動や意思決定の指針として使用されます。メトリクスから意味を抽出し、それらを使用して実用的なインサイトを導き出すには、メトリクスを個別に調べるだけでなく、メトリクス間のつながりも確立することが重要です。

例えば、クリック数がゼロの上位クエリは、「Which regions are currently available?」のようになります。ただし、インスタント回答率も 100% です。これは、利用可能なリージョンに関する情報を提供する検索結果やドキュメントをクリックしなくても、ユーザーがこの質問に対する回答を受け取ることを示唆しています。ゼロクリックだけを見た場合、完全なストーリーは得られず、このクエリを処理する際の検索アプリケーション構成の成功について間違った結論を出す可能性があります。

実用的なインサイトの別の例は、ビジネスチャンスの発見です。企業は多くの場合、検索メトリクスを分析してお客様を成長させる機会を求めています。最もクリックされたドキュメントは「利用可能なリージョン」です。これに加えて、検索された上位クエリのほとんどは、海洋リージョンでの製品の可用性に関する質問に関連しています。回答の一部として、利用可能なリージョンに関するより多くの情報への即時回答率が 100%、クリックスルー率は高くなります。これは、このリージョンに製品やサービスに対する関心と需要があることを示唆しています。

検索分析の視覚化とレポート

トレンドデータを含む 5 つのメトリクスがあり、時間の経過とともにトレンドやパターンを視覚化して検索できます。コンソールを使用する場合、トレンドデータのグラフが表示されます。API を使用する場合、トレンドデータを取得して、独自のグラフまたは視覚化された情報を作成できます。コンソールのほとんどのグラフは、選択したタイムウィンドウにおける日次データポイントをプロットします。

コンソールには、表示したいグラフとトップリストを選択できるメトリクスのダッシュボードが表示されます。ダッシュボードに表示されるメトリクスを CSV 形式でエクスポートするには、[Analytics] (分析) ホームページの [Export] (エクスポート) を選択します。これらのレポートは、ビジネスドキュメントまたはプレゼンテーションに含めることができます。

以下のメトリクスを視覚化することができます。

合計クエリグラフ

1 日に発行されたクエリ数の折れ線グラフ。このグラフは、毎日のユーザーエンゲージメントのパターンを視覚化するのに役立ちます。例としては、ユーザーエンゲージメントの着実な増減や、検索アプリケーションのクラッシュやウェブサイトの問題により、クエリが 0 件まで大幅に低下することがあります。

API を使用する場合は、TREND_QUERY_DOC_METRICS を指定して、これらのデータを取得できます。データを使用して独自のグラフを作成することも、コンソールで提供されているグラフを使用することもできます。

クリックスルー率グラフ

1 日あたりのクリックスルーの割合の折れ線グラフ。このグラフは、毎日のクリックスルー率のパターンを視覚化するのに役立ちます。例としては、クリックスルー率の着実な増減、即時回答の減少がクリックスルーの増加に影響を与える可能性があります。

ゼロクリック率グラフ

1 日あたりのゼロクリックの割合の折れ線グラフ。このグラフは、毎日のゼロクリック率のパターンを視覚化するのに役立ちます。例としては、ゼロクリック率の着実な増減、即時回答の増加がゼロクリックの増加に影響を与える可能性があります。

ゼロ検索結果率グラフ

1 日あたりのゼロ検索結果の割合の折れ線グラフ。このグラフは、毎日のゼロ検索結果率のパターンを視覚化するのに役立ちます。例としては、ゼロ検索結果率の着実な増減、インデックス内のドキュメント数の急激な減少がゼロ検索結果の増加に影響を与える可能性があります。

即時回答率グラフ

即時回答またはよくある質問が返されたクエリの割合の折れ線グラフ。このグラフは、毎日の即時回答率のパターンを視覚化するのに役立ちます。例としては、質問応答タイプのクエリの着実な増減、またはクリックスルーの減少が即時回答の増加に影響を与える可能性があります。

ブラウザで JavaScript が無効になっているか、使用できません。

AWS ドキュメントを使用するには、JavaScript を有効にする必要があります。手順については、使用するブラウザのヘルプページを参照してください。

ドキュメントの表記規則

検索の関連性のチューニング

増分学習のためのフィードバックの送信