前提条件新しい会話を開始して、コンテンツの生成、抽出、要約を行うドキュメントクエリを使用してドキュメントから情報を抽出します。モデルの管理モデル出力を比較する

生成系 AI を基盤モデルと併用する

Amazon SageMaker Canvas には、会話型チャットを開始するために使用できるジェネレーティブ AI 基盤モデルが用意されています。これらのコンテンツ生成モデルは大量のテキストデータに基づいてトレーニングされ、単語間の統計的パターンや関係を学習します。また、トレーニングに使用したテキストと統計的に類似した一貫性のあるテキストを生成できます。この機能を使用して以下を実行し、生産性を向上させることができます。

ドキュメントの概要、レポート、ブログなどのコンテンツを生成する
決算説明会の記録、年次報告書、ユーザーマニュアルの章など、大量のテキストからテキストを要約する
会議の議事録や会話など、大量のテキストからインサイトや重要なポイントを抽出する
テキストを改善し、文法上の誤りやタイプミスを発見する

基盤となるモデルは、Amazon SageMaker JumpStart と Amazon Bedrock の大規模言語モデル (LLM) を組み合わせたものです。Canvas には次のモデルがあります。

モデル	型	説明
Amazon Titan	Amazon Bedrock モデル	Amazon Titan は強力な汎用言語モデルで、要約、テキスト生成 (ブログ投稿の作成など)、分類、自由形式の Q&A、情報抽出などのタスクに使用できます。大規模なデータセットで事前にトレーニングされているため、複雑なタスクや推論に適しています。AI の責任ある使用に関するベストプラクティスを引き続きサポートするために、Amazon Titan Foundation モデルを構築して、データ内の有害なコンテンツを検出して削除し、ユーザー入力に含まれる不適切なコンテンツを拒否し、不適切なコンテンツ (ヘイトスピーチ、冒涜、暴力など) を含むモデル出力をフィルタリングします。
Anthropic Claude Instant	Amazon Bedrock モデル	Anthropic の Claude Instant は、より高速で費用対効果が高く、しかも非常に高性能なモデルです。このモデルは、カジュアルな会話、テキスト分析、要約、文書の質問への回答など、さまざまなタスクを処理できます。Claude-2 と同様に、Claude Instant は各プロンプトで最大 100,000 トークンをサポートできます。これは、約 200 ページの情報に相当します。
Anthropic Claude-2	Amazon Bedrock モデル	Claude-2 は Anthropic の最も強力なモデルで、洗練された会話やクリエイティブなコンテンツの生成から詳細な指示のフォローまで、幅広いタスクに長けています。Claude-2 は各プロンプトで最大 100,000 トークンをサポートできます。これは、約 200 ページの情報に相当します。前のバージョンと比べて、より長い応答を生成できます。質問への回答、情報の抽出、PII の削除、コンテンツ生成、多肢選択式分類、ロールプレイ、テキストの比較、要約、引用付きの文書 Q&A などのユースケースをサポートします。
Falcon-7B-Instruct	SageMaker JumpStart モデル	Falcon-7B-Instruct には 70 億のパラメータがあり、チャットと指示のデータセットを組み合わせて微調整されています。これはバーチャルアシスタントとして最適で、指示に従ったり会話をしたりするときに最高のパフォーマンスを発揮します。このモデルは大量の英語ウェブデータでトレーニングされているため、ウェブ上でよく見られる固定観念や偏見があり、英語以外の言語には適していません。Falcon-40B-Instruct と比較すると、Falcon-7B-Instruct は、規模が若干小さくコンパクトなモデルです。
Falcon-40B-Instruct	SageMaker JumpStart モデル	Falcon-40B-Instruct には 400 億のパラメータがあり、チャットと指示のデータセットを組み合わせて微調整されています。これはバーチャルアシスタントとして最適で、指示に従ったり会話をしたりするときに最高のパフォーマンスを発揮します。このモデルは大量の英語ウェブデータでトレーニングされているため、ウェブ上でよく見られる固定観念や偏見があり、英語以外の言語には適していません。Falcon-7B-Instruct と比較すると、Falcon-40B-Instruct は、規模が若干大きくより強力なモデルです。
Jurassic-2 Mid	Amazon Bedrock モデル	Jurassic-2 Mid は、大量のテキストコーパス (現在は 2022 年半ばまで) でトレーニングされた高性能テキスト生成モデルです。このモデルは柔軟性と汎用性が高く、人間のようなテキストを作成したり、質問への回答やテキストの分類などの複雑なタスクを実行したりすることができます。このモデルはゼロショット指示機能を備えているため、例を使わずに自然言語のみで指示できます。以前の Jurassic-1 モデルと比較して、最大 30% 高速に動作します。 Jurassic-2 Mid は AI21 の中型モデルで、優れた品質と手頃な価格のバランスを取るように注意深く設計されています。
Jurassic-2 Ultra	Amazon Bedrock モデル	Jurassic-2 Ultra は、大量のテキストコーパス (現在は 2022 年半ばまで) でトレーニングされた高性能テキスト生成モデルです。このモデルは柔軟性と汎用性が高く、人間のようなテキストを作成したり、質問への回答やテキストの分類などの複雑なタスクを実行したりすることができます。このモデルはゼロショット指示機能を備えているため、例を使わずに自然言語のみで指示できます。以前の Jurassic-1 モデルと比較して、最大 30% 高速に動作します。 Jurassic-2 Mid と比べると、Jurassic-2 Ultra は若干規模が大きく、よりパワフルなモデルです。
ラマ-2-7B-チャット	SageMaker JumpStart モデル	Llama-2-7B-ChatはMetaの基盤モデルで、有意義で首尾一貫した会話をしたり、新しいコンテンツを作成したり、既存のメモから回答を抽出したりするのに適しています。このモデルは大量の英語のインターネットデータに基づいてトレーニングされているため、オンラインで一般的に見られる偏見や制限があり、英語でのタスクに最適です。
ラマ-2-13B-チャット	Amazon Bedrock モデル	Meta の Llama-2-13B-Chat は、インターネットデータに関する初期トレーニングを受けた後、会話データに基づいて微調整されました。自然な会話と魅力的なチャット機能に最適化されているため、会話型エージェントとして最適です。小規模なLlama-2-7B-Chatと比べると、Llama-2-13B-Chatには約2倍のパラメータがあり、より多くのコンテキストを記憶し、より微妙な会話応答を生成できます。Llama-2-7B-Chatと同様に、Llama-2-13B-Chatは英語データに基づいてトレーニングされており、英語でのタスクに最適です。
Llama-2-70B-Chat	Amazon Bedrock モデル	Llama-2-7B-ChatやLlama-2-13B-Chatと同様に、MetaのLlama-2-70B-Chatモデルは自然で有意義な会話をするために最適化されています。700億個のパラメータを持つこの大規模な会話型モデルは、よりコンパクトなモデルバージョンと比較して、より広範なコンテキストを記憶し、非常に首尾一貫した応答を生成できます。ただし、その代償として応答が遅くなり、必要なリソースも高くなります。Llama-2-70B-Chat は大量の英語のインターネットデータでトレーニングされており、英語でのタスクに最適です。
ミストラル-7B	SageMaker JumpStart モデル	Mistral.AI の Mistral-7B は、テキスト生成、要約、質問応答などの幅広い自然言語 (NLP) タスクに適した、優れた汎用言語モデルです。グループクエリアテンション (GQA) を利用しているため、推論速度が速くなるため、2 ～ 3 倍のパラメーターを持つモデルと同等のパフォーマンスを発揮します。英語の書籍、ウェブサイト、科学論文などのテキストデータを組み合わせてトレーニングされているため、英語でのタスクに最適です。
Mistral-7B-チャット	SageMaker JumpStart モデル	Mistral-7B-Chat は Mistral-7B をベースにした Mistral.AI による会話モデルです。Mistral-7Bは一般的な自然言語処理タスクに最適ですが、Mistral-7B-Chatは会話データをさらに微調整して、自然で魅力的なチャットを実現できるよう最適化されています。その結果、Mistral-7B-Chatはより人間らしい応答を生成し、以前の応答のコンテキストを記憶します。Mistral-7Bと同様に、このモデルは英語のタスクに最適です。
MPT-7B-Instruct	SageMaker JumpStart モデル	MPT-7B-Instruct は、長文形式の指示タスクを記述するためのモデルで、テキストの要約や質問への回答などのライティングタスクを支援し、時間と労力を節約できます。このモデルは大量の微調整されたデータに基づいてトレーニングされており、複雑な文書などの大量の入力を処理できます。このモデルは、大量のテキストを処理する場合や、モデルで長い応答を生成する場合に使用します。

Amazon Bedrock の基盤モデルは、現在、米国東部 (バージニア北部) リージョンと米国西部 (オレゴン) リージョンでのみご利用いただけます。また、Amazon Bedrock の基盤モデルを使用する場合、各モデルプロバイダーが指定した入力トークンと出力トークンの量に基づいて課金されます。詳細については、「Amazon Bedrock の料金ページ」を参照してください。 SageMaker JumpStart SageMaker 基盤モデルはホスティングインスタンスにデプロイされ、使用したインスタンスタイプに基づいて使用期間に対して課金されます。さまざまなインスタンスタイプのコストの詳細については、SageMaker 料金ページの「Amazon SageMaker ホスティング:リアルタイム推論」セクションを参照してください。

ドキュメントクエリは、Amazon Kendra を使用してインデックスに保存されているドキュメントをクエリし、そこからインサイトを取得するために使用できる追加機能です。この機能を使用すると、基盤モデルのトレーニングに使用された大量のデータに対する一般的な応答とは対照的に、それらのドキュメントのコンテキストからコンテンツを生成し、ビジネスユースケースに固有の応答を受け取ることができます。Amazon Kendra のインデックスの詳細については、Amazon Kendra 開発者ガイドを参照してください。

データやユースケースに合わせてカスタマイズされた基盤モデルから応答を得たい場合は、基盤モデルを微調整できます。詳細については、「基礎モデルを微調整してください。」を参照してください。

使用を開始するには、以下のセクションを参照してください。

前提条件

以下のセクションでは、Foundation モデルと対話し、Canvas のドキュメントクエリ機能を使用するための前提条件の概要を説明します。このページの残りの内容は、Foundation モデルの前提条件を満たしていることを前提としています。ドキュメントクエリ機能には追加の権限が必要です。

基礎モデルの前提条件

モデルの操作に必要な権限は、Canvas R eady-to-use モデルの権限に含まれています。CanvasでジェネレーティブAI搭載モデルを使用するには、Amazonドメインの設定時にCanvas eady-to-use Rモデルの設定権限をオンにする必要があります。 SageMaker 詳細については、「Amazon キャンバスをセットアップするための前提条件 SageMaker 」を参照してください。Canvas R eady-to-use モデル設定は、AmazonSageMakerCanvasAI ServicesAccess ポリシーを Canvas ユーザー AWS Identity and Access Management (IAM) の実行ロールにアタッチします。権限の付与に関して問題が発生した場合は、「コンソールによるアクセス権限の付与に関する問題のトラブルシューティング SageMaker 」のトピックを参照してください。

ドメインをすでに設定している場合は、ドメイン設定を編集して権限を有効にできます。ドメイン設定を編集する手順については、を参照してくださいドメインを表示および編集します。。ドメインの設定を編集するときは、Canvas設定に移動して、Canvas eady-to-use Rモデルを有効にするオプションをオンにしてください。

SageMaker JumpStart 一部の基盤モデルでは、 SageMakerインスタンスクォータの増額をリクエストする必要もあります。Canvasは、現在操作しているモデルをこれらのインスタンスでホストしていますが、アカウントのデフォルトクォータでは不十分な場合があります。以下のモデルの実行中にエラーが発生した場合は、関連するインスタンスタイプのクォータの増量をリクエストしてください。

Falcon-40B – ml.g5.12xlarge、ml.g5.24xlarge
Falcon-13B – ml.g5.2xlarge、ml.g5.4xlarge、ml.g5.8xlarge
MPT-7B-Instruct – ml.g5.2xlarge、ml.g5.4xlarge、ml.g5.8xlarge

上記のインスタンスタイプでは、エンドポイントの使用量クォータを 0 から 1 に引き上げることをリクエストしてください。クォータの詳細については、「Service Quotas ユーザーガイド」の「クォータの増加をリクエスト」を参照してください。

ドキュメントクエリの前提条件

注記

ドキュメントクエリは、米国東部 (バージニア北部)、米国東部 (オハイオ)、米国西部 (オレゴン)、ヨーロッパ (アイルランド)、アジアパシフィック (シンガポール)、アジアパシフィック (シドニー)、アジアパシフィック (東京)、およびアジアパシフィック (ムンバイ) でサポートされています。 AWS リージョン

ドキュメントクエリ機能を使用するには、ドキュメントとドキュメントメタデータを保存する Amazon Kendra インデックスがすでにある必要があります。Amazon Kendra の詳細については、Amazon Kendra 開発者ガイドを参照してください。インデックスをクエリするためのクォータの詳細については、Amazon Kendra 開発者ガイドの「クォータ」を参照してください。

また、Canvas ユーザープロファイルにドキュメントクエリに必要な権限があることも確認する必要があります。AmazonSageMakerCanvasFullAccessこのポリシーは、Canvas SageMaker アプリケーションをホストするドメインの AWS IAM 実行ロールにアタッチする必要があります (このポリシーは、新規および既存のすべてのCanvasユーザープロファイルにデフォルトでアタッチされます)。また、ドキュメントクエリ権限を具体的に付与し、1 つ以上の Amazon Kendra インデックスへのアクセスを指定する必要があります。

Canvas 管理者が新しいドメインまたはユーザープロファイルを設定する場合は、の指示に従ってドメインを設定してもらいます。Amazon キャンバスをセットアップするための前提条件 SageMaker ドメインを設定する際、Canvas R eady-to-use モデル設定を使用してドキュメントクエリ権限を有効にできます。

Canvas 管理者は、ユーザープロファイルレベルでもドキュメントクエリ権限を管理できます。たとえば、管理者が一部のユーザープロファイルにドキュメントクエリ権限を付与し、他のユーザープロファイルには権限を削除したい場合、管理者は特定のユーザーの権限を編集できます。

以下の手順は、特定のユーザープロファイルに対してドキュメントクエリ権限をオンにする方法を示しています。

https://console.aws.amazon.com/sagemaker/ SageMaker でコンソールを開きます。
左のナビゲーションペインで、[管理設定‭] を選択します。
[管理者設定] で、[ドメイン] を選択します。
ドメインのリストから、ユーザープロファイルのドメインを選択します。
ドメインの詳細ページで、権限を編集したいユーザープロファイルを選択します。
[ユーザーの詳細] ページで、[編集] を選択します。
左側のナビゲーションペインで、[Canvas の設定] を選択します。
Canvas R eady-to-use モデル設定セクションで、「Amazon Kendra を使用してドキュメントクエリを有効にする」トグルをオンにします。
ドロップダウンで、アクセスを許可する 1 つ以上の Amazon Kendra インデックスを選択します。
[Submit] を選択して、ドメイン設定への変更を保存します。

これで、Canvas Foundation モデルを使用して、指定した Amazon Kendra インデックス内のドキュメントをクエリできるようになりました。

新しい会話を開始して、コンテンツの生成、抽出、要約を行う

Canvas で生成系 AI 基盤モデルの使用を開始するには、モデルの 1 つと新しいチャットセッションを開始します。モデルの場合は、 SageMaker JumpStart モデルがアクティブな間は課金されるため、使用したいときはモデルを起動し、操作が終了したらモデルをシャットダウンする必要があります。 SageMaker JumpStart モデルをシャットダウンしない場合、Canvas は非アクティブ状態が 2 時間続くとモデルをシャットダウンします。Amazon Bedrock モデル (Amazon Titan など) では、プロンプトに従って課金されます。モデルはすでにアクティブなので、起動またはシャットダウンする必要はありません。これらのモデルの使用に対しては Amazon Bedrock から直接課金されます。

モデルとのチャットを開始するには、次の手順に従います

SageMaker Canvas アプリケーションを開きます。
左側のナビゲーションペインで、[R eady-to-use models] を選択します。
[コンテンツの生成、抽出、要約] を選択します。
ウェルカムページで、デフォルトモデルの起動を勧めるメッセージが表示されます。ユーザーは、推奨モデルを起動することも、ドロップダウンから [別のモデルを選択] を選択して別のモデルを選択することもできます。
SageMaker JumpStart 基盤モデルを選択した場合は、使用する前に起動する必要があります。[モデルの起動] を選択すると、 SageMaker モデルがインスタンスにデプロイされます。この処理は、完了まで数分かかる場合があります。モデルの準備ができたら、プロンプトを入力してモデルに質問できます。

Amazon Bedrock で基盤モデルを選択した場合は、プロンプトを入力して質問するだけで、すぐに使用を開始できます。

モデルによって、さまざまなタスクを実行できます。例えば、テキストの一節を入力して、モデルに要約させることができます。あるいは、モデルに自分のドメインの市場動向の簡単な要約を作成させることもできます。

チャットでのモデルの応答は、前のプロンプトのコンテキストに基づいています。前の会話トピックとは関係のない新しい質問をチャットで聞きたい場合は、モデルと新たにチャットを開始することをおすすめします。

ドキュメントクエリを使用してドキュメントから情報を抽出します。

注記

このセクションは、上記のセクションを完了していることを前提としています。ドキュメントクエリの前提条件

ドキュメントクエリは、Canvas で基礎モデルを操作する際に使用できる機能です。ドキュメントクエリを使用すると、Amazon Kendra インデックスに保存されているドキュメントのコーパスにアクセスできます。このインデックスにはドキュメントの内容が格納され、ドキュメントを検索できるように構造化されています。Amazon Kendra インデックス内のデータを対象とした特定の質問をすると、基礎モデルがその質問に対する回答を返します。たとえば、IT 情報の社内ナレッジベースにクエリを実行して、「会社のネットワークに接続するにはどうすればいいですか?」などの質問をすることができます。インデックスの設定の詳細については、Amazon Kendra 開発者ガイドを参照してください。

ドキュメントクエリ機能を使用する場合、基盤モデルは拡張生成 (Retrieval Augmented Generation) (RAG) と呼ばれる手法を使用して、インデックス内のドキュメントの内容に対する応答を制限します。この手法では、インデックスから最も関連性の高い情報をユーザーのプロンプトとともにまとめ、基盤モデルに送信して応答を得ます。レスポンスはインデックス内のものに限定されるため、外部データに基づいてモデルから誤ったレスポンスが返されるのを防ぐことができます。このプロセスの詳細については、ブログ記事「エンタープライズデータに基づいて高精度のジェネレーティブ AI アプリケーションを迅速に構築する」を参照してください。

はじめに、Canvasでファンデーションモデルとチャットしながら、ページ上部の [ドキュメントクエリ] トグルをオンにしてください。ドロップダウンから、クエリしたい Amazon Kendra インデックスを選択します。これで、インデックス内のドキュメントに関する質問を始めることができます。

重要

モデル出力を比較するドキュメントクエリはこの機能をサポートしています。モデルの出力を比較するために新しいチャットを開始すると、既存のチャット履歴はすべて上書きされます。

モデルの管理

注記

次のセクションでは、Falcon-40B-Instruct SageMaker JumpStart などの基盤モデルにのみ適用されるモデルの起動と終了について説明します。Amazon Titan などの Amazon Bedrock モデルには、いつでも簡単にアクセスできます。

モデルは必要な数だけ起動できます。 SageMaker JumpStart SageMaker JumpStartアクティブなモデルごとにアカウントに料金が発生するため、現在使用しているモデルよりも多くのモデルを起動しないことをお勧めします。

別のモデルを起動するには、次の手順に従います。

[コンテンツの生成、抽出、要約] ページで、[新しいチャット] を選択します。
ドロップダウンメニューでモデルを選択します。ドロップダウンに表示されていないモデルを選択する場合は、[別のモデルを起動] を選択し、起動するモデルを選択します。
[モデルを起動] を選択します。

モデルが起動し始め、数分以内にモデルとチャットできるようになります。

使用していないモデルはシャットダウンすることを強くお勧めします。非アクティブ状態が 2 時間続くと、モデルは自動的にシャットダウンします。モデルを手動でシャットダウンするには、次の手順に従います。

[コンテンツの生成、抽出、要約] ページで、シャットダウンするモデルのチャットを開きます。
チャットページで、[その他のオプション] アイコン ( ) を選択します。
[モデルをシャットダウン] を選択します。
[モデルをシャットダウン] 確認ボックスで、[シャットダウン] を選択します。

モデルがシャットダウンし始めます。チャットで 2 つ以上のモデルを比較する場合、チャットページからモデルの [その他のオプション] アイコン ( ) を選択し、[モデルをシャットダウン] を選択すると、モデルを個別にシャットダウンできます。

モデル出力を比較する

異なるモデルの出力を並べて比較して、どのモデル出力が好ましいかを確認する場合があります。これにより、どのモデルがユースケースに最も適しているかを判断できます。チャットでは最大 3 つのモデルを比較できます。

注記

個々のモデルごとに、アカウントに料金が発生します。

比較するモデルを追加するには、新しいチャットを開始する必要があります。チャットでモデルの出力を並べて比較するには、次の手順に従います。

チャットで、[新しいチャット] を選択します。
[比較] を選択し、ドロップダウンメニューを使用して追加するモデルを選択します。3 つ目のモデルを追加するには、もう一度 [比較] を選択して別のモデルを追加します。

注記
SageMaker JumpStart 現在アクティブになっていないモデルを使用する場合は、モデルを起動するように求められます。

モデルがアクティブになると、チャットに 2 つのモデルが並んで表示されます。プロンプトを送信すると、次のスクリーンショットに示すように、各モデルが同じチャットで応答します。

2 つのモデルの出力を並べて表示した Canvas インターフェイスのスクリーンショット。

操作が終わったら、追加料金が発生しないように、 SageMaker JumpStart すべてのモデルを個別にシャットダウンしてください。

ブラウザで JavaScript が無効になっているか、使用できません。

AWS ドキュメントを使用するには、JavaScript を有効にする必要があります。手順については、使用するブラウザのヘルプページを参照してください。

ドキュメントの表記規則

Canvas でのデータ準備を自動化します。 SageMaker

基礎モデルを微調整してください。