Cohere Embed モデル

に推論リクエストを行う Embed Model with InvokeModel 使用するモデルのモデル ID が必要です。モデル ID を取得するには、「」を参照してくださいAmazon Bedrock モデル IDs。

注記

Amazon Bedrock は からのストリーミングレスポンスをサポートしていません Cohere Embed モデル。

リクエストとレスポンス

Request

- Cohere Embed モデルには次の推論パラメータがあります。

{
    "texts":[string],
    "input_type": "search_document|search_query|classification|clustering",
    "truncate": "NONE|START|END",
    "embedding_types": embedding_types
}

必須パラメータを以下に示します。

• texts – モデルが埋め込む文字列の配列。最適なパフォーマンスを得るには、各テキストの長さを 512 トークン未満に減らすことをお勧めします。1 トークンは約 4 文字です。

  以下は、呼び出しあたりのテキストと文字の制限です。

  通話あたりのテキスト数

  最小値	最大値
  0 テキスト	96 テキスト

  文字

  最小値	最大値
  0 文字	2,048 文字

• input_type – 各タイプを互いに区別するための特別なトークンを準備します。検索と取得の間でタイプを混在させる場合を除いて、異なるタイプを混在させないでください。そのような場合、search_document タイプにはコーパスを、search_query タイプには埋め込みクエリを埋め込みます。

  • search_document - 検索のユースケースで、ベクトルデータベースに保存する埋め込み用のドキュメントをエンコードするときに、search_document を使用します。

  • search_query - ベクトル DB にクエリを実行して関連ドキュメントを検索する場合に search_query を使用します。

  • classification - 埋め込みをテキスト分類子への入力として使用する場合に classification を使用します。

  • clustering - 埋め込みをクラスター化する場合に clustering を使用します。

オプションパラメータは次のとおりです。

• 切り捨て – が最大トークン長よりも長い入力APIを処理する方法を指定します。以下のいずれかを使用します。

  • NONE - (デフォルト) 入力が入力トークンの最大長を超えるとエラーを返します。

  • START – 入力の開始を破棄します。

  • END - 入力の末尾部分を切り捨てます。

  START または END を指定すると、入力の長さがモデルの入力トークンの最大長とまったく同じになるまで、モデルが入力内容を切り捨てます。

• embedding_types — 返す埋め込みのタイプを指定します。オプションとデフォルトは でNone、Embed Floatsレスポンスタイプを返します。次のいずれかのタイプにすることができます。

  • float – この値を使用して、デフォルトのフロート埋め込みを返します。

  • int8 – この値を使用して、署名付き int8 埋め込みを返します。

  • uint8 – この値を使用して、署名なしの int8 埋め込みを返します。

  • binary – この値を使用して、署名付きバイナリ埋め込みを返します。

  • ubinary – この値を使用して、署名なしのバイナリ埋め込みを返します。

詳細については、「 にhttps://docs.cohere.com/reference/埋め込む」を参照してください。Cohere ドキュメント内) を参照してください。

Response

InvokeModel を呼び出した場合の body レスポンスを以下に示します。

{
    "embeddings": [
        [ <array of 1024 floats> ]
    ],
    "id": string,
    "response_type" : "embeddings_floats,
    "texts": [string]
}
                    
                

body レスポンスに指定できるフィールドについて説明します。

• id - レスポンスの識別子。

• response_type – レスポンスタイプ。この値は常に embeddings_floats です。

• embeddings - 埋め込みの配列。各埋め込みは 1,024 個の要素から成る、浮動小数点数の配列です。embeddings 配列の長さは 元の texts 配列の長さと同じになります。

• texts - 埋め込みが返されたテキストエントリから成る配列。

詳細については、「 のhttps://docs.cohere.com/reference/埋め込み」を参照してください。

コード例

この例では、 を呼び出す方法を示しています。 Cohere Embed English モデル。

# Copyright Amazon.com, Inc. or its affiliates. All Rights Reserved.
# SPDX-License-Identifier: Apache-2.0
"""
Shows how to generate text embeddings using the Cohere Embed English model.
"""
import json
import logging
import boto3


from botocore.exceptions import ClientError

logger = logging.getLogger(__name__)
logging.basicConfig(level=logging.INFO)


def generate_text_embeddings(model_id, body):
    """
    Generate text embedding by using the Cohere Embed model.
    Args:
        model_id (str): The model ID to use.
        body (str) : The reqest body to use.
    Returns:
        dict: The response from the model.
    """

    logger.info(
        "Generating text emdeddings with the Cohere Embed model %s", model_id)

    accept = '*/*'
    content_type = 'application/json'

    bedrock = boto3.client(service_name='bedrock-runtime')

    response = bedrock.invoke_model(
        body=body,
        modelId=model_id,
        accept=accept,
        contentType=content_type
    )

    logger.info("Successfully generated text with Cohere model %s", model_id)

    return response


def main():
    """
    Entrypoint for Cohere Embed example.
    """

    logging.basicConfig(level=logging.INFO,
                        format="%(levelname)s: %(message)s")

    model_id = 'cohere.embed-english-v3'
    text1 = "hello world"
    text2 = "this is a test"
    input_type = "search_document"
    embedding_types = ["int8", "float"]

    try:

        body = json.dumps({
            "texts": [
                text1,
                text2],
            "input_type": input_type,
            "embedding_types": embedding_types}
        )
        response = generate_text_embeddings(model_id=model_id,
                                            body=body)

        response_body = json.loads(response.get('body').read())

        print(f"ID: {response_body.get('id')}")
        print(f"Response type: {response_body.get('response_type')}")

        print("Embeddings")
        for i, embedding in enumerate(response_body.get('embeddings')):
            print(f"\tEmbedding {i}")
            print(*embedding)

        print("Texts")
        for i, text in enumerate(response_body.get('texts')):
            print(f"\tText {i}: {text}")

    except ClientError as err:
        message = err.response["Error"]["Message"]
        logger.error("A client error occurred: %s", message)
        print("A client error occured: " +
              format(message))
    else:
        print(
            f"Finished generating text embeddings with Cohere model {model_id}.")


if __name__ == "__main__":
    main()