Amazon Titan Multimodal Embeddings G1 模型

Amazon Titan 基金會模型已針對大型資料集進行預先訓練，使其成為功能強大的一般用途模型。按原樣使用它們，或者通過使用您自己的數據對特定任務進行微調模型來自定義它們，而無需註釋大量數據。

有三種類型的 Titan 模型：嵌入，文本生成和圖像生成。

有兩種Titan Multimodal Embeddings G1型號。Titan 多模式嵌入 G1 模型將文本輸入（單詞，短語或可能大單位的文本）轉換為包含文本語義含義的數字表示（稱為嵌入）。雖然此模型不會產生文字，但對於個人化和搜尋等應用程式非常有用。通過比較嵌入，該模型將產生比單詞匹配更具相關性和上下文的響應。多模態嵌入 G1 模型用於像通過文本搜索圖像，通過圖像的相似性，或由文本和圖像的組合用例。它將輸入圖像或文本轉換為包含在同一語義空間中的圖像和文本的語義含義的嵌入。

Titan Text 模型是用於摘要、文字產生、分類、開放式 QnA 和資訊擷取等任務的生成式 LLM。他們也訓練了許多不同的編程語言，以及富文本格式，如表，JSON 和 .csv 文件，以及其他格式。

Amazon 泰坦多模式嵌入模型 G1-文本模型

• 模型 ID – amazon.titan-embed-image-v1

• 最大輸入文本令牌-8,192

• 語言-英語（25+ 語言的預覽）

• 最大輸入影像大小 - 5 MB

• 輸出向量大小 – 1,024 (預設值)、384、256

• 推論類型 — 隨需、佈建的輸送量

• 支援的使用案例 — RAG、文件搜尋、重新排名、分類等

泰坦文本嵌入 V1 需要作為輸入一個非空字符串，最多 8,192 個令牌，並返回 1,024 維嵌入。英語中的字符與令牌比例為 4.6 字符/令牌。RAG 使用案例的注意事項：雖然 Titan 文字嵌入 V2 最多可容納 8,192 個記號，但我們建議將文件分割成邏輯區段 (例如段落或區段)。

內嵌長度

設定自訂內嵌長度是選擇性的。內嵌的預設長度為 1024 個字元，適用於大多數使用案例。內嵌長度可以設定為 256、384 或 1024 個字元。較大的內嵌大小會產生更詳細的回應，但也會增加運算時間。較短的內嵌長度較不詳細，但會縮短回應時間。

    # EmbeddingConfig Shape
    {
     'outputEmbeddingLength': int // Optional, One of: [256, 512, 1024], default: 1024
    }
    
    # Updated API Payload Example
    body = json.dumps({
     "inputText": "hi",
     "inputImage": image_string,
     "embeddingConfig": { 
     "outputEmbeddingLength": 256
     }
    })
  

微調

• 輸入到 Amazon Titan Multimodal Embeddings G1 微調是圖像文本對。

• 影像格式：PNG、JPEG

• 輸入影像大小限制：5 MB

• 影像尺寸：最小 128 像素，最大：4,096 像素

• 字幕中字符數量上限：128

• 訓練資料集大小範圍：1000 - 500,000

• 驗證資料集大小範圍：8 - 50,000

• 字幕長度 (以字元為單位)：0 - 2,560

• 每張影像的總像素數上限：2048*2048*3

• 長寬比 (w/h)：最小：0.25，最大：4

準備資料集

有關訓練資料集，請建立具有多重 JSON 行的.jsonl檔案。每一 JSON 行都包含類似於 Sageemaker 增強清單檔案格式的 image-ref 和 caption 屬性。驗證資料集是必要的。目前不支援自動字幕。

   {"image-ref": "s3://bucket-1/folder1/0001.png", "caption": "some text"}
   {"image-ref": "s3://bucket-1/folder2/0002.png", "caption": "some text"}
   {"image-ref": "s3://bucket-1/folder1/0003.png", "caption": "some text"}
  

對於訓練和驗證資料集，請建立具有多重 JSON 行的.jsonl檔案。

Amazon S3 路徑必須位於您為 Amazon Bedrock 提供許可權的相同資料夾中，以透過將 IAM 政策附加到 Amazon Bedrock 服務角色的方式來存取資料。如需授予用於訓練資料的 IAM 政策的詳細資訊，請參閱授予訓練資料的的自訂任務存取權。

超參數

這些值可以針對 Multimodal Embeddings 模型超參數進行調整。預設值適用於大多數使用案例。

• 學習率 - (最小/最大學習速率) — 預設：5.00E-05，最小值：5.00E-08，最大值：1

• 批次大小 - 有效批次大小 — 預設值：576，最小值：256，最大值：9,216

• 最大 epoch — 預設值："auto"，最小值：1，最大值：100