Entwickeln Sie mithilfe von Amazon Bedrock-Agenten und Wissensdatenbanken einen vollautomatischen Chat-basierten Assistenten

Erstellt von Jundong Qiao (AWS), Kara Yang (), Kiowa Jackson (AWS), Noah Hamilton (AWS), Praveen Kumar Jeyarajan (AWS) und Shuai Cao () AWS AWS

Code-Repository: genai-bedrock-agent-chatbot	Umgebung: PoC oder Pilotprojekt	Technologien: Maschinelles Lernen und KI; Serverlos
AWSDienstleistungen: Amazon Bedrock AWSCDK; Lambda AWS

Übersicht

Viele Unternehmen stehen vor Herausforderungen, wenn es darum geht, einen Chat-basierten Assistenten zu entwickeln, der in der Lage ist, verschiedene Datenquellen zu orchestrieren, um umfassende Antworten zu bieten. Dieses Muster bietet eine Lösung für die Entwicklung eines Chat-basierten Assistenten, der Anfragen sowohl aus der Dokumentation als auch aus Datenbanken beantworten kann, und das bei einer einfachen Bereitstellung.

Beginnend mit Amazon Bedrock bietet dieser vollständig verwaltete Service für generative künstliche Intelligenz (KI) eine breite Palette fortschrittlicher Basismodelle (FMs). Dies erleichtert die effiziente Erstellung generativer KI-Anwendungen mit einem starken Fokus auf Datenschutz und Sicherheit. Im Zusammenhang mit dem Abruf von Dokumenten ist Retrieval Augmented Generation (RAG) ein zentrales Feature. Es verwendet Wissensdatenbanken, um FM-Eingabeaufforderungen um kontextrelevante Informationen aus externen Quellen zu erweitern. Ein Amazon OpenSearch Serverless-Index dient als Vektordatenbank hinter den Wissensdatenbanken für Amazon Bedrock. Diese Integration wird durch sorgfältiges, zeitnahes Engineering verbessert, um Ungenauigkeiten zu minimieren und sicherzustellen, dass die Antworten in einer sachlichen Dokumentation verankert sind. Für Datenbankabfragen wandeln Amazon Bedrock Textanfragen in strukturierte SQL Abfragen um, die spezifische Parameter enthalten. FMs Dies ermöglicht den präzisen Abruf von Daten aus Datenbanken, die von AWSGlue-Datenbanken verwaltet werden. Amazon Athena wird für diese Abfragen verwendet.

Um kompliziertere Anfragen zu bearbeiten und umfassende Antworten zu erhalten, sind Informationen erforderlich, die sowohl aus der Dokumentation als auch aus Datenbanken stammen. Agents for Amazon Bedrock ist eine generative KI-Funktion, mit der Sie autonome Agenten erstellen können, die komplexe Aufgaben verstehen und sie für die Orchestrierung in einfachere Aufgaben aufteilen können. Die Kombination der Erkenntnisse aus den vereinfachten Aufgaben, die durch die autonomen Agenten von Amazon Bedrock unterstützt werden, verbessert die Informationssynthese und führt zu gründlicheren und umfassenderen Antworten. Dieses Muster zeigt, wie Sie mithilfe von Amazon Bedrock und den zugehörigen generativen KI-Diensten und -Funktionen innerhalb einer automatisierten Lösung einen chatbasierten Assistenten erstellen können.

Voraussetzungen und Einschränkungen

Voraussetzungen

• Ein aktives Konto AWS

• Docker, installiert

• AWSCloud Development Kit (AWSCDK), installiert und in die us-east-1Regionen oder gebootet us-west-2 AWS

• AWSCDKToolkit-Version 2.114.1 oder höher, installiert

• AWSBefehlszeilenschnittstelle (AWSCLI), installiert und konfiguriert

• Python Version 3.11 oder höher, installiert

• Aktivieren Sie in Amazon Bedrock den Zugriff auf Claude 2, Claude 2.1, Claude Instant und Titan Embeddings G1 — Text

Einschränkungen

• Diese Lösung wird für ein einzelnes Konto bereitgestellt. AWS

• Diese Lösung kann nur in AWS Regionen eingesetzt werden, in denen Amazon Bedrock und Amazon OpenSearch Serverless unterstützt werden. Weitere Informationen finden Sie in der Dokumentation für Amazon Bedrock und Amazon OpenSearch Serverless.

Produktversionen

• LLAMA-Index Version 0.10.6 oder höher

• Sqlalchemy Version 2.0.23 oder höher

• OpenSearch-PY Version 2.4.2 oder höher

• Requests_AWS4Auth Version 1.2.3 oder höher

• AWSSDKfür Python (Boto3) Version 1.34.57 oder höher

Architektur

Zieltechnologie-Stack

Das AWSCloud Development Kit (AWSCDK) ist ein Open-Source-Framework für die Softwareentwicklung, mit dem Cloud-Infrastruktur im Code definiert und bereitgestellt werden kann. AWS CloudFormation Der in diesem Muster verwendete AWS CDK Stack stellt die folgenden AWS Ressourcen bereit: 

• AWSSchlüsselverwaltungsdienst () AWS KMS

• Amazon-Simple-Storage-Service (Amazon-S3)

• AWSGlue-Datenkatalog für die AWS Glue-Datenbankkomponente

• AWSLambda

• AWSIdentity and Access Management (IAM)

• Amazon OpenSearch Serverlos

• Amazon Elastic Container Registry (AmazonECR) 

• Amazon Elastic Container Service (AmazonECS)

• AWS-Fargate

• Amazon Virtual Private Cloud (AmazonVPC)

• Application Load Balancer

Zielarchitektur

Das Diagramm zeigt ein umfassendes AWS Cloud-natives Setup innerhalb einer einzigen AWS Region, bei dem mehrere AWS Dienste verwendet werden. Die primäre Schnittstelle für den Chat-basierten Assistenten ist eine Streamlit-Anwendung, die auf einem Amazon-Cluster gehostet wird. ECS Ein Application Load Balancer verwaltet die Barrierefreiheit. Abfragen, die über diese Schnittstelle gestellt werden, aktivieren die Invocation Lambda-Funktion, die dann eine Schnittstelle zu Agenten für Amazon Bedrock herstellt. Dieser Agent beantwortet Benutzeranfragen, indem er entweder die Wissensdatenbanken für Amazon Bedrock konsultiert oder eine Agent executor Lambda-Funktion aufruft. Diese Funktion löst nach einem vordefinierten Schema eine Reihe von Aktionen aus, die dem Agenten zugeordnet sind. API Die Wissensdatenbanken für Amazon Bedrock verwenden einen OpenSearch serverlosen Index als Grundlage für ihre Vektordatenbank. Darüber hinaus generiert die Agent executor Funktion SQL Abfragen, die über Amazon Athena in der AWS Glue-Datenbank ausgeführt werden.

Tools

AWSDienste

• Amazon Athena ist ein interaktiver Abfrageservice, mit dem Sie Daten mithilfe von Standards SQL direkt in Amazon Simple Storage Service (Amazon S3) analysieren können.

• Amazon Bedrock ist ein vollständig verwalteter Service, der leistungsstarke Basismodelle (FMs) von führenden KI-Startups und Amazon für Ihre Nutzung über eine einheitliche Lösung zur Verfügung stellt. API

• AWSCloud Development Kit (AWSCDK) ist ein Softwareentwicklungs-Framework, mit dem Sie AWS Cloud-Infrastruktur im Code definieren und bereitstellen können.

• AWSCommand Line Interface (AWSCLI) ist ein Open-Source-Tool, mit dem Sie mithilfe von Befehlen in Ihrer Befehlszeilen-Shell mit AWS Diensten interagieren können.

• Amazon Elastic Container Service (AmazonECS) ist ein schneller und skalierbarer Container-Management-Service, der Sie beim Ausführen, Stoppen und Verwalten von Containern in einem Cluster unterstützt.

• Elastic Load Balancing (ELB) verteilt den eingehenden Anwendungs- oder Netzwerkverkehr auf mehrere Ziele. Sie können beispielsweise den Traffic auf Amazon Elastic Compute Cloud (AmazonEC2) -Instances, Container und IP-Adressen in einer oder mehreren Availability Zones verteilen.

• AWSGlue ist ein vollständig verwalteter Dienst zum Extrahieren, Transformieren und Laden (ETL). Er hilft Ihnen dabei, Daten zuverlässig zu kategorisieren, zu bereinigen, anzureichern und zwischen Datenspeichern und Datenströmen zu verschieben. Dieses Muster verwendet einen AWS Glue-Crawler und eine AWS Glue-Datenkatalogtabelle.

• AWSLambda ist ein Rechendienst, mit dem Sie Code ausführen können, ohne Server bereitstellen oder verwalten zu müssen. Er führt Ihren Code nur bei Bedarf aus und skaliert automatisch, sodass Sie nur für die tatsächlich genutzte Rechenzeit zahlen.

• Amazon OpenSearch Serverless ist eine serverlose On-Demand-Konfiguration für Amazon OpenSearch Service. In diesem Muster dient ein OpenSearch serverloser Index als Vektordatenbank für die Wissensdatenbanken für Amazon Bedrock.

• Amazon Simple Storage Service (Amazon S3) ist ein cloudbasierter Objektspeicherservice, der Sie beim Speichern, Schützen und Abrufen beliebiger Datenmengen unterstützt.

Andere Tools

• Streamlit ist ein Open-Source-Python-Framework zur Erstellung von Datenanwendungen.

Code-Repository

Der Code für dieses Muster ist im GitHub genai-bedrock-agent-chatbotRepository verfügbar. Das Code-Repository enthält die folgenden Dateien und Ordner:

• assetsOrdner — Die statischen Elemente, wie das Architekturdiagramm und der öffentliche Datensatz.

• code/lambdas/action-lambdafolder — Der Python-Code für die Lambda-Funktion, die als Aktion für den Amazon Bedrock-Agenten fungiert.

• code/lambdas/create-index-lambdafolder — Der Python-Code für die Lambda-Funktion, die den OpenSearch Serverless-Index erstellt.

• code/lambdas/invoke-lambdafolder — Der Python-Code für die Lambda-Funktion, die den Amazon Bedrock-Agenten aufruft, der direkt aus der Streamlit-Anwendung aufgerufen wird.

• code/lambdas/update-lambdafolder — Der Python-Code für die Lambda-Funktion, die Ressourcen aktualisiert oder löscht, nachdem die AWS Ressourcen über die bereitgestellt wurden. AWS CDK

• code/layers/boto3_layerfolder — Der AWS CDK Stapel, der eine Boto3-Ebene erstellt, die von allen Lambda-Funktionen gemeinsam genutzt wird.

• code/layers/opensearch_layerOrdner — Der AWS CDK Stack, der eine OpenSearch serverlose Schicht erstellt, die alle Abhängigkeiten installiert, um den Index zu erstellen.

• code/streamlit-appfolder — Der Python-Code, der als Container-Image in Amazon ausgeführt wird ECS

• code/code_stack.py— Das AWS CDK Konstrukt Python-Dateien, die AWS Ressourcen erstellen.

• app.py— Die AWS CDK Stapel-Python-Dateien, die AWS Ressourcen im AWS Zielkonto bereitstellen.

• requirements.txt— Die Liste aller Python-Abhängigkeiten, die für die installiert werden müssen AWSCDK.

• cdk.json— Die Eingabedatei zur Bereitstellung der Werte, die zum Erstellen von Ressourcen erforderlich sind. Außerdem können Sie die Lösung in den context/config Feldern entsprechend anpassen. Weitere Informationen zur Anpassung finden Sie im Abschnitt Zusätzliche Informationen.

Bewährte Methoden

• Das hier bereitgestellte Codebeispiel dient nur proof-of-concept (PoC) oder Pilotzwecken. Wenn Sie den Code für die Produktion verwenden möchten, sollten Sie unbedingt die folgenden bewährten Methoden anwenden:

  • Amazon S3 S3-Zugriffsprotokollierung aktivieren

  • Aktivieren Sie VPCFlow Logs

• Richten Sie die Überwachung und Warnung für die Lambda-Funktionen ein. Weitere Informationen finden Sie unter Überwachung und Problembehandlung von Lambda-Funktionen. Bewährte Methoden finden Sie unter Bewährte Methoden für die Arbeit mit AWS Lambda-Funktionen.

Epen

Richten Sie AWS Anmeldeinformationen auf Ihrer lokalen Workstation ein

Aufgabe	Beschreibung	Erforderliche Fähigkeiten
Exportieren Sie Variablen für das Konto und die Region.	Führen Sie die folgenden Befehle aus, um mithilfe AWS CDK von Umgebungsvariablen AWS Anmeldeinformationen für bereitzustellen. export CDK_DEFAULT_ACCOUNT=<12-digit AWS account number> export CDK_DEFAULT_REGION=<Region>	AWS DevOps, DevOps Ingenieur
Richten Sie das AWS CLI benannte Profil ein.	Folgen Sie den Anweisungen unter Konfiguration und Einstellungen der Anmeldeinformationsdatei, um das AWS CLI benannte Profil für das Konto einzurichten.	AWS DevOps, DevOps Ingenieur

So richten Sie Ihre Umgebung ein

Aufgabe	Beschreibung	Erforderliche Fähigkeiten
Klonen Sie das Repo auf Ihre lokale Workstation.	Um das Repository zu klonen, führen Sie den folgenden Befehl in Ihrem Terminal aus. git clone https://github.com/awslabs/genai-bedrock-agent-chatbot.git	DevOps Ingenieur, AWS DevOps
Richten Sie die virtuelle Python-Umgebung ein.	Führen Sie die folgenden Befehle aus, um die virtuelle Python-Umgebung einzurichten. cd genai-bedrock-agent-chatbot python3 -m venv .venv source .venv/bin/activate Führen Sie den folgenden Befehl aus, um die erforderlichen Abhängigkeiten einzurichten. pip3 install -r requirements.txt	DevOps Ingenieur, AWS DevOps
Richten Sie die AWS CDK Umgebung ein.	Führen Sie den Befehl aus, um den Code in eine AWS CloudFormation Vorlage zu konvertierencdk synth.	AWS DevOps, DevOps Ingenieur

Konfiguration und Bereitstellung der Anwendung

Aufgabe	Beschreibung	Erforderliche Fähigkeiten
Stellen Sie Ressourcen im Konto bereit.	Gehen Sie wie folgt vor AWSCDK, um Ressourcen im AWS Konto mithilfe von bereitzustellen: Geben Sie im Stammverzeichnis des geklonten Repositorys in der cdk.json Datei Eingaben für die Protokollierungsparameter ein. Beispielwerte sindINFO, DEBUGWARN, undERROR. Diese Werte definieren Nachrichten auf Protokollebene für die Lambda-Funktionen und die Streamlit-Anwendung. Die cdk.json Datei im Stammverzeichnis des geklonten Repositorys enthält den AWS CloudFormation Stack-Namen, der für die Bereitstellung verwendet wird. Der Standard-Stack-Name istchatbot-stack. Der Standardname des Amazon Bedrock-Agenten istChatbotBedrockAgent, und der Standard-Alias für Amazon Bedrock-Agenten ist. Chatbot_Agent Führen Sie den Befehl aus, um Ressourcen bereitzustellen. cdk deploy Der cdk deploy Befehl verwendet Layer-3-Konstrukte, um mehrere Lambda-Funktionen zum Kopieren von Dokumenten und CSV Datensatzdateien in S3-Buckets zu erstellen. Außerdem werden der Amazon Bedrock-Agent, die Wissensdatenbanken und die Action group Lambda-Funktion für den Amazon Bedrock-Agenten bereitgestellt. Melden Sie sich bei der AWS Management Console an und öffnen Sie dann die Konsole unter. CloudFormation https://console.aws.amazon.com/cloudformation/ Vergewissern Sie sich, dass der Stack erfolgreich bereitgestellt wurde. Anweisungen finden Sie unter Überprüfen Ihres Stacks auf der AWS CloudFormation Konsole. Nach erfolgreicher Bereitstellung können Sie auf die Chat-basierte Assistentenanwendung zugreifen, indem Sie die auf der Registerkarte Ausgaben in der CloudFormation Konsole URL bereitgestellte Option verwenden.	DevOps Ingenieur, AWS DevOps

Bereinigen Sie alle AWS Ressourcen in der Lösung

Aufgabe	Beschreibung	Erforderliche Fähigkeiten
Entfernen Sie die AWS Ressourcen.	Nachdem Sie die Lösung getestet haben, führen Sie den Befehl aus, um die Ressourcen zu bereinigencdk destroy.	AWS DevOps, DevOps Ingenieur

Zugehörige Ressourcen

AWSDokumentation

• Ressourcen von Amazon Bedrock:

  • Modellzugriff

  • Inferenzparameter für Fundamentmodelle

  • Agenten für Amazon Bedrock

  • Wissensdatenbanken für Amazon Bedrock

• Lambda-Funktionen mit Python erstellen

• AWSCDKRessourcen:

  • Fangen Sie an mit dem AWS CDK

  • Behebung häufig auftretender AWS CDK Probleme

  • Arbeiten mit dem AWS CDK in Python

• Generativer KI-Anwendungsgenerator aktiviert AWS

Andere AWS Ressourcen

• Vector Engine für Amazon OpenSearch Serverless

Sonstige Ressourcen

• LlamaIndex Dokumentation

• Optimierte Dokumentation

Zusätzliche Informationen

Passen Sie den Chat-basierten Assistenten mit Ihren eigenen Daten an

Folgen Sie diesen strukturierten Richtlinien, um Ihre benutzerdefinierten Daten für die Bereitstellung der Lösung zu integrieren. Diese Schritte sollen einen nahtlosen und effizienten Integrationsprozess gewährleisten, sodass Sie die Lösung effektiv mit Ihren maßgeschneiderten Daten implementieren können.

Für die Datenintegration in der Wissensdatenbank

Datenaufbereitung

1. Suchen Sie das assets/knowledgebase_data_source/ Verzeichnis.

2. Platzieren Sie Ihren Datensatz in diesem Ordner.

Anpassungen der Konfiguration

1. Öffnen Sie die cdk.json Datei.

2. Navigieren Sie zu dem context/configure/paths/knowledgebase_file_name Feld und aktualisieren Sie es dann entsprechend.

3. Navigieren Sie zu dem bedrock_instructions/knowledgebase_instruction Feld, und aktualisieren Sie es dann, damit es die Nuancen und den Kontext Ihres neuen Datensatzes genau wiedergibt.

Für die Integration von Strukturdaten

Organisation der Daten

1. Erstellen Sie innerhalb des assets/data_query_data_source/ Verzeichnisses ein Unterverzeichnis, z. B. tabular_data

2. Platzieren Sie Ihren strukturierten Datensatz (akzeptable Formate umfassenCSV, JSONORC, und Parquet) in diesen neu erstellten Unterordner.

3. Wenn Sie eine Verbindung zu einer vorhandenen Datenbank herstellen, aktualisieren Sie die Funktion create_sql_engine() unter So stellen Sie eine Verbindung code/lambda/action-lambda/build_query_engine.py zu Ihrer Datenbank her.

Konfiguration und Code-Updates

1. Aktualisieren Sie das context/configure/paths/athena_table_data_prefix Feld in der cdk.json Datei so, dass es dem neuen Datenpfad entspricht.

2. Überarbeiten Sie, code/lambda/action-lambda/dynamic_examples.csv indem Sie neue text-to-SQL Beispiele einbeziehen, die Ihrem Datensatz entsprechen.

3. Überarbeiten Siecode/lambda/action-lambda/prompt_templates.py, um die Attribute Ihres strukturierten Datensatzes widerzuspiegeln.

4. Aktualisieren Sie das context/configure/bedrock_instructions/action_group_description Feld in der cdk.json Datei, um den Zweck und die Funktionalität der Action group Lambda-Funktion zu erläutern.

5. Erläutern Sie in der assets/agent_api_schema/artifacts_schema.json Datei die neuen Funktionen Ihrer Action group Lambda-Funktion.

Allgemeines Update

Geben Sie in der cdk.json Datei im context/configure/bedrock_instructions/agent_instruction Abschnitt eine umfassende Beschreibung der beabsichtigten Funktionalität und des Entwurfszwecks des Amazon Bedrock-Agenten unter Berücksichtigung der neu integrierten Daten.