Batch-APIs für die Textanalyse

Verwenden Sie Amazon Comprehend Medical, um medizinischen Text zu analysieren, der in einem Amazon S3 S3-Bucket gespeichert ist. Analysieren Sie bis zu 10 GB an Dokumenten in einem Stapel. Sie verwenden die Konsole, um Batch-Analyseaufträge zu erstellen und zu verwalten, oder verwenden Batch-APIs, um medizinische Entitäten zu erkennen, einschließlich geschützter Gesundheitsinformationen (PHI). Die APIs starten, stoppen, listen und beschreiben laufende Batch-Analyseaufträge.

Preisinformationen für Chargenanalysen und andere Operationen von Amazon Comprehend Medical finden Sie hier.

Wichtiger Hinweis

Die Chargenanalyse von Amazon Comprehend Medical ist kein Ersatz für professionelle medizinische Beratung, Diagnose oder Behandlung. Identifizieren Sie den richtigen Konfidenzschwellenwert für Ihren Anwendungsfall, und verwenden Sie hohe Konfidenzschwellenwerte in Situationen, die eine hohe Genauigkeit erfordern. Für bestimmte Anwendungsfälle sollten die Ergebnisse von entsprechend geschulten menschlichen Gutachtern kontrolliert und überprüft werden. Alle Funktionen von Amazon Comprehend Medical sollten nur in Patientenversorgungsszenarien verwendet werden, nachdem sie von geschultem medizinischem Fachpersonal auf Richtigkeit und fundiertes medizinisches Urteilsvermögen überprüft wurden.

Durchführung einer Batch-Analyse mithilfe der APIs

Sie können einen Batch-Analyseauftrag entweder mit der Amazon Comprehend Medical-Konsole oder den Amazon Comprehend Medical Batch-APIs ausführen.

Voraussetzungen

Wenn Sie die Amazon Comprehend Medical API verwenden, erstellen Sie eine AWS Identity Access and Management (IAM) -Richtlinie und fügen Sie sie einer IAM-Rolle hinzu. Weitere Informationen zu IAM-Rollen und Vertrauensrichtlinien finden Sie unter IAM-Richtlinien und -Berechtigungen.

1. Laden Sie Ihre Daten in einen S3-Bucket hoch.

2. Um einen neuen Analysejob zu starten, verwenden Sie entweder die StartEntitiesDetection V2Job-Operation oder die DetectionJob StartPhi-Operation. Wenn Sie den Job starten, teilen Sie Amazon Comprehend Medical den Namen des S3-Eingabe-Buckets mit, der die Eingabedateien enthält, und bestimmen Sie den Ausgabe-S3-Bucket, der die Dateien nach der Batch-Analyse schreibt.

3. Überwachen Sie den Fortschritt des Jobs mithilfe der Konsole oder der DescribeEntitiesDetection V2Job-Operation oder der DescribePhi-Operation. DetectionJob Darüber hinaus können Sie mit ListEntitiesDetection V2Jobs und ListPhi den Status aller DetectionJobs Batch-Analyse-Jobs, die eine Ontologie verknüpfen, einsehen.

4. Wenn Sie einen laufenden Job beenden müssen, verwenden Sie StopEntitiesDetection V2Job oder StopPhi, um die Analyse zu beenden. DetectionJob

5. Die Ergebnisse Ihres Analysejobs finden Sie im S3-Ausgabe-Bucket, den Sie beim Start des Jobs konfiguriert haben.

Durchführen einer Batch-Analyse mithilfe der Konsole

1. Laden Sie Ihre Daten in einen S3-Bucket hoch.

2. Um einen neuen Analysejob zu starten, wählen Sie die Art der Analyse aus, die Sie durchführen möchten. Geben Sie dann den Namen des S3-Buckets an, der die Eingabedateien enthält, und den Namen des S3-Buckets, an den Sie die Ausgabedateien senden möchten.

3. Überwachen Sie den Status Ihres Jobs, solange er noch läuft. Von der Konsole aus können Sie alle Batch-Analysevorgänge und ihren Status einsehen, einschließlich wann die Analyse gestartet und beendet wurde.

4. Die Ergebnisse Ihres Analysejobs finden Sie im S3-Ausgabe-Bucket, den Sie beim Start des Jobs konfiguriert haben.

IAM-Richtlinien für Batch-Operationen

Die IAM-Rolle, die die Batch-APIs von Amazon Comprehend Medical aufruft, muss über eine Richtlinie verfügen, die Zugriff auf die S3-Buckets gewährt, die die Eingabe- und Ausgabedateien enthalten. Außerdem muss ihm eine Vertrauensbeziehung zugewiesen werden, die es dem Amazon Comprehend Medical Medical-Service ermöglicht, die Rolle zu übernehmen. Weitere Informationen zu IAM-Rollen und Vertrauensrichtlinien finden Sie unter IAM-Rollen.

Für die Rolle muss die folgende Richtlinie gelten.

{
    "Version": "2012-10-17",
    "Statement": [
        {
            "Action": [
                "s3:GetObject"
            ],
            "Resource": [
                "arn:aws:s3:::input-bucket/*"
            ],
            "Effect": "Allow"
        },
        {
            "Action": [
                "s3:ListBucket"
            ],
            "Resource": [
                "arn:aws:s3:::input-bucket",
                "arn:aws:s3:::output-bucket",
            ],
            "Effect": "Allow"
        },
        {
            "Action": [
                "s3:PutObject"
            ],
            "Resource": [
                " arn:aws:s3:::output-bucket/*"
            ],
            "Effect": "Allow"
        }
    ]
}

Die Rolle muss die folgende Vertrauensbeziehung haben. Es wird empfohlen, die Tasten aws:SourceAccount und aws:SourceArn Condition zu verwenden, um das Sicherheitsproblem Confused Deputy zu vermeiden. Weitere Informationen zum Problem mit dem verwirrten Stellvertreter und darüber, wie Sie Ihr AWS Konto schützen können, finden Sie in der IAM-Dokumentation unter Das Problem mit dem verwirrten Stellvertreter.

{
   "Version":"2012-10-17",
   "Statement":[
      {
         "Effect":"Allow",
         "Principal":{
            "Service":[
               "comprehendmedical.amazonaws.com"
            ]
         },
         "Action":"sts:AssumeRole",
         "Condition": {
            "StringEquals": {
               "aws:SourceAccount": "account_id"
            },
            "ArnLike": {
               "aws:SourceArn": "arn:aws:comprehendmedical:region:account_id:*"
            }
         }
      }
   ]
}

Ausgabedateien für die Batch-Analyse

Amazon Comprehend Medical erstellt eine Ausgabedatei für jede Eingabedatei im Stapel. Die Datei hat die Erweiterung. .out Amazon Comprehend Medical erstellt zunächst ein Verzeichnis im S3-Ausgabe-Bucket mit dem Namen AwsAccountIdJobType- - JobIdund schreibt dann alle Ausgabedateien für den Batch in dieses Verzeichnis. Amazon Comprehend Medical erstellt dieses neue Verzeichnis, sodass die Ausgabe eines Jobs nicht die Ausgabe eines anderen überschreibt.

Die Ausgabe einer Batch-Operation erzeugt dieselbe Ausgabe wie eine synchrone Operation. Beispiele für die von Amazon Comprehend Medical generierte Ausgabe finden Sie unter. Entitäten erkennen (Version 2)

Jeder Batch-Vorgang erzeugt drei Manifestdateien, die Informationen über den Job enthalten.

• Manifest— Fasst den Job zusammen. Stellt Informationen über die für den Job verwendeten Parameter, die Gesamtgröße des Jobs und die Anzahl der verarbeiteten Dateien bereit.

• success— Stellt Informationen zu den Dateien bereit, die erfolgreich verarbeitet wurden. Beinhaltet den Namen der Eingabe- und Ausgabedatei sowie die Größe der Eingabedatei.

• unprocessed— Listet Dateien auf, die der Batch-Job nicht verarbeitet hat, einschließlich Fehlercodes und Fehlermeldungen pro Datei.

Amazon Comprehend Medical schreibt die Dateien in das Ausgabeverzeichnis, das Sie für den Batch-Job angegeben haben. Die Übersichtsmanifestdatei wird zusammen mit einem Ordner mit dem Titel in den Ausgabeordner geschrieben. Manifest_AccountId-Operation-JobId Innerhalb des Manifestordners befindet sich ein success Ordner, der das Erfolgsmanifest enthält. Ebenfalls enthalten ist ein failed Ordner, der das unverarbeitete Dateimanifest enthält. Die folgenden Abschnitte zeigen die Struktur der Manifestdateien.

Batch-Manifestdatei

Im Folgenden ist die JSON-Struktur der Batch-Manifestdatei dargestellt.

{"Summary" : 
    {"Status" : "COMPLETED | FAILED | PARTIAL_SUCCESS | STOPPED", 
    "JobType" : "EntitiesDetection | PHIDetection", 
    "InputDataConfiguration" : {
        "Bucket" : "input bucket", 
        "Path" : "path to files/account ID-job type-job ID" 
    }, "OutputDataConfiguration" : {
        "Bucket" : "output bucket", 
        "Path" : "path to files" 
    }, 
    "InputFileCount" : number of files in input bucket, 
    "TotalMeteredCharacters" : total characters processed from all files, 
    "UnprocessedFilesCount" : number of files not processed, 
    "SuccessFilesCount" : total number of files processed, 
    "TotalDurationSeconds" : time required for processing, 
    "SuccessfulFilesListLocation" : "path to file", 
    "UnprocessedFilesListLocation" : "path to file",
    "FailedJobErrorMessage": "error message or if not applicable,
              The status of the job is completed"
    } 
}

Manifest-Datei für den Erfolg

Im Folgenden finden Sie die JSON-Struktur der Datei, die Informationen über erfolgreich verarbeitete Dateien enthält.

{
        "Files": [{
               "Input": "input path/input file name",
               "Output": "output path/output file name",
               "InputSize": size in bytes of input file
        }, {
               "Input": "input path/input file name",
               "Output": "output path/output file name",
               "InputSize": size in bytes of input file
        }]
}

Unverarbeitete Manifestdatei

Im Folgenden finden Sie die JSON-Struktur der Manifestdatei, die Informationen über unverarbeitete Dateien enthält.

{
  "Files" : [ {
      "Input": "file_name_that_failed",
      "ErrorCode": "error code for exception",
      "ErrorMessage": "explanation of the error code and suggestions"
  }, 
  { ...}
  ]
}