Integrieren von Amazon- SageMaker Modellen mit Amazon QuickSight

Anmerkung

Sie benötigen keine technische Erfahrung im Bereich Machine Learning (ML), um Analysen und Dashboards zu erstellen, die die ML-gestützten Funktionen in Amazon verwenden QuickSight.

Sie können Ihre Daten der Amazon QuickSight Enterprise Edition mit Amazon SageMaker Machine Learning-Modellen erweitern. Sie können Inferenzen für in gespeicherte Daten ausführen, die aus jeder von Amazon unterstützten Datenquelle SPICE importiert wurden QuickSight. Eine vollständige Liste der unterstützten Datenquellen finden Sie unter Unterstützte Datenquellen.

Die Verwendung von Amazon QuickSight mit SageMaker Modellen kann die Zeit sparen, die Sie andernfalls mit der Verwaltung der Datenverschiebung und dem Schreiben von Code verbringen könnten. Die Ergebnisse sind sowohl für die Bewertung des Modells als auch - wenn Sie mit den Ergebnissen zufrieden sind - für die Weitergabe an Entscheidungsträger nützlich. Sie können sofort beginnen, nachdem das Modell erstellt wurde. Dies bringt die vorgefertigten Modelle Ihrer Daten-Wissenschaftler hervor und Sie können diese Wissenschaft auf Ihre Datasets anwenden. Anschließend können Sie diese Erkenntnisse in Ihren prädiktiven Dashboards freigeben. Mit dem Amazon QuickSight-Serverless-Ansatz lässt sich der Prozess nahtlos skalieren, sodass Sie sich keine Gedanken über Inferenz- oder Abfragekapazität machen müssen.

Amazon QuickSight unterstützt SageMaker Modelle, die Regressions- und Klassifizierungsalgorithmen verwenden. Sie können dieses Feature anwenden, um Vorhersagen für beinahe jeden geschäftlichen Anwendungsfall zu erhalten. Einige Beispiele umfassen die Vorhersage der Wahrscheinlichkeit von Kundenabwanderungen oder Mitarbeiterfluktuationen, die Bewertung von Vertriebs-Leads und die Bewertung von Kreditrisiken. Um Amazon QuickSight zur Bereitstellung von Vorhersagen zu verwenden, müssen die SageMaker Modelldaten sowohl für die Eingabe als auch für die Ausgabe im tabellarischen Format vorliegen. In Anwendungsfällen mit mehreren Klassen oder Bezeichnungen darf jede Ausgabespalte nur einen einzigen Wert enthalten. Amazon unterstützt QuickSight nicht mehrere Werte innerhalb einer einzelnen Spalte.

Themen

• Funktionsweise der - SageMaker Integration
• Anfallende Kosten (keine zusätzlichen Kosten bei Integration selbst)
• Richtlinien für die Verwendung
• Definieren der Schemadatei
• Hinzufügen eines SageMaker Modells zu Ihrem QuickSight Datensatz
• Erstellen von Vorhersagemodellen mit SageMaker Canvas

Funktionsweise der - SageMaker Integration

Im Allgemeinen funktioniert der Prozess folgendermaßen:

1. Ein Amazon- QuickSight Administrator fügt Berechtigungen für Amazon für QuickSight den Zugriff auf hinzu SageMaker. Öffnen Sie dazu die Einstellungen für Sicherheit und Berechtigungen auf der Seite Verwalten QuickSight. Gehen Sie zu QuickSight Zugriff auf -AWSServices und fügen Sie hinzu SageMaker.

   Wenn Sie diese Berechtigungen hinzufügen, QuickSight wird Amazon zu einer AWS Identity and Access Management (IAM)-Rolle hinzugefügt, die Zugriff auf das Auflisten aller SageMaker Modelle in Ihrem AWS Konto bietet. Sie bietet auch Berechtigungen zum Ausführen von SageMaker Aufträgen, deren Namen das Präfix habenquicksight-auto-generated-.

2. Wir empfehlen Ihnen, eine Verbindung zu einem SageMaker Modell herzustellen, das über eine Inferenz-Pipeline verfügt, da diese automatisch eine Datenvorverarbeitung durchführt. Weitere Informationen finden Sie unter Bereitstellen einer Inferenz-Pipeline im SageMaker -Entwicklerhandbuch.

3. Nachdem Sie die Daten und das vorgeschulte Modell, das Sie gemeinsam verwenden möchten, identifiziert haben, erstellt der Besitzer des Modells eine Schemadatei und stellt diese bereit. Diese JSON-Datei ist ein Vertrag mit SageMaker. Sie stellt Metadaten zu den Feldern, Datentypen, Spaltenreihenfolge, Ausgabe und Einstellungen bereit, die das Modell erwartet. Die optionale Einstellungskomponente stellt die Instance-Größe und -Anzahl der für den Auftrag zu verwendenden Datenverarbeitungs-Instances bereit.

   Wenn Sie der Daten-Wissenschaftler sind, der das Modell entwickelt hat, erstellen Sie diese Schemadatei in dem nachfolgend dokumentierten Format. Wenn Sie ein Nutzer des Modells sind, rufen Sie die Schemadatei vom Besitzer des Modells ab.

4. In Amazon erstellen QuickSightSie zunächst einen neuen Datensatz mit den Daten, für die Sie Vorhersagen treffen möchten. Wenn Sie eine Datei hochladen, können Sie das SageMaker-Modell im Fenster mit den Upload-Einstellungen hinzufügen. Andernfalls fügen Sie das Modell auf der Seite der Datenvorbereitung hinzu.

   Bevor Sie fortfahren, überprüfen Sie die Zuweisungen zwischen dem Dataset und dem Modell.

5. Nachdem die Daten in den Datensatz importiert wurden, enthalten die Ausgabefelder die von zurückgegebenen Daten SageMaker. Diese Felder können genauso wie andere Felder im Rahmen der unter Richtlinien für die Verwendung beschriebenen Richtlinien verwendet werden.

   Wenn Sie die SageMaker Integration ausführen, QuickSight übergibt Amazon eine Anforderung an , SageMaker um Batch-Transformationsaufträge mit Inferenz-Pipelines auszuführen. Amazon QuickSight startet die Bereitstellung und Bereitstellung der Instances, die in Ihrem AWS Konto benötigt werden. Wenn die Verarbeitung abgeschlossen ist, werden diese Instances heruntergefahren und beendet. Die Rechenkapazität verursacht nur bei der Verarbeitung von Modellen Kosten.

   Damit Sie sie leichter identifizieren können, QuickSight benennt Amazon alle seine SageMaker Aufträge mit dem Präfix quicksight-auto-generated-.

6. Die Ausgabe der Inferenz wird in SPICE gespeichert und an das Dataset angehängt. Sobald die Inferenz abgeschlossen ist, können Sie das Dataset verwenden, um Visualisierungen und Dashboards mithilfe der Vorhersagedaten zu erstellen.

7. Die Datenaktualisierung wird jedes Mal, wenn Sie das Dataset speichern, gestartet. Sie können den Datenaktualisierungsprozess manuell starten, indem Sie das SPICE-Dataset aktualisieren, oder Sie können planen, dass es in einem regelmäßigen Intervall ausgeführt wird. Während jeder Datenaktualisierung ruft das System automatisch die SageMaker Batch-Transformation auf, um die Ausgabefelder mit neuen Daten zu aktualisieren.

   Sie können die Amazon QuickSight SPICE-Erfassungs-API-Operationen verwenden, um den Datenaktualisierungsprozess zu steuern. Weitere Informationen zur Verwendung dieser API-Operationen finden Sie in der Amazon QuickSight -API-Referenz .

Anfallende Kosten (keine zusätzlichen Kosten bei Integration selbst)

Für die Nutzung dieses Feature fällt an sich keine zusätzliche Gebühr an. Ihre Kosten beinhalten Folgendes:

• Die Kosten für die Modellbereitstellung über SageMaker, die nur anfallen, wenn das Modell ausgeführt wird. Durch das Speichern eines Datensatzes - nachdem er entweder erstellt oder bearbeitet wurde - oder dessen Daten aktualisiert wurden, wird der Datenaufnahmeprozess gestartet. Dieser Prozess umfasst den Aufruf von SageMaker , wenn der Datensatz abgeleitete Felder enthält. Die Kosten fallen in demselben AWS Konto an, in dem sich Ihr QuickSight Abonnement befindet.

• Ihre QuickSight Abonnementkosten lauten wie folgt:

  • Die Kosten für das Speichern Ihrer Daten in der In-Memory-Berechnungs-Engine in QuickSight (SPICE). Wenn Sie neue Daten zu SPICE hinzufügen, müssen Sie möglicherweise ausreichend SPICE-Kapazität erwerben, um sie aufzunehmen.

  • QuickSight -Abonnements für die Autoren oder Administratoren, die die Datensätze erstellen.

  • P-ay-per-session Gebühren für Viewer (Leser) für den Zugriff auf interaktive Dashboards.

Richtlinien für die Verwendung

In Amazon gelten QuickSightdie folgenden Nutzungsrichtlinien für dieses Feature der Enterprise Edition:

• Die Verarbeitung des Modells erfolgt in SPICE. Daher kann es nur für Datasets gelten, die in SPICE gespeichert sind. Der Prozess unterstützt derzeit bis zu 500 Millionen Zeilen pro Dataset.

• Nur QuickSight Administratoren oder Autoren können Datensätze mit ML-Modellen erweitern. Leser können die Ergebnisse nur anzeigen, wenn sie Teil eines Dashboards sind.

• Jedes Dataset kann mit nur einem einzigen ML-Modell arbeiten.

• Ausgabefelder können nicht zum Berechnen neuer Felder verwendet werden.

• Datasets können nicht nach Feldern gefiltert werden, die in das Modell integriert sind. Mit anderen Worten: Wenn das Dataset-Feld derzeit dem ML-Modell zugeordnet ist, können Sie nicht nach diesem Feld filtern.

In gelten SageMakerdie folgenden Nutzungsrichtlinien für ein vortrainiertes Modell, das Sie mit Amazon verwenden QuickSight:

• Wenn Sie das Modell erstellen, ordnen Sie es dem Amazon-Ressourcennamen (ARN) für die entsprechende IAM-Rolle zu. Die IAM-Rolle für das SageMaker Modell muss Zugriff auf den Amazon S3-Bucket haben, den Amazon QuickSight verwendet.

• Stellen Sie sicher, dass Ihr Modell CSV-Dateien sowohl für die Eingabe als auch für die Ausgabe unterstützt. Stellen Sie sicher, dass die Daten in einer Tabelle vorliegen.

• Stellen Sie eine Schemadatei bereit, die Metadaten zum Modell enthält, einschließlich der Liste der Eingabe- und Ausgabefelder. Derzeit müssen Sie diese Schemadatei manuell erstellen.

• Berücksichtigen Sie die Zeit, die zum Abschließen der Inferenz benötigt wird. Diese hängt von einer Reihe von Faktoren ab. Dazu gehören die Komplexität des Modells, die Datenmenge und die definierte Rechenkapazität. Das Abschließen der Inferenz kann einige Minuten bis mehrere Stunden dauern. Amazon QuickSight begrenzt alle Datenerfassungs- und Inferenzaufträge auf maximal 10 Stunden. Um die Zeit zu verkürzen, die zum Ausführen einer Inferenz erforderlich ist, sollten Sie erwägen, die Instance-Größe oder die Anzahl der Instances zu erhöhen.

• Derzeit können Sie nur Batch-Transformationen für die Integration mit verwenden SageMaker, keine Echtzeitdaten. Sie können keinen SageMaker Endpunkt verwenden.

Definieren der Schemadatei

Bevor Sie ein - SageMaker Modell mit Amazon- QuickSight Daten verwenden, erstellen Sie die JSON-Schemadatei, die die Metadaten enthält, die Amazon für die Verarbeitung des Modells QuickSight benötigt. Der Amazon- QuickSight Autor oder Administrator lädt die Schemadatei hoch, wenn er den Datensatz konfiguriert.

Die Schemafelder sind wie folgt definiert. Alle Felder sind erforderlich, sofern nicht in der folgenden Beschreibung angegeben. Bei Attributen wird zwischen Groß- und Kleinschreibung unterschieden.

inputContentType

Der Inhaltstyp, den dieses SageMaker Modell für die Eingabedaten erwartet. Der einzige unterstützte Wert hierfür ist "text/csv". QuickSight enthält keinen der Headernamen, die Sie der Eingabedatei hinzufügen.

outputContentType

Der Inhaltstyp der Ausgabe, die von dem SageMaker Modell erstellt wird, das Sie verwenden möchten. Der einzige unterstützte Wert hierfür ist "text/csv".

input

Eine Liste der Funktionen, die das Modell in den Eingabedaten erwartet. QuickSight erzeugt die Eingabedaten in genau derselben Reihenfolge. Diese Liste enthält die folgenden Attribute:

• name – Der Name der Spalte. Wenn möglich, machen Sie dies mit dem Namen der entsprechenden Spalte im QuickSight Datensatz identisch. Dieses Attribut ist auf 100 Zeichen begrenzt.

• type – Der Datentyp dieser Spalte. Dieses Attribut akzeptiert die Werte "INTEGER", "STRING" und "DECIMAL".

• type – (Optional) Die NULL-Zulässigkeit des Feldes. Der Standardwert ist true. Wenn Sie nullable auf festlegenfalse, QuickSight löscht Zeilen, die diesen Wert nicht enthalten, bevor aufgerufen wird SageMaker. Dadurch wird vermieden, dass bei fehlenden erforderlichen Daten SageMaker fehlschlägt.

output

Eine Liste von Ausgabespalten, die das SageMaker Modell erstellt. QuickSight erwartet diese Felder in genau derselben Reihenfolge. Diese Liste enthält die folgenden Attribute:

• name – Dieser Name wird der Standardname für die entsprechende neue Spalte, die in erstellt wird QuickSight. Sie können den hier in angegebenen Namen überschreiben QuickSight. Dieses Attribut ist auf 100 Zeichen begrenzt.

• type – Der Datentyp dieser Spalte. Dieses Attribut akzeptiert die Werte "INTEGER", "STRING" und "DECIMAL".

instanceTypes

Eine Liste der ML-Instance-Typen, die zur Ausführung des Transformationsauftrags bereitstellen SageMaker kann. Die Liste wird dem QuickSight Benutzer zur Auswahl zur Verfügung gestellt. Diese Liste ist auf die von unterstützten Typen beschränkt SageMaker. Weitere Informationen zu unterstützten Typen finden Sie unter TransformResources im -SageMakerEntwicklerhandbuch.

defaultInstanceType

(Optional) Der Instance-Typ, der als Standardoption im SageMaker Assistenten in angezeigt wird QuickSight. Fügen Sie diesen Instance-Typ in instanceTypes ein.

instanceCount

(Optional) Die Instance-Anzahl definiert, wie viele der ausgewählten Instances für bereitgestellt SageMaker werden sollen, um den Transformationsauftrag auszuführen. Der Wert muss eine positive Ganzzahl sein.

description

Dieses Feld bietet der Person, die Eigentümer des SageMaker Modells ist, die Möglichkeit, mit der Person zu kommunizieren, die dieses Modell in verwendet QuickSight. Verwenden Sie dieses Feld, um Hinweise zur erfolgreichen Verwendung dieses Modells bereitzustellen. Dieses Feld kann z. B. Informationen zur Auswahl eines effektiven Instance-Typs enthalten, der aus der Liste in instanceTypes auszuwählen ist, basierend auf der Größe des Datasets. Dieses Feld ist auf 1.000 Zeichen beschränkt.

Version

Die Version des Schemas, zum Beispiel "1.0".

Das folgende Beispiel zeigt die JSON-Struktur in der Schemadatei.

{
        "inputContentType": "CSV",
        "outputContentType": "CSV",
        "input": [
            {
                "name": "buying",
                "type": "STRING"
            },
            {
                "name": "maint",
                "type": "STRING"
            },
            {
                "name": "doors",
                "type": "INTEGER"
            },
            {
                "name": "persons",
                "type": "INTEGER"
            },
            {
                "name": "lug_boot",
                "type": "STRING"
            },
            {
                "name": "safety",
                "type": "STRING"
            }
        ],
        "output": [
            {
                "name": "Acceptability",
                "type": "STRING"
            }
        ],
        "description": "Use ml.m4.xlarge instance for small datasets, and ml.m4.4xlarge for datasets over 10 GB",
        "version": "1.0",
        "instanceCount": 1,
        "instanceTypes": [
            "ml.m4.xlarge",
            "ml.m4.4xlarge"
        ],
        "defaultInstanceType": "ml.m4.xlarge"
    }

Die Struktur der Schemadatei hängt mit der Art des Modells zusammen, das in Beispielen von verwendet wird SageMaker.

Hinzufügen eines SageMaker Modells zu Ihrem QuickSight Datensatz

Mit dem folgenden Verfahren können Sie Ihrem Datensatz ein vortrainiertes SageMaker Modell hinzufügen, sodass Sie prädiktive Daten in Analysen und Dashboards verwenden können.

Bevor Sie beginnen, sollten Sie Folgendes verfügbar haben:

• Die Daten, die Sie zum Erstellen des Datasets verwenden möchten

• Der Name des SageMaker Modells, das Sie verwenden möchten, um den Datensatz zu erweitern.

• Das Schema des Modells. Dieses Schema umfasst Feldnamenzuweisungen und Datentypen. Es ist hilfreich, wenn es auch empfohlene Einstellungen für den Instance-Typ und die Anzahl der zu verwendenden Instances enthält.

So erweitern Sie Ihren Amazon- QuickSight Datensatz um SageMaker

1. Erstellen Sie auf der Startseite ein neues Dataset, indem Sie Datasets (Datensatz) und dann New data set (Neues Dataset) auswählen.

   Sie können auch ein vorhandenes Dataset bearbeiten.

2. Wählen Sie auf dem Bildschirm zur Datenvorbereitung die Option Vergrößern mit SageMaker aus.

3. Wählen Sie unter Select your model (Modell auswählen) die folgenden Einstellungen aus:

   • Model l– Wählen Sie das SageMaker Modell aus, das zum Ableiten von Feldern verwendet werden soll.

   • Name – Geben Sie einen aussagekräftigen Namen für das Modell an.

   • Schema – Laden Sie die für das Modell bereitgestellte JSON-Schemadatei hoch.

   • Erweiterte Einstellungen – QuickSight empfiehlt die ausgewählten Standardwerte basierend auf Ihrem Datensatz. Sie können bestimmte Laufzeiteinstellungen verwenden, um die Geschwindigkeit und die Kosten Ihres Auftrags auszugleichen. Geben Sie dazu die SageMaker ML-Instance-Typen für den Instance-Typ und die Anzahl der Instances für Count ein.

   Wählen Sie Next (Weiter), um fortzufahren.

4. Überprüfen Sie für Eingaben überprüfen die Felder, die Ihrem Datensatz zugeordnet sind. QuickSight versucht, die Felder in Ihrem Schema automatisch den Feldern in Ihrem Datensatz zuzuordnen. Sie können hier Änderungen vornehmen, wenn die Zuweisung angepasst werden muss.

   Wählen Sie Next (Weiter), um fortzufahren.

5. Prüfen Sie unter Review outputs (Ausgaben überprüfen) die Felder, die Ihrem Dataset hinzugefügt werden.

   Wählen Sie Save and prepare data (Speichern und Daten vorbereiten) aus, um Ihre Auswahl zu bestätigen.

6. Um die Daten zu aktualisieren, wählen Sie das Dataset aus, um Details anzuzeigen. Wählen Sie dann entweder Refresh Now (Jetzt aktualisieren) aus, um die Daten manuell zu aktualisieren, oder wählen Sie Schedule refresh (Aktualisierung planen) aus, um ein regelmäßiges Aktualisierungsintervall einzurichten. Während jeder Datenaktualisierung führt das System automatisch den SageMaker-Stapeltransformationsauftrag aus, um die Ausgabefelder mit neuen Daten zu aktualisieren.