Integración de SageMaker los modelos de Amazon con Amazon QuickSight

nota

No necesitas experiencia técnica en aprendizaje automático (ML) para crear análisis y cuadros de mando que utilicen las funciones de Amazon basadas en ML. QuickSight

Puede aumentar los datos de la edición Amazon QuickSight Enterprise con los modelos de aprendizaje SageMaker automático de Amazon. Puede realizar inferencias sobre los datos almacenados en SPICE importados desde cualquier fuente de datos compatible con Amazon QuickSight. Para obtener una lista completa de los orígenes de datos compatibles, consulte Orígenes de datos admitidos.

El uso de Amazon QuickSight con SageMaker modelos puede ahorrarle tiempo que, de otro modo, podría dedicar a gestionar el movimiento de datos y a escribir código. Los resultados son útiles tanto para evaluar el modelo cuando está satisfecho con los resultados como para compartirlos con los responsables de la toma de decisiones. Puede comenzar inmediatamente después de que se haya creado el modelo. Al hacerlo, afloran los modelos prediseñados de sus científicos de datos y le permite aplicar la ciencia de datos a sus conjuntos de datos. A continuación, puede compartir estas ideas en sus paneles de predicciones. Con el enfoque QuickSight sin servidor de Amazon, el proceso se escala sin problemas, por lo que no tiene que preocuparse por la capacidad de inferencia o consulta.

Amazon QuickSight admite SageMaker modelos que utilizan algoritmos de regresión y clasificación. Puede aplicar esta característica para obtener predicciones para casi cualquier caso de uso empresarial. Algunos ejemplos incluyen la predicción de la probabilidad de rotación de clientes, el desgaste de los empleados, la puntuación de clientes potenciales y la evaluación de riesgos crediticios. Para usar Amazon QuickSight para proporcionar predicciones, los datos del SageMaker modelo tanto para la entrada como para la salida deben estar en formato tabular. En casos de uso de clasificación multiclase o multietiqueta, cada columna de salida debe contener un solo valor. Amazon QuickSight no admite varios valores en una sola columna.

Temas

• Cómo funciona SageMaker la integración
• Costos generados (sin costos adicionales con la propia integración)
• Directrices de uso
• Definición del archivo de esquema
• Añadir un SageMaker modelo a su QuickSight conjunto de datos
• Cree modelos predictivos con SageMaker Canvas

Cómo funciona SageMaker la integración

En general, el proceso funciona del siguiente modo:

1. Un QuickSight administrador de Amazon añade permisos para QuickSight que Amazon pueda acceder SageMaker. Para ello, abre la configuración de seguridad y permisos desde la QuickSight página de gestión. Ve a QuickSightacceder a los AWS servicios y agrégalos SageMaker.

   Al añadir estos permisos, Amazon QuickSight se añade a un rol AWS Identity and Access Management (IAM) que proporciona acceso a la lista de todos los SageMaker modelos de tu AWS cuenta. También proporciona permisos para ejecutar SageMaker trabajos que tienen nombres con el prefijo. quicksight-auto-generated-

2. Le recomendamos que se conecte a un SageMaker modelo que tenga una canalización de inferencia, ya que realiza automáticamente el preprocesamiento de los datos. Para obtener más información, consulte Implementar una canalización de inferencia en la Guía para desarrolladores de SageMaker .

3. Después de identificar los datos y el modelo entrenado previamente que desea utilizar juntos, el propietario del modelo crea y proporciona un archivo de esquema. Este archivo JSON es un contrato con. SageMaker Proporciona metadatos sobre los campos, los tipos de datos, el orden de las columnas, la salida y la configuración que el modelo espera. El componente de configuración opcional proporciona el tamaño de la instancia y el número de instancias de computación que se van a utilizar para el trabajo.

   Si es el científico de datos que generó el modelo, cree este archivo de esquema mediante el formato que se documenta a continuación. Si es un consumidor del modelo, obtenga el archivo de esquema del propietario del modelo.

4. En Amazon QuickSight, comienza por crear un nuevo conjunto de datos con los datos sobre los que desea realizar predicciones. Si va a cargar un archivo, puede añadir el modelo de SageMaker en la pantalla de configuración de carga. De lo contrario, añada el modelo en la página de preparación de datos.

   Antes de continuar, verifique los mapeos entre el conjunto de datos y el modelo.

5. Una vez importados los datos al conjunto de datos, los campos de salida contienen los datos devueltos SageMaker. Use estos campos del mismo modo que otros campos, según las directrices descritas en Directrices de uso.

   Cuando ejecutas SageMaker la integración, Amazon envía QuickSight una solicitud SageMaker para ejecutar trabajos de transformación por lotes con canalizaciones de inferencia. Amazon QuickSight comienza a aprovisionar y desplegar las instancias necesarias en tu AWS cuenta. Cuando se completa el procesamiento, estas instancias se cierran y finalizan. La capacidad de computación solo genera costos cuando procesa modelos.

   Para que te resulte más fácil identificarlos, Amazon QuickSight nombra todos sus SageMaker trabajos con el prefijoquicksight-auto-generated-.

6. La salida de la inferencia se almacena en SPICE y se añade al conjunto de datos. Tan pronto como se complete la inferencia, podrá utilizar el conjunto de datos para crear visualizaciones y paneles mediante los datos de predicción.

7. La actualización de datos se inicia cada vez que se guarda el conjunto de datos. Puede iniciar el proceso de actualización de datos manualmente actualizando el conjunto de datos de SPICE o puede programarlo para que se ejecute periódicamente. Durante cada actualización de datos, el sistema activa automáticamente la transformación SageMaker por lotes para actualizar los campos de salida con nuevos datos.

   Puedes usar las operaciones de la API QuickSight SPICE de ingesta de Amazon para controlar el proceso de actualización de datos. Para obtener más información sobre el uso de estas operaciones de API, consulta la referencia de QuickSight API de Amazon.

Costos generados (sin costos adicionales con la propia integración)

El uso de esta característica no requiere una tarifa adicional en sí mismo. Sus costos incluyen lo siguiente:

• El costo de la implementación completa del modelo SageMaker, en el que se incurre solo cuando el modelo está en ejecución. Al guardar un conjunto de datos después de crearlo o editarlo o al actualizar sus datos comienza el proceso de ingesta de datos. Este proceso incluye llamar SageMaker si el conjunto de datos tiene campos inferidos. Los costos se incurren en la misma AWS cuenta en la que está tu QuickSight suscripción.

• Los costes QuickSight de su suscripción son los siguientes:

  • El coste de almacenar los datos en el motor de cálculo integrado en memoria es QuickSight (SPICE). Si va a añadir nuevos datos a SPICE, es posible que deba comprar suficiente capacidad de SPICE para almacenarlos.

  • QuickSight suscripciones para los autores o administradores que crean los conjuntos de datos.

  • P ay-per-session cobra a los espectadores (lectores) el acceso a los paneles interactivos.

Directrices de uso

En Amazon QuickSight, se aplican las siguientes pautas de uso a esta función de la edición Enterprise:

• El procesamiento del modelo se produce en SPICE. Por lo tanto, solo puede aplicarse a conjuntos de datos que se almacenan en SPICE. El proceso admite actualmente hasta 500 millones de filas por conjunto de datos.

• Solo QuickSight los administradores o los autores pueden aumentar los conjuntos de datos con modelos de aprendizaje automático. Los lectores solo pueden ver los resultados cuando forman parte de un panel.

• Cada conjunto de datos puede trabajar con un solo modelo de machine learning.

• Los campos de salida no se pueden utilizar para calcular nuevos campos.

• Los conjuntos de datos no se pueden filtrar por campos que estén integrados con el modelo. En otras palabras, si su campo de conjunto de datos está asignado actualmente al modelo de ML, no podrá filtrar por ese campo.

En SageMaker, las siguientes pautas de uso se aplican a un modelo previamente entrenado que utilices con Amazon QuickSight:

• Cuando cree el modelo, asócielo con el nombre de recurso de Amazon (ARN) del rol de IAM apropiado. La función de IAM del SageMaker modelo debe tener acceso al bucket de Amazon S3 que QuickSight utiliza Amazon.

• Asegúrese de que su modelo admite archivos.csv tanto para la entrada como para la salida. Asegúrese de que los datos están en un formato de tabla.

• Proporcione un archivo de esquema que contenga metadatos sobre el modelo, incluida la lista de campos de entrada y salida. Actualmente, debe crear este archivo de esquema manualmente.

• Considere la cantidad de tiempo que lleva completar su inferencia, que depende de una serie de factores. Entre ellos se incluyen la complejidad del modelo, la cantidad de datos y la capacidad de cómputo definida. Completar la inferencia puede tardar de varios minutos a varias horas. Amazon QuickSight limita todos los trabajos de ingesta e inferencia de datos a un máximo de 10 horas. Para reducir el tiempo que se tarda realizar una inferencia, considere la posibilidad de aumentar el tamaño de la instancia o el número de instancias.

• Actualmente, solo puede usar transformaciones por lotes para la integración con datos SageMaker, no en tiempo real. No puede usar un SageMaker punto final.

Definición del archivo de esquema

Antes de usar un SageMaker modelo con QuickSight datos de Amazon, cree el archivo de esquema JSON que contenga los metadatos que Amazon QuickSight necesita para procesar el modelo. El QuickSight autor o administrador de Amazon carga el archivo de esquema al configurar el conjunto de datos.

Los campos de esquema se definen de la siguiente manera. Todos los campos son obligatorios a menos que se especifiquen en la siguiente descripción. Los atributos distinguen entre mayúsculas y minúsculas.

inputContentType

El tipo de contenido que este SageMaker modelo espera para los datos de entrada. El único valor admitido es "text/csv". QuickSight no incluye ninguno de los nombres de encabezado que se agreguen al archivo de entrada.

outputContentType

El tipo de contenido de la salida que produce el SageMaker modelo que desea utilizar. El único valor admitido es "text/csv".

input

Una lista de características que el modelo espera en los datos de entrada. QuickSight produce los datos de entrada exactamente en el mismo orden. Esta lista contiene los atributos siguientes:

• nombre: el nombre de la columna. Si es posible, haga que sea igual al nombre de la columna correspondiente del QuickSight conjunto de datos. Este atributo está limitado a 100 caracteres.

• tipo: el tipo de datos de esta columna. Este atributo acepta los valores "INTEGER", "STRING" y "DECIMAL".

• Anulable: (opcional) la nulabilidad del campo. El valor predeterminado es true. Si lo nullable establecesfalse, QuickSight borra las filas que no contienen este valor antes de realizar la llamada SageMaker. De este modo, se evita que SageMaker se produzca un error si faltan los datos necesarios.

salida

Una lista de las columnas de salida que produce el SageMaker modelo. QuickSightespera que estos campos estén exactamente en el mismo orden. Esta lista contiene los atributos siguientes:

• nombre: este nombre se convierte en el nombre predeterminado de la nueva columna correspondiente que se crea en QuickSight. Puede anular el nombre especificado aquí en QuickSight. Este atributo está limitado a 100 caracteres.

• tipo: el tipo de datos de esta columna. Este atributo acepta los valores "INTEGER", "STRING" y "DECIMAL".

instanceTypes

Una lista de los tipos de instancias de aprendizaje automático que SageMaker se pueden aprovisionar para ejecutar el trabajo de transformación. La lista se proporciona al QuickSight usuario para que la elija. Esta lista se limita a los tipos admitidos por SageMaker. Para obtener más información sobre los tipos compatibles, consulte TransformResourcesla Guía para SageMaker desarrolladores.

defaultInstanceType

(Opcional) El tipo de instancia que se presenta como opción predeterminada en el SageMaker asistente de QuickSight. Incluya este tipo de instancia en instanceTypes.

instanceCount

(Opcional) El recuento de instancias define cuántas de las instancias seleccionadas se van SageMaker a aprovisionar para ejecutar el trabajo de transformación. Este valor debe ser un número entero positivo.

description

Este campo proporciona un lugar para que la persona propietaria del SageMaker modelo se comunique con la persona que lo usa QuickSight. Utilice este campo para ofrecer consejos sobre cómo utilizar este modelo correctamente. Por ejemplo, este campo puede contener información sobre la selección de un tipo de instancia eficaz para elegir de la lista en instanceTypes, en función del tamaño del conjunto de datos. Este campo está limitado a 1000 caracteres.

versión

La versión del esquema, por ejemplo, “1.0".

En el ejemplo siguiente se muestra la estructura del código JSON en el archivo de esquema.

{
        "inputContentType": "CSV",
        "outputContentType": "CSV",
        "input": [
            {
                "name": "buying",
                "type": "STRING"
            },
            {
                "name": "maint",
                "type": "STRING"
            },
            {
                "name": "doors",
                "type": "INTEGER"
            },
            {
                "name": "persons",
                "type": "INTEGER"
            },
            {
                "name": "lug_boot",
                "type": "STRING"
            },
            {
                "name": "safety",
                "type": "STRING"
            }
        ],
        "output": [
            {
                "name": "Acceptability",
                "type": "STRING"
            }
        ],
        "description": "Use ml.m4.xlarge instance for small datasets, and ml.m4.4xlarge for datasets over 10 GB",
        "version": "1.0",
        "instanceCount": 1,
        "instanceTypes": [
            "ml.m4.xlarge",
            "ml.m4.4xlarge"
        ],
        "defaultInstanceType": "ml.m4.xlarge"
    }

La estructura del archivo de esquema está relacionada con el tipo de modelo que se utiliza en los ejemplos proporcionados por SageMaker.

Añadir un SageMaker modelo a su QuickSight conjunto de datos

Mediante el siguiente procedimiento, puede agregar un SageMaker modelo previamente entrenado a su conjunto de datos, de modo que pueda usar los datos predictivos en los análisis y los paneles.

Antes de comenzar, tenga a mano los siguientes elementos:

• Los datos que desea utilizar para crear el conjunto de datos.

• El nombre del SageMaker modelo que desea usar para aumentar el conjunto de datos.

• El esquema del modelo. Este esquema incluye asignaciones de nombres de campo y tipos de datos. Es útil si también contiene la configuración recomendada, por ejemplo, el tipo y el número de instancias que se utilizarán.

Para aumentar tu QuickSight conjunto de datos de Amazon con SageMaker

1. Cree un nuevo conjunto de datos desde la página de inicio seleccionando Conjuntos de datos y, a continuación, seleccione Nuevo conjunto de datos.

   También puede modificar uno existente.

2. Selecciona Aumentar con SageMaker en la pantalla de preparación de datos.

3. En Seleccionar su modelo, elija la siguiente configuración:

   • Modelo: elija el SageMaker modelo que se utilizará para deducir campos.

   • Nombre: proporcione un nombre descriptivo para el modelo.

   • Esquema: cargue el archivo de esquema JSON proporcionado para el modelo.

   • Configuración avanzada: QuickSight recomienda los valores predeterminados seleccionados en función del conjunto de datos. Puede utilizar la configuración de tiempo de ejecución específicos para equilibrar la velocidad y el costo de su trabajo. Para ello, introduce los tipos de instancias de SageMaker ML para el tipo de instancia y el número de instancias para Count.

   Elija Siguiente para continuar.

4. Para Revisar las entradas, revisa los campos que están mapeados a tu conjunto de datos. QuickSight intenta asignar automáticamente los campos de su esquema a los campos de su conjunto de datos. Aquí puede hacer cambios si se debe ajustar el mapeo.

   Elija Siguiente para continuar.

5. En Revisar resultados, consulte los campos que se añaden a su conjunto de datos.

   Elija Guardar y preparar datos para confirmar las opciones.

6. Para actualizar los datos, elija el conjunto de datos para ver los detalles. A continuación, elija Actualizar ahora para actualizar manualmente los datos o elija Actualizar programación para configurar un actualización periódica. Durante cada actualización de datos, el sistema ejecuta automáticamente el trabajo de transformación por lotes de SageMaker para actualizar los campos de salida con nuevos datos.