Monitorizar la puerta de enlace de archivos - AWS Storage Gateway

Monitorizar la puerta de enlace de archivos

Puede monitorizar la gateway de archivos y los recursos asociados mediante el uso de las métricas de Amazon CloudWatch, registros de auditoría de archivos compartidos y utilizando Amazon CloudWatch Events para recibir notificaciones cuando hayan terminado las operaciones con los archivos. Para obtener información acerca de las métricas de tipo de puerta de enlace de archivos, consulte Información acerca de las métricas de gateway.

Obtención de los registros del estado de la gateway de archivos con los grupos de registros de CloudWatch

Puede utilizar Amazon CloudWatch Logs para obtener información acerca del estado de la gateway de archivos y los recursos relacionados. Puede utilizar los registros para monitorizar los errores que detecte la gateway. Además, puede utilizar los filtros de suscripción de Amazon CloudWatch para automatizar el procesamiento de la información de los registros en tiempo real. Para obtener más información, consulte Procesamiento en tiempo real de los datos de los registros con suscripciones en la Guía del usuario de Amazon CloudWatch.

Por ejemplo, puede configurar un grupo de registros de CloudWatch para monitorizar la gateway y recibir notificaciones cuando la gateway de archivos falle al cargar los archivos en un bucket de S3. Puede configurar el grupo cuando active la gateway o cuando ya esté activada y en funcionamiento. Para obtener información acerca de cómo configurar un grupo de registros de CloudWatch al activar una gateway, consulte Configuración de los registros de Amazon CloudWatch. Para obtener información general acerca de los grupos de registros de CloudWatch, consulte Trabajo con grupos y flujos de registros en la Guía del usuario de Amazon CloudWatch.

A continuación se muestra un ejemplo de un error notificado por una gateway de archivos.

{ "severity": "ERROR", "bucket": "bucket-smb-share2", "roleArn": "arn:aws:iam::123456789012:role/my-bucket", "source": "share-E1A2B34C", "type": "InaccessibleStorageClass", "operation": "S3Upload", "key": "myFolder/myFile.text", "gateway": "sgw-B1D123D4", "timestamp": "1565740862516" }

Este error significa que la gateway de archivos no puede cargar el objeto myFolder/myFile.text a S3 porque ha cambiado de la clase de almacenamiento estándar de Amazon S3 a la clase de almacenamiento Amazon S3 Glacier o S3 Glacier Deep Archive.

En el registro del estado de la gateway anterior, estos elementos especifican una información determinada:

  • source: share-E1A2B34C indica el recurso compartido de archivos que ha detectado este error.

  • "type": "InaccessibleStorageClass" indica el tipo de error que se ha producido. En este caso, se ha detectado el error cuando la gateway intentaba cargar el objeto especificado a Amazon S3 o realizar una lectura desde Amazon S3. Sin embargo, en este caso el objeto ha cambiado a Amazon S3 Glacier. El valor de "type" puede ser cualquier error que la gateway de archivos detecte. Para obtener una lista de posibles errores, consulte Solución de problemas de gateways de archivos

  • "operation": "S3Upload" indica que este error se ha producido cuando la gateway intentaba cargar este objeto a S3.

  • "key": "myFolder/myFile.text" indica el objeto que ha provocado el fallo.

  • gateway": "sgw-B1D123D4 indica la gateway de archivos que ha detectado este error.

  • "timestamp": "1565740862516" indica el momento en el que se ha producido el error.

Para obtener información acerca de cómo solucionar este tipo de errores, consulte Solución de problemas de gateways de archivos.

Configuración de un grupo de registros de CloudWatch después de que la gateway se active

El siguiente procedimiento muestra cómo configurar un grupo de registros de CloudWatch después de activar la gateway.

Para configurar un grupo de registros de CloudWatch para que funcione con la gateway de archivos

  1. Inicie sesión en la Consola de administración de AWS y abra la consola de AWS Storage Gateway en https://console.aws.amazon.com/storagegateway/home.

  2. Elija Gateways y seleccione la gateway en la que desea configurar el grupo de registros de CloudWatch.

  3. En Actions (Acciones), elija Edit gateway information (Editar información de gateway) o en la pestaña Details (Detalles), junto a Logging (Registro), en Not Enabled (No habilitado), elija Configure log group (Configurar grupo de registro) para abrir el cuadro de diálogo Edit gateway information (Editar información de gateway).

  4. Para el grupo de registros de gateway, elija Usar un grupo de registros existente y, a continuación, elija el grupo de registros que desea utilizar. Si no tiene un grupo de registros, elija Crear un nuevo grupo de registros para crear uno. Se le dirigirá a la consola de CloudWatch Logs, donde puede crear el grupo de registros. Si crea un nuevo grupo de registros, seleccione el botón de actualizar en la lista desplegable para ver el nuevo grupo de registros.

  5. Cuando haya terminado, elija Save.

  6. Para ver los registros de la gateway, seleccione la gateway y la pestaña Details (Detalles).

Para obtener información acerca de cómo solucionar errores, consulte Solución de problemas de gateways de archivos.

Uso de métricas de Amazon CloudWatch

Puede obtener datos de monitorización de la gateway de archivos mediante la Consola de administración de AWS o el API de CloudWatch. La consola muestra una serie de gráficos basados en los datos sin procesar de la API de CloudWatch. La API de CloudWatch también se puede utilizar mediante uno de los kits de desarrollo de software (SDK) de Amazon AWS o las herramientas de la API de Amazon CloudWatch. En función de sus necesidades, es posible que prefiera utilizar los gráficos que se muestran en la consola o que se recuperan de la API.

Independientemente del método que decida utilizar para trabajar con las métricas, debe especificar la siguiente información:

  • La dimensión de las métricas con las que va a trabajar. Una dimensión es un par de nombre-valor que le ayuda a identificar una métrica de forma inequívoca. Las dimensiones de Storage Gateway son GatewayId y GatewayName. En la consola de CloudWatch, puede utilizar la vista Gateway Metrics para seleccionar fácilmente dimensiones específicas de gateways. Para obtener más información acerca de las dimensiones, consulte Dimensions (Dimensiones) en la Guía del usuario de Amazon CloudWatch.

  • El nombre de la métrica, como ReadBytes.

En la tabla siguiente se indican los tipos de datos de métricas de Storage Gateway que están disponibles para usted.

Espacio de nombres de Amazon CloudWatch Dimensión Descripción
AWS/StorageGateway GatewayId, GatewayName

Estas dimensiones filtran datos de métricas que describen aspectos de la gateway. Puede identificar una gateway de archivos con la que trabajar especificando las dimensiones GatewayId y GatewayName.

Los datos de velocidad y latencia de una gateway se basan en todos los archivos compartidos en la gateway.

Los datos se encuentran disponibles automáticamente en periodos de 5 minutos sin costo alguno.

Trabajar con métricas de gateway y de archivos es similar a trabajar con otras métricas de servicio. Puede encontrar información sobre algunas de las métricas más comunes en la documentación de CloudWatch que se muestra a continuación:

Recepción de notificaciones sobre las operaciones de archivos

AWS Storage Gateway puede activar Eventos de CloudWatch cuando se completen operaciones de archivos:

  • Puede recibir una notificación cuando la gateway termine de cargar archivos de forma asíncrona en el recurso compartido de archivos. Puede utilizar la API NotifyWhenUploaded para solicitar una notificación de carga de los archivos.

  • Puede recibir una notificación cuando la gateway termine de actualizar la caché para el bucket de S3. Al invocar la operación RefreshCache desde la consola de AWS Storage Gateway o la API de AWS Storage Gateway puede suscribirse para recibir una notificación cuando finalice la operación.

Cuando finalice la operación de archivos que ha solicitado, AWS Storage Gateway le enviará una notificación a través de Eventos de CloudWatch. Puede configurar Eventos de CloudWatch para que envíe la notificación a través de destinos de eventos como, por ejemplo, la función Amazon SNS, Amazon SQS o AWS Lambda. Por ejemplo, puede configurar un destino de Amazon SNS para que envíe la notificación a los consumidores de Amazon SNS, por ejemplo, por correo electrónico y mensaje de texto. Para obtener información acerca de Eventos de CloudWatch, consulte What is Amazon CloudWatch Events?

Para configurar la notificación de Eventos de CloudWatch

  1. Cree un destino, como un tema de Amazon SNS o una función de Lambda, que se invoque cuando se active el evento que ha solicitado en AWS Storage Gateway.

  2. Cree una regla en la consola de Eventos de CloudWatch para invocar destinos en función de un evento en AWS Storage Gateway.

  3. En la regla, cree un patrón de eventos para el tipo de evento. La notificación se activa cuando el evento coincide con este patrón de reglas.

  4. Seleccione el destino y configure los ajustes.

En el siguiente ejemplo, se muestra una regla que activa el tipo de evento especificado en la gateway y la región de AWS especificadas. Por ejemplo, puede especificar Storage Gateway File Upload Event como tipo de evento.

{ "source":[ "aws.storagegateway" ], "resources":[ "arn:aws:storagegateway:AWS Region:account-id :gateway/gateway-id" ], "detail-type":[ "Event type" ] }

Para obtener información sobre cómo utilizar Eventos de CloudWatch para activar reglas, consulte Creación de una regla de CloudWatch Events que se dispara en función de un evento en la Guía del usuario de Amazon CloudWatch Events.

Recepción de una notificación de carga de archivos

Existen dos casos de uso para los que puede utilizar la notificación de carga de archivos:

Para la automatización del procesamiento en la nube de los archivos que se cargan, puede llamar a la API NotifyWhenUploaded y obtener un ID de notificación. La notificación que se activa cuando se cargan archivos tiene el mismo ID de notificación que el que devuelve la API. Si utiliza este ID de notificación para realizar un seguimiento de la lista de archivos que está cargando, puede activar el procesamiento de los archivos que se han cargado en AWS cuando se genere un evento con el mismo ID.

Para los casos de uso de distribución de contenido, podría tener dos gateways de archivos asignadas al mismo bucket de Amazon S3. El cliente del recurso compartido de archivos de Gateway1 podría cargar los archivos nuevos en S3 y los clientes del recurso compartido de archivos de Gateway 2 podrían leerlos. Los archivos se cargarán en S3, pero Gateway2 no podrá verlos porque utiliza una versión almacenada locamente en caché de los archivos de S3. Para que los archivos sean visibles en Gateway2, puede utilizar la API NotifyWhenUploaded para solicitar la notificación de carga de archivos a Gateway1 para que le envíe una notificación cuando haya terminado la carga. A continuación, puede utilizar Eventos de CloudWatch para enviar automáticamente la solicitud RefreshCache para el recurso compartido en Gateway2. Cuando se completa la solicitud RefreshCache, los nuevos archivos son visibles en Gateway2.

ejemplo Ejemplo: Notificación de carga de archivos

En el siguiente ejemplo, se muestra una notificación de carga de archivos que se envía a través de CloudWatch cuando el evento coincide con la regla que ha creado. Esta notificación está en formato JSON. Puede configurar esta notificación para que se entregue al destino en un mensaje de texto.

{ "version" : "2012-10-17", "id" : "2649b160-d59d-c97f-3f64-8aaa9ea6aed3", "detail-type" : "Storage Gateway Upload Notification Event", "source" : "aws.storagegateway", "account" : "123456789012", "time" : "2017-11-06T21:34:42Z", "region" : "us-east-2", "resources" : [ "arn:aws:storagegateway:us-east-2:123456789011:share/share-F123D451", "arn:aws:storagegateway:us-east-2:123456789011:gateway/sgw-712345DA" ], "detail" : { "event-type" :"upload-complete", "notification-id": "11b3106b-a18a-4890-9d47-a1a755ef5e47", "request-received" : "2018-02-06T21:34:42Z", "completed" : "2018-02-06T21:34:53Z"} }

Nombres de los campos

Descripción

version

Versión actual de la política de IAM.

id

ID que identifica la política de IAM.

detail-type

Descripción del evento que activó la notificación que se envió.

source

Servicio de AWS que es el origen de la solicitud y la notificación.

account

ID de la cuenta de AWS donde se generaron la solicitud y la notificación.

time

Fecha y hora en el que se realizó la solicitud de carga de archivos en Amazon S3.

region

Región de AWS desde la que se enviaron la solicitud y la notificación.

resources

Recursos de la gateway de almacenamiento a los que se aplica la política.

source

Servicio de AWS que es el origen de la solicitud y la notificación.

event-type

Evento de Eventos de CloudWatch que activó la notificación.

notification-id

ID generado de forma aleatoria de la notificación que se envió. Este ID tiene el formato UUID. Este es el ID de notificación que se devuelve cuando se llama a NotfyWhenUploaded.

request-received

Fecha y hora en que la gateway recibió la solicitud NotfyWhenUploaded.

completed

Fecha y hora en que se cargaron todos los archivos del conjunto de trabajo en Amazon S3.

Recepción de una notificación de actualización de la caché

En el caso de uso de una notificación de actualización de la caché, podría tener dos gateways de archivos que estuvieran mapeados al mismo bucket de Amazon S3 y el cliente NFS de Gateway1 podría cargar archivos nuevos en el bucket de S3. Los archivos se cargarán en S3, pero no aparecerán en Gateway2 hasta que se actualice la caché. Esto se debe a que Gateway2 utiliza una versión almacenada localmente de los archivos de S3. Es posible que desee hacer algo con los archivos de Gateway2 una vez que finalice la actualización de la caché. Los archivos de gran tamaño pueden tardar algún tiempo en aparecer en Gateway2, por lo que puede interesarle recibir una notificación cuando haya finalizado la actualización de la caché. Puede solicitar una notificación de actualización de la caché a Gateway2 para que le avise cuando todos los archivos estén visibles en Gateway2.

ejemplo Ejemplo: Notificación de actualización de la caché

En el siguiente ejemplo, se muestra una notificación de actualización de la caché que se envía a través de CloudWatch cuando el evento coincide con la regla que se ha creado. Esta notificación está en formato JSON. Puede configurar esta notificación para que se entregue al destino en un mensaje de texto.

{ "version": "2012-10-17", "id": "2649b160-d59d-c97f-3f64-8aaa9ea6aed3", "detail-type": "Storage Gateway Refresh Cache Event", "source": "aws.storagegateway", "account": "209870788375", "time": "2017-11-06T21:34:42Z", "region": "us-east-2", "resources": [ "arn:aws:storagegateway:us-east-2:123456789011:share/share-F123D451", "arn:aws:storagegateway:us-east-2:123456789011:gateway/sgw-712345DA" ], "detail": { "event-type": "refresh-complete", "notification-id": "1c14106b-a18a-4890-9d47-a1a755ef5e47", "started": "2018-02-06T21:34:42Z", "completed": "2018-02-06T21:34:53Z", "folderList": ["/"] }, }

Nombres de los campos

Descripción

version

Versión actual de la política de IAM.

id

ID que identifica la política de IAM.

time

Fecha y hora en que se realizó la solicitud de actualización de los archivos del conjunto de trabajo.

detail-type

Descripción del tipo de evento que activó la notificación que se envió.

source

Servicio de AWS que es el origen de la solicitud y la notificación.

account

ID de la cuenta de AWS donde se generaron la solicitud y la notificación.

source

Servicio de AWS que es el origen de la solicitud y la notificación.

event-type

Evento de Eventos de CloudWatch que activó la notificación.

notification-id

ID generado de forma aleatoria de la notificación que se envió. Este ID tiene el formato UUID. Este es el ID de notificación que se devuelve cuando se llama a RefreshCache.

started

Fecha y hora en que la gateway recibió la solicitud RefreshCache y se inició la actualización.

completed

Fecha y hora en que finalizó la actualización del conjunto de trabajo.

folderList

Lista separada por comas de las rutas de las carpetas que se actualizaron en la caché. El valor predeterminado es ["/"].

Información acerca de las métricas de recursos compartidos de archivos

A continuación puede encontrar información sobre las métricas de AWS Storage Gateway que cubren recursos compartidos de archivos. Cada recurso compartido de archivos tiene un conjunto de métricas asociado. Algunas de las métricas específicas de los recursos compartidos tienen el mismo nombre que determinadas métricas específicas de gateways. Estas métricas representan el mismo tipo de medidas, pero se asignan al volumen en lugar de al recurso compartido de archivos. Especifique siempre si desea trabajar con una métrica de gateway o de recurso compartido. En concreto, cuando trabaje con métricas de recurso compartido de archivos, debe especificar el valor de File share ID que identifique el recurso compartido de archivos cuyas métricas desea ver. Para obtener más información, consulte Uso de métricas de Amazon CloudWatch.

En la tabla siguiente se describen las métricas de Storage Gateway que puede utilizar para obtener información sobre sus recursos compartidos de archivos.

Métrica Descripción
CacheHitPercent

Porcentaje de operaciones de lectura de la aplicación desde los recursos compartidos de archivos que se sirven desde la caché. La muestra se obtiene al final del período de notificación.

Cuando no hay operaciones de lectura de la aplicación desde este recurso compartido de archivos, esta métrica registra un valor del 100%.

Unidades: porcentaje

CachePercentDirty

La contribución del recurso compartido de archivos al porcentaje total de memoria caché de la gateway que no se ha almacenado de forma persistente en AWS. La muestra se obtiene al final del período de notificación.

Use la métrica CachePercentDirty de la gateway para ver el porcentaje total de memoria caché de la gateway que no se ha almacenado de forma persistente en AWS. Para obtener más información, consulte Información acerca de las métricas de gateway.

Unidades: porcentaje

CachePercentUsed

La contribución del recurso compartido de archivo al porcentaje de uso total de almacenamiento en memoria caché de la gateway. La muestra se obtiene al final del período de notificación.

Use la métrica CachePercentUsed de la gateway para ver el porcentaje de uso total de almacenamiento en memoria caché de la gateway. Para obtener más información, consulte Información acerca de las métricas de gateway.

Unidades: porcentaje

CloudBytesUploaded

El número total de bytes comprimidos que la gateway ha cargado en AWS durante el período de notificación.

Utilice esta métrica con la estadística Sum para medir la velocidad y con la estadística Samples para medir las operaciones de entrada/salida por segundo (IOPS).

Unidades: bytes

CloudBytesDownloaded

El número total de bytes que la gateway ha descargado de AWS durante el periodo de notificación.

Utilice esta métrica con la estadística Sum para medir la velocidad y con la estadística Samples para medir las operaciones de entrada/salida por segundo (IOPS).

Unidades: bytes

ReadBytes

El número total de bytes leídos desde las aplicaciones on-premises en el período de notificación para un recurso compartido de archivos.

Utilice esta métrica con la estadística Sum para medir la velocidad y con la estadística Samples para medir las operaciones de entrada/salida por segundo (IOPS).

Unidades: bytes

WriteBytes

El número total de bytes escritos en las aplicaciones on-premises en el período de notificación.

Utilice esta métrica con la estadística Sum para medir la velocidad y con la estadística Samples para medir las operaciones de entrada/salida por segundo (IOPS).

Unidades: bytes

Descripción de los registros de auditoría de gateway de archivos

Los registros de auditoría de gateway de archivos proporcionan detalles sobre el acceso de los usuarios a archivos y carpetas dentro de un recurso compartido de archivos SMB. Puede usarlos para supervisar las actividades de los usuarios y tomar medidas si se identifican patrones de actividad inapropiados.

En la tabla siguiente se describen las operaciones de acceso al archivo de registro de auditoría de gateway de archivos.

Nombre de operación

Definición

Leer datos

Leer el contenido de un archivo.

Escribir datos

Cambiar el contenido de un archivo.

Creación

Crear un nuevo archivo o carpeta.

Cambio de nombre

Cambiar el nombre de un archivo o carpeta existente.

Delete

Eliminar un archivo o carpeta.

Atributos de escritura

Actualizar metadatos de archivo o carpeta (ACL, propietario, grupo, permisos).

En la tabla siguiente se describen los atributos de acceso al archivo de registro de auditoría de gateway de archivos.

Atributo

Definición

securityDescriptor

Muestra la lista de control de acceso discrecional (DACL) establecida en un objeto, en formato SDDL.

sourceAddress

La dirección IP del equipo cliente de recurso compartido de archivos.

accountDomain

El dominio de Directorio Activo (AD) al que pertenece la cuenta del cliente.

accountName

Nombre de usuario de AD del cliente.

groupId

Identificador del grupo al que pertenece la cuenta de usuario.

origen

Identificador del recurso compartido de archivos que se está auditando.

ownerId

Identificador del propietario del objeto.

accessMode

La configuración de permisos para el objeto.

mtime

El momento en el que el contenido del objeto fue modificado, establecido por el cliente.

version

Versión del formato de registro de auditoría.

objectType

Define si el objeto es un archivo o una carpeta.

bucket

El nombre de bucket de S3.

objectName

La ruta completa al objeto.

ctime

Hora en la que se modificó el contenido o los metadatos del objeto, establecida por el cliente.

shareName

Nombre del recurso compartido al que se está accediendo.

operación

Nombre de la operación de acceso a objetos.

newObjectName

La ruta de acceso completa al nuevo objeto después de que se haya cambiado el nombre.

gateway

El ID de Storage Gateway.

timestamp

Hora en la que se produjo la operación en función de la marca temporal del sistema operativo de la puerta de enlace.

status

El estado de la operación. Solo se registra el éxito (los errores se registran con la excepción de los errores que surgen de permisos denegados).

fileSizeInBytes

El tamaño del archivo en bytes, establecido por el cliente en el momento de la creación del archivo.

En la tabla siguiente se describen los atributos de registro de auditoría de gateway de archivos registrados en cada operación de acceso a archivos.

Leer datos

Escribir datos

Create Folder

Crear archivo

Cambiar nombre de archivo/carpeta

Eliminar archivo/carpeta

Atributos de escritura (Cambiar ACL)

Atributos de escritura (Chown)

Atributos de escritura (Chmod)

Atributos de escritura (Chgrp)

securityDescriptor

X

sourceAddress

X

X

X

X

X

X

X

X

X

X

accountDomain

X

X

X

X

X

X

X

X

X

X

accountName

X

X

X

X

X

X

X

X

X

X

groupId

X

X

X

origen

X

X

X

X

X

X

X

X

X

X

ownerId

X

X

X

accessMode

X

X

X

mtime

X

X

version

X

X

X

X

X

X

X

X

X

X

objectType

X

X

X

X

X

X

X

X

X

X

bucket

X

X

X

X

X

X

X

X

X

X

objectName

X

X

X

X

X

X

X

X

X

X

ctime

X

X

shareName

X

X

X

X

X

X

X

X

X

X

operación

X

X

X

X

X

X

X

X

X

X

newObjectName

X

gateway

X

X

X

X

X

X

X

X

X

X

timestamp

X

X

X

X

X

X

X

X

X

X

status

X

X

X

X

X

X

X

X

X

X

fileSizeInBytes

X