AWS Storage Gateway
Guía del usuario (Versión de API 2013-06-30)

Administración de discos locales para su AWS Storage Gateway

La máquina virtual (VM) de la gateway utiliza los discos locales que se le asignan on-premise para almacenamiento en búfer y permanente. Las gateways creadas en instancias Amazon EC2 utilizan volúmenes de Amazon EBS como discos locales.

Cálculo de la cantidad de almacenamiento en disco local

Puede elegir el número y el tamaño de los discos que va a asignar a la gateway. Según la solución de almacenamiento que vaya a implementar (consulte Planificación de la implementación de Storage Gateway), la gateway requiere el siguiente almacenamiento adicional:

  • Las gateways de archivos requieren al menos un disco para utilizar como caché.

  • Gateways de volúmenes:

    • Las gateways almacenados requieren al menos un disco para utilizar como búfer de carga.

    • Las gateways en caché requieren al menos dos discos. Uno para utilizarlo como caché y otro para utilizarlo como búfer de carga.

  • Las gateways de cinta requieren al menos dos discos. Uno para utilizarlo como caché y otro para utilizarlo como búfer de carga.

En la siguiente tabla se recomiendan los tamaños para el almacenamiento en disco local de gateway implementada. Puede agregar almacenamiento local más adelante, después de haber configurado la gateway, para responder al aumento de las cargas de trabajo.

Almacenamiento local Descripción Tipo de gateway
Búfer de carga El búfer de carga proporciona un espacio provisional para los datos antes de que la gateway los cargue a Amazon S3. La gateway carga estos datos del búfer a través de una conexión de Capa de conexión segura (SSL) en AWS.
  • Volúmenes almacenados en caché

  • Volúmenes almacenados

  • Gateways de cinta

Almacenamiento en caché El almacenamiento en caché funciona como un almacén on-premise permanente para los datos que están pendientes de carga desde el búfer de carga en Amazon S3. Cuando la aplicación efectúa entradas y salidas en un volumen o cinta, la gateway guarda los datos en el almacenamiento en caché para permitir el acceso a ellos con baja latencia. Cuando la aplicación solicita datos de un volumen o una cinta, la gateway los busca primero en el almacenamiento en caché antes de descargarlos desde AWS.
  • Volúmenes almacenados en caché

  • Gateways de cinta

  • Gateways de archivos

nota

Cuando aprovisione discos, recomendamos encarecidamente que no aprovisione discos locales que utilicen el mismo recurso físico (el mismo disco) para el búfer de carga y el almacenamiento en caché. Los recursos de almacenamiento físico subyacente se representan como un almacén de datos en VMware. Al implementar la máquina virtual de gateway, debe elegir el almacén de datos en el que se almacenarán los archivos de la máquina virtual. Al aprovisionar un disco local (por ejemplo, para utilizarlo como almacenamiento en caché o búfer de carga), tiene la opción de almacenar el disco virtual en el mismo almacén de datos que la máquina virtual o en otro distinto.

Si hay más de un almacén de datos, recomendamos encarecidamente elegir un almacén de datos para el almacenamiento en caché y otro para el búfer de carga. Un almacén de datos respaldado por un único disco físico subyacente puede hacer que disminuya el rendimiento en algunas situaciones si se utiliza simultáneamente para el almacenamiento de caché y del búfer de carga. Lo mismo sucede si el disco tiene una configuración RAID de menor rendimiento, como RAID1.

Tras la configuración e implementación iniciales de la gateway, puede ajustar el almacenamiento local añadiendo o eliminando discos para un búfer de carga. También puede añadir discos para el almacenamiento en caché.

Determinación del tamaño que se va a asignar al búfer de carga

Puede determinar el tamaño que se va a asignar al búfer de carga mediante una fórmula específica. Recomendamos encarecidamente asignar al menos 150 GiB para el búfer de carga. Si la fórmula devuelve un valor inferior a 150 GiB, asigne 150 GiB al búfer de carga. Puede configurar hasta 2 TiB de capacidad para el búfer de carga de cada gateway.

nota

En las gateways de volúmenes, cuando el búfer de carga alcanza su capacidad, el volumen cambia al estado PASS THROUGH. En este estado, los datos nuevos que escribe la aplicación se conservan localmente, pero no se cargan de inmediato en AWS. Por lo tanto, no se pueden tomar nuevas instantáneas. Cuando se libera capacidad en el búfer de carga, el volumen pasa por el estado BOOTSTRAPPING. En este estado, los datos nuevos que se han conservado localmente se cargan en AWS. Por último, el volumen vuelve al estado ACTIVE. A continuación, Storage Gateway reanuda la sincronización normal de los datos almacenados localmente con la copia almacenada en AWS y se puede comenzar a tomar nuevas instantáneas. Para obtener más información sobre el estado de los volúmenes, consulte Funcionamiento de los estados de volúmenes y las transiciones.

En una gateway de cinta, cuando el búfer de carga alcanza su capacidad, las aplicaciones pueden continuar leyendo y escribiendo datos en los volúmenes de almacenamiento. Sin embargo, la gateway de cinta no escribe ninguno de los datos del volumen en su búfer de carga ni en AWS hasta que Storage Gateway sincroniza los datos almacenados localmente con la copia de ellos almacenada en AWS. Esta sincronización tiene lugar cuando los volúmenes se encuentran en el estado BOOTSTRAPPING.

Para calcular la cantidad que se va a asignar al búfer de carga, puede determinar las velocidades de datos entrantes y salientes previstas y utilizarlas en la fórmula siguiente.

Velocidad de datos entrantes

Esta velocidad se refiere al rendimiento de la aplicación, la velocidad a la que las aplicaciones on-premise escriben datos en la gateway en un periodo de tiempo determinado.

Velocidad de datos salientes

Esta velocidad se refiere al rendimiento de la red, la velocidad a la que la gateway carga datos en AWS. Esta velocidad depende de la velocidad de la red, del grado de utilización de esta y de si se ha activado la limitación de ancho de banda. Esta velocidad debe ajustarse para la compresión. Al cargar datos en AWS, la gateway aplica la compresión de datos cuando es posible. Por ejemplo, si los datos de la aplicación son de solo texto, puede obtener una relación de compresión efectiva de 2:1. Sin embargo, cuando se escriben vídeos, puede que la gateway no consiga aplicar ningún tipo de compresión y, por consiguiente, que requiera más capacidad del búfer de carga.

Recomendamos encarecidamente asignar al menos 150 GiB de espacio al búfer de carga si se cumple cualquiera de las dos condiciones siguientes: la velocidad de entrada es mayor que la de salida o el valor obtenido al aplicar la fórmula es menor que 150 GiB.

Por ejemplo, supongamos que sus aplicaciones empresariales escriben texto en la gateway a una velocidad de 40 MB por segundo durante 12 horas al día y que el rendimiento de la red es de 12 MB por segundo. Suponiendo un factor de compresión de 2:1 para los datos de texto, debe asignar aproximadamente 690 GiB de espacio al búfer de carga.

((40 MB/sec) - (12 MB/sec * 2)) * (12 hours * 3600 seconds/hour) = 691200 megabytes

Puede utilizar esta aproximación inicialmente para determinar el tamaño del disco que desea asignar a la gateway como espacio de búfer de carga. Puede agregar más espacio de búfer de carga cuando lo necesite desde la consola de Storage Gateway. Además, puede utilizar las métricas operativas de Amazon CloudWatch para monitorizar el uso del búfer de carga y determinar los requisitos de almacenamiento adicionales. Para obtener información sobre las métricas y cómo configurar las alarmas, consulte Monitorización del búfer de carga.

Determinación del tamaño que se va a asignar al almacenamiento en caché

La gateway utiliza el almacenamiento en caché para proporcionar acceso de baja latencia a los datos a los que se ha tenido acceso recientemente. El almacenamiento en caché funciona como un almacén on-premise permanente para los datos que están pendientes de carga desde el búfer de carga en Amazon S3. En términos generales, el tamaño del almacenamiento de caché debe ser 1,1 veces el tamaño del búfer de carga. Para obtener más información sobre cómo calcular el tamaño del almacenamiento en caché, consulte Determinación del tamaño que se va a asignar al búfer de carga.

Inicialmente se puede utilizar esta aproximación para aprovisionar los discos para el almacenamiento en caché. A continuación, puede utilizar las métricas operativas de Amazon CloudWatch para monitorizar el uso del almacenamiento en caché y aprovisionar más almacenamiento según sea necesario desde la consola. Para obtener información sobre cómo usar las métricas y configurar las alarmas, consulte Monitorización del almacenamiento en caché.

Adición de un búfer de carga o de almacenamiento en caché

A medida que cambian las necesidades de la aplicación, puede aumentar el búfer de carga o la capacidad de almacenamiento en caché de la gateway. Puede agregar más capacidad de búfer a la gateway sin interrumpir las funciones de esta. Cuando aumente la capacidad del búfer de carga, hágalo con la máquina virtual de la gateway encendida.

importante

Cuando se agrega caché o búfer de carga a una gateway existente, es importante crear nuevos discos en el host (hipervisor o instancia Amazon EC2). No cambie el tamaño de los discos si se han asignado previamente como caché o como búfer de carga. No elimine discos de almacenamiento en caché que se hayan asignado para esa función.

El siguiente procedimiento indica cómo configurar un búfer de carga o almacenamiento en caché para la gateway.

Para añadir y configurar el búfer de carga o el almacenamiento en caché

  1. Aprovisione un disco nuevo en el host (el hipervisor o la instancia Amazon EC2). Para obtener información sobre cómo aprovisionar un disco en un hipervisor, consulte el manual de usuario del hipervisor. Para obtener más información sobre cómo añadir volúmenes de Amazon EBS a una instancia Amazon EC2, consulte Adición y eliminación de volúmenes de Amazon EBS para la gateway alojada en Amazon EC2. Debe configurar este disco como búfer de carga o como almacenamiento en caché.

  2. Abra la consola de AWS Storage Gateway en https://console.aws.amazon.com/storagegateway/home.

  3. En el panel de navegación, elija Gateways.

  4. En el menú Actions (Acciones), elija Edit local disks (Editar discos locales).

  5. En el cuadro de diálogo Edit local disks (Editar discos locales), identifique los discos que ha aprovisionado y decida cuáles de ellos desea usar para el búfer de carga o para el almacenamiento en caché.

    nota

    Para los volúmenes almacenados, solo se muestra el búfer de carga, porque los volúmenes almacenados no tienen discos de almacenamiento en caché.

  6. En el cuadro de lista desplegable, en la columna Allocated to (Asignado a)​, elija Upload Buffer (Búfer de carga) para el disco que desee usar como búfer de carga.

  7. Para las gateways creadas con volúmenes almacenados en caché y gateway de cinta, elija Cache (Caché) para el disco que desea usar como almacenamiento en caché.

    Si los discos no aparecen, seleccione el botón Refresh (Actualizar).

  8. Elija Save (Guardar) para guardar la configuración.

Uso del almacenamiento efímero con gateways de EC2

En esta sección, se describen los pasos que tendrá que seguir para evitar la pérdida de datos al seleccionar un disco efímero como almacenamiento para la memoria caché de la gateway.

Los discos efímeros ofrecen un almacenamiento de nivel de bloques temporal para la instancia Amazon EC2. Los discos efímeros son perfectos para el almacenamiento temporal de datos que se modifican con frecuencia, como los datos de un búfer de carga de una gateway o del almacenamiento en caché de la gateway. Cuando se lanza la gateway con una Amazon Machine Image de Amazon EC2 y el tipo de instancia seleccionado es compatible con el almacenamiento efímero, los discos se muestran automáticamente y puede seleccionar uno de ellos para almacenar datos en la memoria caché de la gateway. Para obtener más información, consulte Almacén de instancias Amazon EC2 en la Guía del usuario de Amazon EC2 para instancias de Linux.

Las operaciones de escritura de las aplicaciones en los discos se almacenan en la memoria caché de forma síncrona y se cargan de forma asíncrona en el almacenamiento duradero en Amazon S3. Si los datos almacenados en el almacenamiento efímero se pierden debido a que una instancia Amazon EC2 se detiene antes de que haya finalizado la carga de datos, los datos que todavía se encuentran en la caché y no se han cargado en Amazon S3 se pueden perder. Puede evitar dicha pérdida de datos realizando los pasos siguientes antes de reiniciar o detener la instancia EC2 que aloja la gateway.

nota

Si utiliza el almacenamiento efímero y detiene e inicia la gateway, esta se desconectará permanentemente. Esto sucede porque se ha reemplazado el disco de almacenamiento físico. No hay solución para este problema, por lo que tendrá que eliminar la gateway y activar una nueva en una nueva instancia Amazon EC2.

Los pasos del procedimiento siguiente son específicos para las gateways de archivos.

Para evitar la pérdida de datos de las gateways de archivos que utilizan discos efímeros

  1. Detenga todos los procesos de escritura en el recurso compartido de archivos.

  2. Suscríbase para recibir notificaciones de Eventos de CloudWatch. Para obtener información, consulte Recepción de una notificación de carga de archivos.

  3. Llame a la API NotifyWhenUploaded para recibir notificaciones cuando los datos que se han escrito, hasta que se perdió el almacenamiento efímero, se hayan almacenado de forma duradera en Amazon S3.

  4. Espere a que la API se complete y hasta que reciba un ID de notificación.

    Recibirá un evento de CloudWatch con el mismo ID de notificación.

  5. Compruebe que la métrica CachePercentDirty del recurso compartido de archivos es 0. Esto confirma que todos los datos se han escrito en Amazon S3. Para obtener información acerca de las métricas de recursos compartidos de archivos, consulte Información acerca de las métricas de recursos compartidos de archivos.

  6. Ahora puede reiniciar o detener la gateway de archivos sin riesgo de perder ningún dato.