AWS Storage Gateway
Guía del usuario (Versión de API 2013-06-30)

Cómo funciona AWS Storage Gateway (Arquitectura)

A continuación, encontrará una visión general de la arquitectura de las soluciones de AWS Storage Gateway disponibles.

Gateway de archivos

Para utilizar una gateway de archivos, comience por descargar una imagen de máquina virtual de la gateway de archivos. A continuación, active la gateway de archivos desde la Consola de administración de AWS o a través de la API de Storage Gateway. También puede crear una gateway de archivos usando una imagen de Amazon EC2.

Una vez que la gateway de archivos esté activada, debe crear y configurar el recurso compartido de archivos y asociarlo al bucket de Amazon S3. Esto hace que el recurso compartido de archivos esté al alcance de los clientes que utilizan el protocolo NFS o SMB. Los archivos que se escriben en un recurso compartido de archivos se convierten en objetos en Amazon S3, con la ruta como clave. Existe una correlación de uno a uno entre los archivos y los objetos, y la gateway actualiza de forma asíncrona los objetos de Amazon S3 cuando se realizan cambios en los archivos. Los objetos existentes en el bucket aparecen como archivos en el sistema de archivos y la clave se convierte en la ruta. Los objetos se cifran con las claves de cifrado del lado del servidor de Amazon S3 (SSE-S3). Todas las transferencias de datos se realizan a través de HTTPS.

El servicio optimiza la transferencia de datos entre la gateway y AWS mediante cargas paralelas de varias partes o descargas de rango de bytes, para utilizar mejor el ancho de banda disponible. Se mantiene una caché local para proporcionar acceso de baja latencia a los datos a los que se ha tenido acceso recientemente y reducir los cargos por salida de datos. Las métricas de CloudWatch muestran información sobre el uso de los recursos de la máquina virtual y la transferencia de datos a y desde AWS. CloudTrail rastrea todas las llamadas a la API.

Con el almacenamiento de la gateway de archivos, puede realizar tareas como llevar cargas de trabajo de nube a S3, realizar copias de seguridad y archivado y estratificar y migrar datos de almacenamiento a la nube de AWS. En el diagrama siguiente se proporciona información general de la implementación del almacenamiento de archivos en Storage Gateway.

Gateways de volúmenes

Para las gateways de volúmenes, puede utilizar volúmenes almacenados en caché o volúmenes almacenados.

Arquitectura de volúmenes almacenados en caché

Mediante el uso de volúmenes almacenados en caché, puede usar Amazon S3 como almacenamiento de datos principal manteniendo localmente los datos de acceso frecuente en la gateway de almacenamiento. Los volúmenes almacenados en caché reducen al mínimo la necesidad de escalar la infraestructura de almacenamiento local a la vez que proporcionan a sus aplicaciones acceso de baja latencia a los datos de acceso frecuente. Puede crear volúmenes de almacenamiento con un tamaño de hasta 32 TiB y asociarlos como dispositivos iSCSI desde los servidores de aplicaciones locales. La gateway almacena los datos que se escriben en estos volúmenes en Amazon S3 y conserva los datos leídos recientemente en la caché de la gateway de almacenamiento on-premises y en el almacenamiento del búfer de carga.

Los volúmenes almacenados en caché pueden ir de 1 GiB a 32 TiB de tamaño y deben redondearse al GiB más próximo. Cada gateway configurada para volúmenes almacenados en caché admite hasta 32 volúmenes para un volumen de almacenamiento máximo de 1 024 TiB (1 PiB).

En la solución de volúmenes almacenados en caché, AWS Storage Gateway almacena todos los datos de las aplicaciones locales en un volumen de almacenamiento en Amazon S3. En el diagrama siguiente se proporciona información general de la implementación de los volúmenes almacenados en caché.

Una vez que haya instalado el dispositivo de software de Storage Gateway (la máquina virtual) en un host del centro de datos y lo haya activado, puede utilizar la Consola de administración de AWS para aprovisionar volúmenes de almacenamiento respaldados por Amazon S3. También puede aprovisionar volúmenes de almacenamiento mediante programación mediante la API de AWS Storage Gateway o las bibliotecas SDK de AWS. A continuación, puede montar estos volúmenes de almacenamiento en servidores de aplicaciones on-premises como dispositivos iSCSI.

También puede asignar discos on-premises para la MV. Estos discos on-premises sirven para los siguientes propósitos:

  • Discos que utiliza la gateway como almacenamiento en caché: cuando las aplicaciones escriben datos en los volúmenes de almacenamiento de AWS, la gateway almacena primero los datos en los discos locales usados para el almacenamiento en caché. A continuación, la gateway carga los datos en Amazon S3. El almacenamiento en caché funciona como un almacén on-premises permanente para los datos que están a la espera de cargarse desde el búfer de carga en Amazon S3.

    El almacenamiento en caché también permite que la gateway almacene los datos de acceso reciente de la aplicación on-premises para un acceso de baja latencia. Si la aplicación solicita datos, la gateway los busca en el almacenamiento en caché antes que en Amazon S3.

    Puede utilizar las siguientes directrices para determinar la cantidad de espacio en disco que se asigna para el almacenamiento en caché. Por lo general, debe asignar al menos el 20 por ciento del tamaño del almacén de archivos existente como almacenamiento en caché. El almacenamiento en caché, además, debe ser mayor que el búfer de carga. Esta última directriz contribuye a garantizar que el almacenamiento en caché sea suficientemente grande para almacenar todos los datos en el búfer de carga que aún no se hayan cargado en Amazon S3.

  • Discos utilizados por la gateway como búfer de carga: para preparar la carga en Amazon S3, la gateway también almacena datos de entrada en un área de almacenamiento transitorio que se denomina búfer de carga. La gateway carga estos datos del búfer a través de una conexión de capa de conexión segura (SSL) en AWS, donde se almacenan cifrados en Amazon S3.

Puede hacer copias de seguridad incrementales, denominadas instantáneas, de los volúmenes de almacenamiento en Amazon S3. Estas instantáneas instantáneas de un momento dado también se almacenan en Amazon S3 como instantáneas de Amazon EBS. Cuando se toma una nueva instantánea, solo se almacenan los datos modificados desde la última instantánea. Puede iniciar las instantáneas de manera programada o puntual. Cuando se elimina una instantánea, solo se borran los datos que no son necesarios para ninguna otra instantánea. Para obtener información sobre las instantáneas de Amazon EBS, consulte Instantáneas de Amazon EBS.

Puede restaurar una instantánea de Amazon EBS en un volumen de almacenamiento de gateway si necesita recuperar una copia de seguridad de los datos. Para instantáneas de hasta 16 TiB de tamaño, también puede utilizar la instantánea como punto de partida para un nuevo volumen de Amazon EBS. A continuación, puede asociar este nuevo volumen de Amazon EBS a una instancia Amazon EC2.

Todos los datos de gateway y de instantáneas de los volúmenes almacenados en caché se almacenan en Amazon S3 y se cifran en reposo mediante cifrado de servidor (SSE). Sin embargo, no puede obtener acceso a estos datos con la API de Amazon S3 u otras herramientas como la consola de administración de Amazon S3.

Arquitectura de volúmenes almacenados

Mediante el uso de volúmenes almacenados, puede almacenar los datos principales localmente y realizar una copia de seguridad asíncrona de los datos en AWS. Los volúmenes almacenados proporcionan aplicaciones locales con acceso de baja latencia a conjuntos de datos completos. Asimismo, proporcionan copias de seguridad duraderas externas. Puede crear volúmenes de almacenamiento y montarlos como dispositivos iSCSI desde los servidores de aplicaciones on-premises. Los datos escritos en los volúmenes almacenados se almacenan en el hardware de almacenamiento on-premises. Estos datos se copian de manera asíncrona en Amazon S3 en forma de instantáneas de Amazon Elastic Block Store (Amazon EBS).

Los volúmenes almacenados pueden ir de 1 GiB a 16 TiB de tamaño y deben redondearse al GiB más próximo. Cada gateway configurada para volúmenes almacenados en la gateway admite hasta 32 volúmenes y un almacenamiento de volumen total de 512 TiB (0,5 PiB).

Con los volúmenes almacenados, mantiene el almacenamiento de volumen on-premises en el centro de datos. Es decir, almacena todos los datos de aplicación en hardware de almacenamiento on-premises. A continuación, la gateway utiliza características que ayudan a mantener la seguridad de los datos para cargar datos en la nube de AWS para una copia de seguridad económica y una rápida recuperación de desastres. Esta solución es ideal si desea mantener los datos localmente on-premises, porque necesite un acceso de baja latencia a todos los datos y, además, mantener copias de seguridad en AWS.

En el diagrama siguiente se proporciona información general de la implementación de los volúmenes almacenados.

Después de instalar el dispositivo de software de AWS Storage Gateway (la máquina virtual) en un host del centro de datos y una vez activado, puede crear volúmenes de almacenamiento de la gateway. A continuación, deberá asignarlos a un sistema de almacenamiento local conectado directamente (DAS) o a discos de la red del área de almacenamiento (SAN). Puede comenzar con discos nuevos o discos que ya contengan datos. A continuación, puede montar estos volúmenes de almacenamiento en servidores de aplicaciones on-premises como dispositivos iSCSI. A medida que las aplicaciones on-premises escriben y leer datos en un volumen de almacenamiento de la gateway, estos datos se almacenan y se recuperan en el volumen de disco asignado.

Para preparar los datos para la carga en Amazon S3, la gateway almacena también los datos entrantes en un área de almacenamiento transitorio, que se denomina búfer de carga. Puede utilizar discos DAS o SAN on-premises para el almacenamiento de trabajo. La gateway carga datos desde el búfer de carga a través de una conexión de capa de conexión segura (SSL) cifrada en el servicio AWS Storage Gateway que se ejecuta en la nube de AWS. A continuación, el servicio almacena los datos cifrados en Amazon S3.

Puede hacer copias de seguridad incrementales, denominadas instantáneas, de los volúmenes de almacenamiento. La gateway almacena estas instantáneas en Amazon S3 como instantáneas de Amazon EBS. Cuando se toma una nueva instantánea, solo se almacenan los datos modificados desde la última instantánea. Puede iniciar las instantáneas de manera programada o puntual. Cuando se elimina una instantánea, solo se eliminan los datos que no son necesarios para ninguna otra instantánea.

Puede restaurar una instantánea de Amazon EBS en un volumen de almacenamiento de gateway local si necesita recuperar una copia de seguridad de los datos. También puede utilizar la instantánea como punto de partida para un nuevo volumen de Amazon EBS que, a continuación, puede asociar a una instancia Amazon EC2.

Gateway de cinta

Gateway de cinta ofrece una solución duradera y económica para archivar datos en la nube de AWS. Con su interfaz de biblioteca de cintas virtuales (VTL), puede utilizar la infraestructura de copia de seguridad existente basada en cintas para almacenar datos en cartuchos de cinta virtuales creados en la gateway de cinta. Cada gateway de cinta está preconfigurada con un cambiador de medios y unidades de cinta. Estos están disponibles para las aplicaciones de copia de seguridad cliente existentes como dispositivos iSCSI. Agregue los cartuchos de cinta que necesite para archivar los datos.

En el diagrama siguiente se proporciona información general de la implementación de gateway de cinta.

En el diagrama se identifican los siguientes componentes de la gateway de cinta:

  • Cinta virtual: una cinta virtual es como un cartucho de cinta física. Sin embargo, los datos de las cintas virtuales se almacenan en la nube de AWS. Al igual que las cintas físicas, las cintas virtuales pueden estar en blanco o contener datos escritos. Para crear cintas virtuales, puede utilizar la consola de Storage Gateway o crearlas mediante programación utilizando la API de Storage Gateway. Cada gateway puede contener hasta 1500 cintas o hasta 1 PiB de datos de cinta totales a la vez. El tamaño de cada cinta virtual, que puede configurar al crear la cinta, está entre 100 GiB y 5 TiB.

  • Biblioteca de cintas virtuales (VTL): una VTL es como una biblioteca de cintas física disponible localmente con brazos robóticos y unidades de cinta. La VTL incluye la colección de cintas virtuales almacenadas. Cada gateway de cinta viene con una VTL.

    Las cintas virtuales que cree aparecerán en la VTL de la gateway. Las cintas de la VTL están respaldadas por Amazon S3. Cuando el software de copia de seguridad escribe datos en la gateway, la gateway almacena los datos localmente y, a continuación, los carga de forma asíncrona en cintas virtuales de la VTL, es decir, en Amazon S3.

    • Unidad de cinta: una unidad de cinta VTL es análoga a una unidad de cinta física capaz de realizar operaciones de búsqueda y E/S en una cinta. Cada VTL viene con un conjunto de 10 unidades de cinta, que están disponibles para la aplicación de copia de seguridad como dispositivos iSCSI.

    • Cambiador de medios: un cambiador de medios VTL es análogo a un robot que traslada cintas entre ranuras y unidades de cinta de una biblioteca de cintas física. Cada VTL viene con un cambiador de medios, que está disponible para la aplicación de copia de seguridad como un dispositivo iSCSI.

  • Archivo: el archivo es análogo a una instalación externa donde se almacenan cintas. Puede archivar las cintas de la VTL de la gateway en el archivo de almacenamiento. Si es necesario, puede recuperar las cintas del archivo de almacenamiento y volver a colocarlas en la VTL de la gateway.

    • Archivado de cintas: cuando el software de copia de seguridad expulsa una cinta, la gateway la traslada al archivo para almacenarla a largo plazo. El archivo de almacenamiento se encuentra en la región de AWS en la que se ha activado la gateway. Las cintas archivadas se almacenan en la estantería de cintas virtuales (VTS). La VTS se basa en S3 Glacier o en S3 Glacier Deep Archive, un servicio de almacenamiento de bajo costo para archivar datos, crear copias de seguridad y para la retención de datos a largo plazo.

    • Recuperación de cintas: las cintas archivadas no se pueden leer directamente. Para leer una cinta archivada, primero debe recuperarla en la gateway de cinta, ya sea mediante la consola de Storage Gateway o mediante la API de Storage Gateway.

      importante

      Si archiva una cinta en GLACIER, normalmente puede recuperarla en un plazo de entre 3 y 5 horas. Si archiva una cinta en DEEP_ARCHIVE, normalmente puede recuperarla en un plazo de 12 horas.

Después de implementar y activar una gateway de cinta, monte las unidades de cinta virtuales y el cambiador de medios en los servidores de aplicaciones on-premises como dispositivos iSCSI. Puede crear cintas virtuales según sea necesario. A continuación, puede utilizar la aplicación de software de copia de seguridad existente para escribir datos en las cintas virtuales. El cambiador de medios carga y descarga las cintas virtuales en las unidades de cinta virtuales para realizar operaciones de lectura y escritura.

Asignación de discos locales para la MV de la gateway

La máquina virtual de la gateway necesita discos locales, que deberá asignar para los siguientes fines:

  • Almacenamiento en caché: el almacenamiento en caché funciona como un almacén permanente para los datos que están a la espera de cargarse desde el búfer de carga en Amazon S3.

    Si su aplicación lee datos de una cinta virtual, la gateway guarda los datos en el almacenamiento en caché. La gateway almacena datos a los que se ha tenido acceso recientemente en el almacenamiento en caché para un acceso de baja latencia. Si la aplicación solicita datos de cinta, la gateway busca primero en el almacenamiento en caché antes de descargar los datos desde AWS.

  • Búfer de carga: el búfer de carga proporciona un área de almacenamiento transitorio para la gateway antes de cargar los datos en una cinta virtual. El búfer de carga también es muy importante para la creación de puntos de recuperación que puede utilizar para recuperar cintas de errores inesperados. Para obtener más información, consulte Necesita recuperar una cinta virtual desde una Gateway de cinta que no funciona correctamente.

Cuando la aplicación de copia de seguridad escribe datos en la gateway, esta copia los datos en el almacenamiento en caché y en el búfer de carga. A continuación, confirma que se ha completado la operación de escritura en la aplicación de copia de seguridad.

Para obtener instrucciones sobre la cantidad de espacio de disco que debe asignar para el almacenamiento en caché y el búfer de carga, consulte Cálculo de la cantidad de almacenamiento en disco local.