Cómo AWS Storage Gateway (arquitectura) - AWS Storage Gateway

Las traducciones son generadas a través de traducción automática. En caso de conflicto entre la traducción y la version original de inglés, prevalecerá la version en inglés.

Cómo AWS Storage Gateway (arquitectura)

A continuación, encontrará una visión general de la arquitectura de las soluciones de AWS Storage Gateway disponibles.

Gateways de archivos

Para utilizar una gateway de archivos, comience por descargar una imagen de máquina virtual de la gateway de archivos. A continuación, active la gateway de archivos desde la Consola de administración de AWS o a través de la API de Storage Gateway. También puede crear una gateway de archivos usando una imagen de Amazon EC2.

Después del paso gateway de archivos está activado, cree y configure su recurso compartido de archivos y asocie ese recurso compartido con su Amazon Simple Storage Service (Amazon S3) bucket. Esto hace que el recurso compartido sea accesible para los clientes mediante el protocolo Network File System (NFS) o Server Message Block (SMB). Los archivos que se escriben en un recurso compartido de archivos se convierten en objetos en Amazon S3, con la ruta como clave. Existe una correlación de uno a uno entre los archivos y los objetos, y la gateway actualiza de forma asíncrona los objetos de Amazon S3 cuando se realizan cambios en los archivos. Objetos existentes en la Amazon S3 El bucket de aparece como archivos en el sistema de archivos y la clave se convierte en la ruta. Los objetos se cifran con las claves de cifrado del lado del servidor de Amazon S3 (SSE-S3). Todas las transferencias de datos se realizan a través de HTTPS.

El servicio optimiza la transferencia de datos entre la gateway y AWS con cargas paralelas multiparte o descargas de rango de bytes, para utilizar mejor el ancho de banda disponible. La caché local se mantiene para proporcionar acceso de baja latencia a los datos a los que se ha accedido recientemente y reducir los cargos de salida de datos. CloudWatch Las métricas de proporcionan información sobre el uso de recursos en la máquina virtual y la transferencia de datos hacia y desde AWS. CloudTrail realiza un seguimiento de todas las llamadas a la API de.

Con el almacenamiento de gateway de archivos, puede realizar tareas como incorporar cargas de trabajo en la nube para Amazon S3, realizar copias de seguridad y archivar, nivelar y migrar datos de almacenamiento a AWS Nube. En el diagrama siguiente se proporciona información general de la implementación del almacenamiento de archivos en Storage Gateway.

La gateway de archivos convierte archivos en objetos de S3 al cargar archivos en Amazon S3. La interacción entre las operaciones de archivos realizadas con los recursos compartidos de archivos en la gateway de archivos y los objetos de S3 requiere que ciertas operaciones se consideren cuidadosamente al convertir entre archivos y objetos.

Las operaciones de archivo comunes cambian los metadatos de archivo, lo que provoca la eliminación del objeto de S3 actual y la creación de un nuevo objeto de S3. En la siguiente tabla se muestran operaciones de archivo de ejemplo y el impacto en los objetos de S3.

Operación de archivo Impacto de objetos de S3 Implicación de clase de almacenamiento

Renombrar archivo

Sustituye el objeto de S3 existente y crea un nuevo objeto de S3 para cada archivo

Pueden aplicarse cargos por eliminación anticipada y cargos por recuperación

Renombrar carpeta

Sustituye todos los objetos de S3 existentes y crea nuevos objetos de S3 para cada carpeta y archivos de la estructura de carpetas

Pueden aplicarse cargos por eliminación anticipada y cargos por recuperación

Cambiar permisos de archivo/carpeta

Sustituye el objeto de S3 existente y crea un nuevo objeto de S3 para cada archivo o carpeta

Pueden aplicarse cargos por eliminación anticipada y cargos por recuperación

Cambiar propiedad de archivo/carpeta

Sustituye el objeto de S3 existente y crea un nuevo objeto de S3 para cada archivo o carpeta

Pueden aplicarse cargos por eliminación anticipada y cargos por recuperación

Añadir a un archivo

Sustituye el objeto de S3 existente y crea un nuevo objeto de S3 para cada archivo

Pueden aplicarse cargos por eliminación anticipada y cargos por recuperación

Cuando un cliente NFS o SMB escribe un archivo en la gateway de archivos, la gateway de archivos carga los datos del archivo en Amazon S3 seguido de sus metadatos, (propiedades, marcas de tiempo, etc.). Al cargar los datos del archivo se crea un objeto de S3 y al cargar los metadatos del archivo se actualizan los metadatos del objeto de S3. Este proceso crea otra versión del objeto, lo que da lugar a dos versiones de un objeto. Si el control de versiones de S3 está habilitado, ambas versiones se almacenarán.

Cuando un cliente NFS o SMB modifica un archivo en la gateway de archivos después de cargarlo en Amazon S3, la gateway de archivos carga los datos nuevos o modificados en lugar de cargar todo el archivo. La modificación del archivo da como resultado la creación de una nueva versión del objeto de S3.

Cuando la gateway de archivos carga archivos más grandes, es posible que tenga que cargar fragmentos más pequeños del archivo antes de que el cliente termine de escribir en la gateway de archivos. Algunas razones para esto incluyen liberar espacio de caché o una alta tasa de escrituras en un recurso compartido de archivos. Esto puede dar lugar a varias versiones de un objeto en el bucket de S3.

Debe monitorizar su bucket de S3 para determinar cuántas versiones de un objeto existen antes de configurar políticas de ciclo de vida para mover objetos a diferentes clases de almacenamiento. Debe configurar el vencimiento del ciclo de vida de las versiones anteriores para minimizar el número de versiones que tiene para un objeto en su bucket de S3. El uso de la replicación en la misma región (SRR) o la replicación entre regiones (CRR) entre buckets de S3 aumentará el almacenamiento utilizado.

El volumen de las puertas de enlace

Para las gateways de volúmenes, puede utilizar volúmenes almacenados en caché o volúmenes almacenados.

Arquitectura de volúmenes en caché

Mediante el uso de volúmenes almacenados en caché, puede usar Amazon S3 como almacenamiento de datos principal manteniendo localmente los datos de acceso frecuente en la gateway de almacenamiento. Los volúmenes almacenados en caché reducen al mínimo la necesidad de escalar la infraestructura de almacenamiento local a la vez que proporcionan a sus aplicaciones acceso de baja latencia a los datos de acceso frecuente. Puede crear volúmenes de almacenamiento de hasta 32 TiB y asócielos como dispositivos iSCSI desde sus servidores de aplicaciones locales. La gateway almacena los datos que se escriben en estos volúmenes en Amazon S3 y conserva los datos leídos recientemente en la caché de la gateway de almacenamiento on-premises y en el almacenamiento del búfer de carga.

Los volúmenes almacenados en caché pueden oscilar entre 1 GiB entre y 32 años TiB de tamaño y debe redondearse al más cercano GiB. Cada gateway configurada para volúmenes almacenados en caché puede admitir hasta 32 volúmenes para un volumen de almacenamiento máximo total de 1024 TiB [EMPTY] PiB).

En la solución de volúmenes almacenados en caché, AWS Storage Gateway almacena todos los datos de las aplicaciones locales en un volumen de almacenamiento en Amazon S3. En el diagrama siguiente se proporciona información general de la implementación de los volúmenes almacenados en caché.

Una vez que haya instalado el dispositivo de software de Storage Gateway (la máquina virtual) en un host del centro de datos y lo haya activado, puede utilizar la Consola de administración de AWS para aprovisionar volúmenes de almacenamiento respaldados por Amazon S3. También puede aprovisionar volúmenes de almacenamiento mediante programación mediante la API de AWS Storage Gateway o las bibliotecas SDK de AWS. A continuación, puede montar estos volúmenes de almacenamiento en servidores de aplicaciones on-premises como dispositivos iSCSI.

También puede asignar discos on-premises para la MV. Estos discos on-premises sirven para los siguientes propósitos:

  • Discos para su uso por parte de la gateway como almacenamiento en caché – Mientras las aplicaciones escriben datos en los volúmenes de almacenamiento de AWS, la gateway primero almacena los datos en los discos locales utilizados para el almacenamiento en caché. A continuación, la gateway carga los datos en Amazon S3. El almacenamiento en caché funciona como un almacén on-premises permanente para los datos que están a la espera de cargarse desde el búfer de carga en Amazon S3.

    El almacenamiento en caché también permite que la gateway almacene los datos de acceso reciente de la aplicación on-premises para un acceso de baja latencia. Si la aplicación solicita datos, la gateway los busca en el almacenamiento en caché antes que en Amazon S3.

    Puede utilizar las siguientes directrices para determinar la cantidad de espacio en disco que se asigna para el almacenamiento en caché. Por lo general, debe asignar al menos el 20 por ciento del tamaño del almacén de archivos existente como almacenamiento en caché. El almacenamiento en caché, además, debe ser mayor que el búfer de carga. Esta última directriz contribuye a garantizar que el almacenamiento en caché sea suficientemente grande para almacenar todos los datos en el búfer de carga que aún no se hayan cargado en Amazon S3.

  • Discos utilizados por la gateway como búfer de carga: para preparar la carga en Amazon S3, la gateway también almacena datos de entrada en un área de almacenamiento transitorio que se denomina búfer de carga. La gateway carga estos datos del búfer a través de una conexión de capa de conexión segura (SSL) en AWS, donde se almacenan cifrados en Amazon S3.

Puede hacer copias de seguridad incrementales, denominadas instantáneas, de los volúmenes de almacenamiento en Amazon S3. Estas instantáneas instantáneas de un momento dado también se almacenan en Amazon S3 como instantáneas de Amazon EBS. Cuando se toma una nueva instantánea, solo se almacenan los datos modificados desde la última instantánea. Puede iniciar las instantáneas de manera programada o puntual. Cuando se elimina una instantánea, solo se borran los datos que no son necesarios para ninguna otra instantánea. Para obtener información sobre Amazon EBS para obtener más información, consulte Instantáneas de Amazon EBS.

Puede restaurar una instantánea de Amazon EBS en un volumen de almacenamiento de gateway si necesita recuperar una copia de seguridad de los datos. Como alternativa, para instantáneas de hasta 16 TiB de tamaño, puede utilizar la instantánea como punto de partida para una nueva Amazon EBS del volumen de. A continuación, puede asociar este nuevo volumen de Amazon EBS a una instancia Amazon EC2.

Todos los datos de gateway y de instantáneas de los volúmenes almacenados en caché se almacenan en Amazon S3 y se cifran en reposo mediante cifrado de servidor (SSE). Sin embargo, no puede obtener acceso a estos datos con la API de Amazon S3 u otras herramientas como la consola de administración de Amazon S3.

Arquitectura de volúmenes almacenados

Mediante el uso de volúmenes almacenados, puede almacenar los datos principales localmente y realizar una copia de seguridad asíncrona de los datos en AWS. Los volúmenes almacenados proporcionan aplicaciones locales con acceso de baja latencia a conjuntos de datos completos. Asimismo, proporcionan copias de seguridad duraderas externas. Puede crear volúmenes de almacenamiento y montarlos como dispositivos iSCSI desde los servidores de aplicaciones on-premises. Los datos escritos en los volúmenes almacenados se almacenan en el hardware de almacenamiento on-premises. Estos datos se copian de manera asíncrona en Amazon S3 en forma de instantáneas de Amazon Elastic Block Store (Amazon EBS).

Los volúmenes almacenados pueden oscilar entre 1 GiB entre y 16 años TiB de tamaño y debe redondearse al más cercano GiB. Cada gateway configurada para volúmenes almacenados puede admitir hasta 32 volúmenes y un almacenamiento de volumen total de 512 TiB (0,5 PiB).

Con los volúmenes almacenados, mantiene el almacenamiento de volumen on-premises en el centro de datos. Es decir, almacena todos los datos de aplicación en hardware de almacenamiento on-premises. A continuación, la gateway utiliza características que ayudan a mantener la seguridad de los datos para cargar datos en la nube de AWS para una copia de seguridad económica y una rápida recuperación de desastres. Esta solución es ideal si desea mantener los datos localmente on-premises, porque necesite un acceso de baja latencia a todos los datos y, además, mantener copias de seguridad en AWS.

En el diagrama siguiente se proporciona información general de la implementación de los volúmenes almacenados.

Después de instalar el dispositivo de software de AWS Storage Gateway (la máquina virtual) en un host del centro de datos y una vez activado, puede crear volúmenes de almacenamiento de la gateway. A continuación, deberá asignarlos a un sistema de almacenamiento local conectado directamente (DAS) o a discos de la red del área de almacenamiento (SAN). Puede comenzar con discos nuevos o discos que ya contengan datos. A continuación, puede montar estos volúmenes de almacenamiento en servidores de aplicaciones on-premises como dispositivos iSCSI. A medida que las aplicaciones on-premises escriben y leer datos en un volumen de almacenamiento de la gateway, estos datos se almacenan y se recuperan en el volumen de disco asignado.

Para preparar los datos para la carga en Amazon S3, la gateway almacena también los datos entrantes en un área de almacenamiento transitorio, que se denomina búfer de carga. Puede utilizar discos DAS o SAN on-premises para el almacenamiento de trabajo. La gateway carga datos desde el búfer de carga a través de una conexión de capa de conexión segura (SSL) cifrada en el servicio AWS Storage Gateway que se ejecuta en la nube de AWS. A continuación, el servicio almacena los datos cifrados en Amazon S3.

Puede hacer copias de seguridad incrementales, denominadas instantáneas, de los volúmenes de almacenamiento. La gateway almacena estas instantáneas en Amazon S3 como instantáneas de Amazon EBS. Cuando se toma una nueva instantánea, solo se almacenan los datos modificados desde la última instantánea. Puede iniciar las instantáneas de manera programada o puntual. Cuando se elimina una instantánea, solo se eliminan los datos que no son necesarios para ninguna otra instantánea.

Puede restaurar una instantánea de Amazon EBS en un volumen de almacenamiento de gateway local si necesita recuperar una copia de seguridad de los datos. También puede utilizar la instantánea como punto de partida para un nuevo volumen de Amazon EBS que, a continuación, puede asociar a una instancia Amazon EC2.

Gateways de cinta

Gateway de cinta ofrece una solución duradera y económica para archivar datos en la nube de AWS. Con su interfaz de biblioteca de cintas virtuales (VTL), puede utilizar la infraestructura de copia de seguridad existente basada en cintas para almacenar datos en cartuchos de cinta virtuales creados en la gateway de cinta. Cada gateway de cinta está preconfigurada con un cambiador de medios y unidades de cinta. Estos están disponibles para las aplicaciones de copia de seguridad cliente existentes como dispositivos iSCSI. Agregue los cartuchos de cinta que necesite para archivar los datos.

En el diagrama siguiente se proporciona información general de la implementación de gateway de cinta.

En el diagrama se identifican los siguientes componentes de la gateway de cinta:

  • Cinta virtual – Una cinta virtual es como un cartucho de cinta físico. Sin embargo, los datos de las cintas virtuales se almacenan en la nube de AWS. Al igual que las cintas físicas, las cintas virtuales pueden estar en blanco o contener datos escritos. Para crear cintas virtuales, puede utilizar la consola de Storage Gateway o crearlas mediante programación utilizando la API de Storage Gateway. Cada gateway puede contener hasta 1500 cintas o hasta 1 PiB del total de datos de cinta a la vez. El tamaño de cada cinta virtual, que puede configurar al crear la cinta, está entre 100 GiB y 5 TiB.

  • Biblioteca de cintas virtuales (VTL) – Una VTL es como una biblioteca de cintas física disponible en las instalaciones con brazos robóticos y unidades de cinta. La VTL incluye la colección de cintas virtuales almacenadas. Cada gateway de cinta viene con una VTL.

    Las cintas virtuales que cree aparecerán en la VTL de la gateway. Las cintas de la VTL están respaldadas por Amazon S3. Cuando el software de copia de seguridad escribe datos en la gateway, la gateway almacena los datos localmente y, a continuación, los carga de forma asíncrona en cintas virtuales de la VTL, es decir, en Amazon S3.

    • Unidad de cinta – Una unidad de cinta VTL es análoga a una unidad de cinta física que puede realizar E/S y buscar operaciones en una cinta. Cada VTL viene con un conjunto de 10 unidades de cinta, que están disponibles para la aplicación de copia de seguridad como dispositivos iSCSI.

    • Cambiador de medios – Un cambiador de medios VTL es análogo a un robot que mueve cintas en las ranuras de almacenamiento y unidades de cinta de una biblioteca de cintas física. Cada VTL viene con un cambiador de medios, que está disponible para la aplicación de copia de seguridad como un dispositivo iSCSI.

  • Archivar – El archivo es análogo a una instalación de almacenamiento de cinta externa. Puede archivar las cintas de la VTL de la gateway en el archivo de almacenamiento. Si es necesario, puede recuperar las cintas del archivo de almacenamiento y volver a colocarlas en la VTL de la gateway.

    • Archivado de cintas – Cuando el software de copia de seguridad expulsa una cinta, la gateway mueve la cinta al archivo para el almacenamiento a largo plazo. El archivo de almacenamiento se encuentra en la región de AWS en la que se ha activado la gateway. Las cintas archivadas se almacenan en la estantería de cintas virtuales (VTS). La VTS se basa en S3 Glacier o en S3 Glacier Deep Archive, un servicio de almacenamiento de bajo costo para archivar datos, crear copias de seguridad y para la retención de datos a largo plazo.

    • Recuperación de cintas – No puede leer cintas archivadas directamente. Para leer una cinta archivada, primero debe recuperarla en la gateway de cinta, ya sea mediante la consola de Storage Gateway o mediante la API de Storage Gateway.

      importante

      Si archiva una cinta en GLACIER, normalmente puede recuperarla en un plazo de entre 3 y 5 horas. Si archiva una cinta en DEEP_ARCHIVE, normalmente puede recuperarla en un plazo de 12 horas.

Después de implementar y activar una gateway de cinta, monte las unidades de cinta virtuales y el cambiador de medios en los servidores de aplicaciones on-premises como dispositivos iSCSI. Puede crear cintas virtuales según sea necesario. A continuación, puede utilizar la aplicación de software de copia de seguridad existente para escribir datos en las cintas virtuales. El cambiador de medios carga y descarga las cintas virtuales en las unidades de cinta virtuales para realizar operaciones de lectura y escritura.

Asignación de discos locales a la máquina virtual de la gateway

La máquina virtual de la gateway necesita discos locales, que deberá asignar para los siguientes fines:

  • Almacenamiento en caché: el almacenamiento en caché funciona como un almacén permanente para los datos que están a la espera de cargarse desde el búfer de carga en Amazon S3.

    Si su aplicación lee datos de una cinta virtual, la gateway guarda los datos en el almacenamiento en caché. La gateway almacena datos a los que se ha tenido acceso recientemente en el almacenamiento en caché para un acceso de baja latencia. Si la aplicación solicita datos de cinta, la gateway busca primero en el almacenamiento en caché antes de descargar los datos desde AWS.

  • Búfer de carga – El búfer de carga proporciona un área de ensayo para la gateway antes de cargar los datos en una cinta virtual. El búfer de carga también es muy importante para la creación de puntos de recuperación que puede utilizar para recuperar cintas de errores inesperados. Para obtener más información, consulte Necesita recuperar una cinta virtual desde una Gateway de cinta que no funciona correctamente.

Cuando la aplicación de copia de seguridad escribe datos en la gateway, esta copia los datos en el almacenamiento en caché y en el búfer de carga. A continuación, confirma que se ha completado la operación de escritura en la aplicación de copia de seguridad.

Para obtener instrucciones sobre la cantidad de espacio de disco que debe asignar para el almacenamiento en caché y el búfer de carga, consulte Decidir la cantidad de almacenamiento en disco local.