Rendimiento de Amazon EFS - Amazon Elastic File System

Si proporcionásemos una traducción de la versión en inglés de la guía, prevalecerá la versión en inglés de la guía si hubiese algún conflicto. La traducción se proporciona mediante traducción automática.

Rendimiento de Amazon EFS

A continuación, encontrará información general sobre el rendimiento de Amazon EFS y una explicación de los modos de rendimiento y desempeño disponibles, así como algunos consejos útiles sobre el rendimiento.

Información general sobre desempeño

Los sistemas de archivos Amazon EFS se distribuyen a través de un número sin restricciones de servidores de almacenamiento. Este diseño de almacenamiento de datos distribuido permite que los sistemas de archivos crezcan de manera elástica escalando hasta petabytes y permite un acceso masivo en paralelo desde las instancias Amazon EC2 hasta los datos. El diseño distribuido de Amazon EFS evita los atascos y las restricciones inherentes a los servidores de archivos tradicionales.

Este diseño de almacenamiento de datos distribuido significa que las aplicaciones multiproceso y las que acceden simultáneamente a datos desde varias instancias Amazon EC2 pueden generar niveles considerables de capacidad de proceso total e IOPS. Las cargas de trabajo de análisis y big data, los flujos de trabajo de procesamiento de contenido multimedia, la administración de contenido y los servicios web son ejemplos de estas aplicaciones.

Además, los datos de Amazon EFS se distribuyen en varias zonas de disponibilidad, proporcionando un alto nivel de durabilidad y disponibilidad. Las siguientes tablas comparan el desempeño de alto nivel y las características de almacenamiento para servicios de almacenamiento en la nube de archivos y bloques de Amazon.

Comparación de rendimiento, Amazon EFS y Amazon EBS
Amazon EFS IOPS provisionadas de Amazon EBS
Latencia por operación Latencia coherente, baja. Latencia coherente, más baja.
Escala de desempeño Más de 10 GB por segundo. Hasta 2 GB por segundo.
Comparación de características de almacenamiento, Amazon EFS y Amazon EBS
Amazon EFS IOPS provisionadas de Amazon EBS
Disponibilidad y durabilidad Los datos se almacenan de forma redundante en varias zonas de disponibilidad. Los datos se almacenan de forma redundante en una única zona de disponibilidad.
Acceder a . Hasta miles de instancias Amazon EC2, de varias zonas de disponibilidad, se pueden conectar simultáneamente a un sistema de archivos. Una sola instancia Amazon EC2 en una única zona de disponibilidad se puede conectar a un sistema de archivos.
Casos de uso Análisis y big data, flujos de trabajo de procesamiento de contenido multimedia, administración de contenido, servicios web y directorios principales. Volúmenes de start-up, bases de datos transaccionales y NoSQL, almacenamiento de datos y ETL.

La naturaleza distribuida de Amazon EFS permite obtener altos niveles de disponibilidad, durabilidad y escalabilidad. Esta arquitectura distribuida da lugar a un costo de latencia pequeño por cada operación con archivos. Debido a esta latencia por operación, el desempeño global suele aumentar a la par que el tamaño medio de E/S, porque el costo se amortiza con la mayor cantidad de datos. Amazon EFS es compatible con cargas de trabajo muy paralelizadas (por ejemplo, con operaciones simultáneas desde varios subprocesos y varias instancias Amazon EC2), lo que permite obtener niveles elevados de capacidad de proceso total y operaciones por segundo.

Casos de uso de Amazon EFS

Amazon EFS está diseñado para satisfacer las necesidades de desempeño de los siguientes casos de uso.

Big data y análisis

Amazon EFS ofrece la escala y desempeño requeridos para aplicaciones de big data que requieren un desempeño elevado para nodos de computación acoplados con coherencia de lectura tras escritura y operaciones de archivo de baja latencia.

Flujos de trabajo de procesamiento multimedia

Los flujos de trabajo multimedia como la edición de vídeo, producción de estudio, procesamiento de difusión, diseño de sonido y renderizado suelen depender del almacenamiento compartido para manipular archivos grandes. Un modelo de consistencia de datos sólido con una desempeño elevado y acceso a archivos compartido puede reducir el tiempo que tardan en realizarse estas tareas y consolidar varios repositorios de archivos locales en una única ubicación para todos los usuarios.

Administración de contenido y servicios web

Amazon EFS ofrece un sistema de archivos de desempeño elevado y duradero para sistemas de administración de contenido que almacenan y sirven información para diversas aplicaciones como sitios web, publicaciones online y archivos.

Directorios de inicio

Amazon EFS puede proporcionar almacenamiento para organizaciones que tengan muchos usuarios que necesitan acceso y compartan conjuntos de datos comunes. Un administrador puede utilizar Amazon EFS para crear un sistema de archivos accesible al personal a través de una organización y establecer permisos para usuarios y grupos en el nivel de archivo o de directorio.

Modos de rendimiento

Para ofrecer compatibilidad con una amplia variedad de cargas de trabajo de almacenamiento en la nube, Amazon EFS ofrece dos modos de desempeño. El modo de desempeño de un sistema de archivos se elige cuando se crea.

Los dos modos de desempeño no tienen costos adicionales, por lo que el sistema de archivos de Amazon EFS se factura y se mide igual, independientemente del modo de desempeño. Para obtener más información sobre los límites de sistemas de archivos, consulte Cuotas para los sistemas de archivos de Amazon EFS.

nota

El modo de desempeño de un sistema de archivos de Amazon EFS no se puede cambiar después de haber creado el sistema de archivos.

Modo de desempeño de uso general

Le recomendamos el modo de desempeño de uso general para la mayoría de sus sistemas de archivos de Amazon EFS. El uso general es ideal para casos de uso que dependen de la latencia, como entornos de servidores web, sistemas de administración de contenido, directorios de inicio y servicios de archivos generales. Si no elige un modo de desempeño al crear su sistema de archivos, Amazon EFS selecciona el modo de uso general por usted de forma predeterminada.

Modo de desempeño de E/S máx.

Los sistemas de archivos en el modo E/S máxima se pueden escalar a niveles superiores de rendimiento agregado y operaciones por segundo. Este escalado se realiza con un intercambio de latencias ligeramente superiores para las operaciones de archivos de metadatos. Las aplicaciones y cargas de trabajo muy paralelizadas, como los de análisis de big data, procesamiento de archivos multimedia y análisis de genómica, se pueden beneficiar de este modo.

Uso del modo de rendimiento correcto

Nuestra recomendación para determinar qué tipo de desempeño debe usar es la siguiente:

  1. Cree un nuevo sistema de archivos mediante el modo de rendimiento de uso general predeterminado.

  2. Ejecute la aplicación (o un caso de uso similar a la aplicación) durante un periodo de tiempo para probar su desempeño.

  3. Supervise el métrica PercentIOLimit de Amazon CloudWatch para Amazon EFS durante la prueba de rendimiento. Para obtener más información acerca de cómo obtener acceso a esta y a otras métricas, consulte Métricas de Amazon CloudWatch.

Si el porcentaje de PercentIOLimit devuelto era del 100 por ciento o un valor próximo para una cantidad de tiempo significativa durante la prueba, su aplicación debería utilizar el modo de desempeño de E/S máxima. De lo contrario, debería utilizar el modo de uso general.

Para pasar a otro modo de desempeño, migre los datos a otro sistema de archivos que se creara en el otro modo de desempeño. Puede utilizar DataSync para transferir archivos entre dos sistemas de archivos de EFS. Para obtener más información, consulte Transferencia de datos a Amazon EFS.

Algunas cargas de trabajo sensibles a la latencia requieren los niveles de E/S más altos proporcionados por el modo de desempeño de E/S máximo y la latencia más baja proporcionada por el modo de desempeño de uso general. Para este tipo de carga de trabajo, recomendamos crear varios sistemas de archivos en modo de desempeño de uso general. En este caso, le recomendamos que distribuya la carga de trabajo de la aplicación entre todos estos sistemas de archivos, siempre que la carga de trabajo y las aplicaciones lo admitan.

Al adoptar este enfoque, puede crear un sistema de archivos lógico y fragmentar datos en varios sistemas de archivos de EFS. Cada sistema de archivos se monta como un subdirectorio y su aplicación puede obtener acceso a estos subdirectorios en paralelo. Este enfoque permite que las cargas de trabajo sensibles a la latencia se escalen a niveles superiores de operaciones del sistema de archivos por segundo, agregadas en varios sistemas de archivos. Al mismo tiempo, estas cargas de trabajo pueden aprovechar las latencias más bajas que ofrecen los sistemas de archivos del modo de desempeño de uso general.

Modos de desempeño

Existen dos modos de desempeño entre los que elegir para su sistema de archivos: desempeño por ráfagas y aprovisionado. Con el modo Rendimiento por ráfagas, el rendimiento de Amazon EFS se escala cuando aumenta el tamaño del sistema de archivos en la clase de almacenamiento estándar. Para obtener más información acerca de las clases de almacenamiento de EFS, consulte Clases de almacenamiento de EFS. Con el modo Desempeño aprovisionado, puede aprovisionar al instante el desempeño de su sistema de archivos (en MiB/s), independientemente de la cantidad de datos almacenados.

nota

Puede reducir el desempeño del sistema de archivos en el modo aprovisionado, siempre que hayan transcurrido más de 24 horas desde la última disminución. Además, puede cambiar entre el modo de desempeño aprovisionado y el modo de desempeño por ráfagas predeterminado, siempre que hayan transcurrido más de 24 horas desde el último cambio del modo de desempeño.

Escalado de desempeño con el modo por ráfagas

Con el modo Rendimiento por ráfagas, el rendimiento de Amazon EFS se escala cuando aumenta el sistema de archivos en la clase de almacenamiento estándar. Las cargas de trabajo basadas en archivos suelen presentar picos, lo que genera altos niveles de desempeño durante periodos de tiempo breves y bajos niveles de desempeño el resto del tiempo. Para adaptarse a estas condiciones, Amazon EFS se ha diseñado para transmitir por ráfagas altos niveles de desempeño durante periodos de tiempo.

Todos los sistemas de archivos, con independencia de su tamaño, pueden transmitir por ráfagas hasta 100 MB/s de desempeño. Los que tienen más de 1 TiB en la clase de almacenamiento estándar pueden aumentar hasta 100 MiB/s por TiB de datos almacenados en el sistema de archivos. Por ejemplo, un sistema de archivos de 10 TiB pueden transmitir por ráfagas hasta 1000 MiB/s de desempeño (10 TiB x 100 MiB/s/TiB). La parte de tiempo que un sistema de archivos puede transmitir por ráfagas se determina por su tamaño. El modelo de transmisión por ráfagas se ha diseñado para que las cargas de trabajo típicas del sistema de archivos puedan transmitir por ráfagas prácticamente en cualquier momento que sea necesario. Para los sistemas de archivos con el modo de rendimiento por ráfagas, la velocidad permitida se determina en función de la cantidad de datos almacenados únicamente en la clase de almacenamiento Estándar. Para obtener más información acerca de las clases de almacenamiento de EFS, consulte Clases de almacenamiento de EFS.

Amazon EFS utiliza un sistema de crédito para determinar cuándo pueden transmitir por ráfagas los sistemas de archivos. Cada sistema de archivos obtiene créditos a lo largo del tiempo a una tasa inicial que se determina en función del tamaño del sistema de archivos que está almacenado en la clase de almacenamiento estándar. Un sistema de archivos utiliza estos créditos cuando lee o escribe datos. La tasa inicial es de 50 MiB/s por TiB de almacenamiento (equivalente a 50 KiB/s por GiB de almacenamiento).

Los créditos de ráfaga acumulados ofrecen al sistema de archivos la capacidad para incrementar el desempeño por encima de su tasa inicial. Un sistema de archivos puede incrementar el desempeño de forma continua a su tasa inicial y cuando está inactivo o el desempeño está por debajo de su tasa inicial, el sistema de archivos acumula créditos de ráfaga.

Por ejemplo, un sistema de archivos de 100 GiB puede transmitir por ráfagas (a 100 MiB/s) durante el 5 por ciento del tiempo si está inactivo el 95 por ciento restante. En un periodo de 24 horas, el sistema de archivos gana crédito por un valor de 432 000 MiBs, que se puede utilizar para transmitir por ráfagas a 100 MiB/s durante 72 minutos.

Los sistemas de archivos mayores de 1 TiB siempre puedan transmitir por ráfagas hasta un 50 por ciento del tiempo si están inactivos el 50 por ciento restante.

La siguiente tabla ofrece ejemplos de comportamiento de transmisión por ráfagas.

Tamaño del sistema de archivos Desempeño total de lectura/escritura
Un sistema de archivos de 100 GiB puede...
  • Transmitir por ráfagas hasta 100 MB/s durante un máximo de 72 minutos al día o

  • Llegar hasta 5 MB/s de manera continuada

Un sistema de archivos de 1 TiB puede...
  • Transmitir por ráfagas a 100 MiB/s durante 12 horas al día o

  • Llegar a 50 MB/s de manera continuada

Un sistema de archivos de 10 TiB puede...
  • Transmitir por ráfagas a 1 GiB/s durante 12 horas al día o

  • Llegar a 500 MB/s de manera continuada

Por lo general, un sistema de archivos de mayor tamaño puede...
  • Transmitir por ráfagas a 100 MiB/s por TiB de almacenamiento durante 12 horas al día, o

  • Llegar a 50 MiB/s por TiB de almacenamiento de forma continua

nota

Amazon EFS proporciona un rendimiento de 1 MiB/s a todos los sistemas de archivos, incluso si la tasa de referencia es inferior.

El tamaño del sistema de archivos utilizado a la hora de determinar la tasa inicial y la tasa de ráfaga es el mismo que el tamaño medido disponibles a través de la operación DescribeFileSystems.

Los sistemas de archivos pueden obtener hasta un saldo de crédito máximo de 2,1 TiB para sistemas de archivos de tamaño inferior a 1 TiB o de 2,1 TiB por TiB almacenado para sistemas de archivos mayores de 1 TiB. Este concepto implica que los sistemas de archivos pueden acumular créditos suficientes para transmitir por ráfagas de forma continua durante un máximo de 12 horas.

La tabla siguiente proporciona ejemplos más detallados del comportamiento de transmisión por ráfagas de sistemas de archivos de diferentes tamaños.

Tamaño del sistema de archivos (GiB) Desempeño total base (MiB/s) Desempeño total por ráfaga (MiB/s) Duración de ráfaga máxima (Min/Día) % de tiempo que el sistema de archivos puede transmitir por ráfaga (al día)
-10 0,5 -100 7.2 0,5%
256 12,5 100 180 12,5%
512 25.0 100 360 25,0%
1024 50.0 100 720 50,0 %
1536 75.0 150 720 50,0 %
2048 100.0 200 720 50,0 %
3072 150.0 300 720 50,0 %
4096 200.0 400 720 50,0 %
nota

* Para sistemas de archivos de menores de 20 GiB, el rendimiento mínimo es de 1 MiB/s.

Como se mencionó anteriormente, los nuevos sistemas de archivos tienen un saldo de crédito de ráfaga inicial de 2,1 TiB. Con este saldo de partida, puede transmitir por ráfagas a 100 MB/s durante 6,12 horas sin gastar ningún crédito que haya ganado con su almacenamiento. Esta fórmula inicial se calcula como 2.1 x 1024 x (1024/100/3600) para obtener 6,116 horas, redondeadas a 6,12.

Administración de créditos de ráfagas

Cuando un sistema de archivos tiene un saldo de créditos de ráfaga positivo, puede transmitir por ráfagas. Puede consultar el saldo de créditos de ráfaga para un sistema de archivos consultando la métrica BurstCreditBalance de Amazon CloudWatch para Amazon EFS. Para obtener más información acerca de cómo obtener acceso a esta y otras métricas, consulte Monitorizar Amazon EFS.

La capacidad de ráfaga (tanto en términos de duración de tiempo como de tasa de ráfaga) de un sistema de archivos está directamente relacionada con su tamaño. Los sistemas de archivos más grandes pueden transmitir por ráfagas a tasas mayores durante períodos más largos. En algunos casos, es posible que la aplicación necesite transmitir por ráfagas más (es decir, es posible que su sistema de archivos se esté quedando sin créditos de ráfaga). En estos casos, debería aumentar el tamaño del sistema de archivos, o bien cambiar al modo de desempeño aprovisionado.

Utilice los patrones de desempeño históricos para calcular el tamaño del sistema de archivos que necesita para mantener el nivel de actividad que quiere. Los pasos siguientes describen cómo hacerlo:

Para calcular el tamaño del sistema de archivos que necesita para mantener la actividad de nivel que desea

  1. Identifique sus necesidades de desempeño atendiendo a su historial de uso. Desde la consola de Amazon CloudWatch, marque la estadística sum de la métrica TotalIOBytes con agregación diaria, durante los últimos 14 días. Identifique el día con el mayor valor para  TotalIOBytes.

  2. Divida este número por 24 horas, 60 minutos, 60 segundos y 1 024 bytes para obtener el valor medio de KiB/segundo que la aplicación necesitó ese día.

  3. Calcule el tamaño del sistema de archivos (en GiB) necesario para mantener este desempeño medio dividiendo la cifra de desempeño media (en KiB/s) por la cifra de desempeño de referencia (50 KiB/s/GiB) que proporciona EFS.

Especificación del desempeño con el modo aprovisionado

El modo de desempeño aprovisionado está disponible para aplicaciones con alta proporción de desempeño por almacenamiento (MiB/s por TiB) o con requisitos mayores que lo que permite el modo de desempeño por ráfagas. Por ejemplo, supongamos que utiliza Amazon EFS para herramientas de desarrollo, servicios web o aplicaciones de administración de contenido en los que la cantidad de datos en su sistema de archivos es baja en relación con las demandas de desempeño. Ahora el sistema de archivos puede obtener los altos niveles de desempeño que requieren sus aplicaciones sin tener que dejar margen en el sistema de archivos.

Existen cargos adicionales asociados con el uso del modo de desempeño aprovisionado. Con el modo de rendimiento provisionado, se le facturará por el almacenamiento que utilice y por el rendimiento que aprovisione por encima de lo que se le ha proporcionado. El volumen de rendimiento que se le proporcione se basa en la cantidad de datos almacenados en la clase de almacenamiento Estándar. Para obtener más información acerca de las clases de almacenamiento de EFS, consulte Clases de almacenamiento de EFS. Para obtener más información acerca de los precios, consulte Precios de Amazon EFS.

Los límites de desempeño siguen siendo los mismos, independientemente del modo de desempeño que elija. Para obtener más información sobre estos límites, consulte Cuotas de Amazon EFS que puede incrementar.

Si el sistema de archivos se encuentra en el modo de desempeño aprovisionado, puede aumentar el desempeño aprovisionado de su sistema de archivos con la frecuencia que desee. Puede reducir el desempeño del sistema de archivos en el modo aprovisionado, siempre que hayan transcurrido más de 24 horas desde la última disminución. Además, puede cambiar entre el modo de desempeño aprovisionado y el modo de desempeño por ráfagas predeterminado, siempre que hayan transcurrido más de 24 horas desde el último cambio del modo de desempeño.

Si el tamaño medido del sistema de archivos proporciona una mayor tasa inicial que la cantidad de desempeño que ha aprovisionado, su sistema de archivos sigue el modelo predeterminado de desempeño por ráfagas de Amazon EFS. No se incurren en gastos por el desempeño aprovisionado por debajo de la concesión del sistema de archivos en el modo de desempeño por ráfagas. Para obtener más información, consulte Escalado de desempeño con el modo por ráfagas.

Uso del modo de desempeño correcto

De forma predeterminada, le recomendamos que ejecute la aplicación en el modo de desempeño por ráfagas. Si tiene problemas de rendimiento, compruebe la métrica de BurstCreditBalance CloudWatch. Si el valor de la métrica de BurstCreditBalance es cero o desciende de forma uniforme, el desempeño aprovisionado es el adecuado para su aplicación.

En algunos casos, el sistema de archivos podría ejecutarse en modo de desempeño aprovisionado sin generar ningún problema de rendimiento. Sin embargo, al mismo tiempo, su BurstCreditBalance aumenta continuamente durante largos períodos de operaciones normales. En ese caso, baraje la posibilidad de reducir la cantidad de desempeño aprovisionado para reducir costes.

Si tiene previsto migrar grandes cantidades de datos a su sistema de archivos, baraje la posibilidad de cambiar al modo de desempeño aprovisionado. En este caso, puede aprovisionar un desempeño superior a su capacidad de ráfaga asignada para acelerar la carga de datos. Tras la migración, baraje la posibilidad de reducir la cantidad de desempeño aprovisionado o de cambiar al modo de desempeño por ráfagas para las operaciones normales.

Compare el desempeño medio al que dirige el sistema de archivos con la métricaPermittedThroughput. Si el desempeño medio calculado al que está dirigiendo el sistema de archivos es inferior al permitido, baraje la posibilidad de cambiar el desempeño para reducir costes.

En algunos casos, el desempeño medio calculado durante las operaciones normales puede ser igual o inferior a la relación entre el desempeño de referencia y la capacidad de almacenamiento en el modo de desempeño por ráfagas. Esa relación es de 50 MiB/s por TiB de datos almacenados. En estos casos, baraje la posibilidad de cambiar al modo de desempeño por ráfagas. En otros casos, el desempeño medio calculado durante las operaciones normales podría estar por encima de esta relación. En estos casos, baraje la posibilidad de reducir el desempeño aprovisionado a un punto entre el desempeño aprovisionado actual y el desempeño medio calculado durante las operaciones normales.

Puede cambiar el modo de desempeño de su sistema de archivos con el Consola de administración de AWS, el AWS CLI o la API de EFS. Con la CLI, utilice la acción update-file-system. Con la API de EFS, utilice la operación UpdateFileSystem.

nota

Tal como se ha mencionado anteriormente, los nuevos sistemas de archivos disponen de un saldo de créditos de ráfaga inicial de 2,1 TB. Con este saldo de partida, puede transmitir por ráfagas a 100 MB/s durante 6,12 horas sin gastar ningún crédito que haya ganado con su almacenamiento. Esta fórmula inicial se calcula como 2.1 x 1024 x (1024/100/3600) para obtener 6,116 horas, redondeadas a 6,12.