AWS Data Pipeline ya no está disponible para nuevos clientes. Los clientes actuales de AWS Data Pipeline pueden seguir utilizando el servicio con normalidad. Más información
Las traducciones son generadas a través de traducción automática. En caso de conflicto entre la traducción y la version original de inglés, prevalecerá la version en inglés.
Para garantizar que haya capacidad para todos los usuarios, AWS Data Pipeline impone límites a los recursos que puede asignar y a la velocidad a la que puede asignar los recursos.
Límites de la cuenta
Los siguientes límites se aplican a una sola AWS cuenta. Si necesita más capacidad, puede utilizar el formulario de solicitud del Centro de Amazon Web Services Support
| Atributo | Límite | Ajustable |
|---|---|---|
| Número de canalizaciones | 100 | Sí |
| Número de objetos por canalización | 100 | Sí |
| Número de instancias activas por objeto | 5 | Sí |
| Número de campos por objeto | 50 | No |
| Número de UTF8 bytes por nombre o identificador de campo | 256 | No |
| Número de UTF8 bytes por campo | 10 240 | No |
| Número de UTF8 bytes por objeto | 15 360 (incluidos los nombres de campos) | No |
| Tasa de creación de una instancia a partir de un objeto | 1 por cada 5 minutos | No |
| Reintentos actividad de una canalización | 5 por tarea | No |
| Retraso mínimo entre reintentos | 2 minutos | No |
| Intervalo de programación mínimo | 15 minutos | No |
| Número máximo de acumulaciones en un solo objeto | 32 | No |
| Número máximo de EC2 instancias por objeto de Ec2Resource | 1 | No |
Límites de llamadas a servicios web
AWS Data Pipeline limita la velocidad a la que puede llamar a la API del servicio web. Estos límites también se aplican a AWS Data Pipeline los agentes que llaman a la API del servicio web en su nombre, como la consola, la CLI y el Task Runner.
Los siguientes límites se aplican a una sola AWS cuenta. Esto significa que el uso total de la cuenta, incluido el de los usuarios de , no puede superar estos límites.
La frecuencia de ráfaga permite ahorrar llamadas a servicios web durante los períodos de inactividad y gastarlas en un breve período de tiempo. Por ejemplo, CreatePipeline tiene una tarifa normal de una llamada cada cinco segundos. Si no llama al servicio durante 30 segundos, habrá ahorrado seis llamadas. A continuación, podría llamar al servicio web seis veces en un segundo. Dado que este valor está por debajo del límite de ráfaga y mantiene la media de llamadas dentro del límite de frecuencia normal, las llamadas no se ven limitadas.
Si supera el límite de frecuencia y el límite de ráfaga, la llamada al servicio web produce un error y devuelve una excepción de limitación controlada. La implementación predeterminada de un proceso de trabajo, Task Runner, reintenta automáticamente las llamadas al API que fallan con una excepción de limitación controlada. Task Runner tiene un retardo para que los intentos posteriores de llamar al API se produzcan a intervalos cada vez mayores. Si escribe un proceso de trabajo, le recomendamos que implemente un lógica de reintentos similar.
Estos límites se aplican a una AWS cuenta individual.
| API | Límite de frecuencia normal | Límite de ráfaga |
|---|---|---|
| ActivatePipeline | 1 llamada por segundo | 100 llamadas |
| CreatePipeline | 1 llamada por segundo | 100 llamadas |
| DeletePipeline | 1 llamada por segundo | 100 llamadas |
| DescribeObjects | 2 llamadas por segundo | 100 llamadas |
| DescribePipelines | 1 llamada por segundo | 100 llamadas |
| GetPipelineDefinition | 1 llamada por segundo | 100 llamadas |
| PollForTask | 2 llamadas por segundo | 100 llamadas |
| ListPipelines | 1 llamada por segundo | 100 llamadas |
| PutPipelineDefinition | 1 llamada por segundo | 100 llamadas |
| QueryObjects | 2 llamadas por segundo | 100 llamadas |
| ReportTaskProgress | 10 llamadas por segundo | 100 llamadas |
| SetTaskStatus | 10 llamadas por segundo | 100 llamadas |
| SetStatus | 1 llamada por segundo | 100 llamadas |
| ReportTaskRunnerHeartbeat | 1 llamada por segundo | 100 llamadas |
| ValidatePipelineDefinition | 1 llamada por segundo | 100 llamadas |
Consideraciones de escalado
AWS Data Pipeline se escala para dar cabida a un gran número de tareas simultáneas y se puede configurar para que cree automáticamente los recursos necesarios para gestionar grandes cargas de trabajo. Usted mantiene el control de estos recursos que se crean automáticamente, y se tienen en cuenta para los límites de recursos de la cuenta de AWS . Por ejemplo, si configura AWS Data Pipeline la creación automática de un clúster Amazon EMR de 20 nodos para procesar datos y AWS su cuenta tiene EC2 un límite de instancias establecido en 20, podría agotar inadvertidamente los recursos de relleno disponibles. Como resultado, tenga en cuenta estas restricciones de recursos en el diseño o aumente los límites de su cuenta en consonancia.
Si necesita más capacidad, puede utilizar el formulario de solicitud del Centro de Amazon Web Services Support
