Crear un MSK clúster de Amazon

importante

No puedes cambiar el VPC de un MSK clúster de Amazon después de crearlo.

Antes de poder crear un MSK clúster de Amazon, necesitas tener un Amazon Virtual Private Cloud (VPC) y configurar subredes dentro de él. VPC

Se necesitan dos subredes en dos zonas de disponibilidad diferentes en la región Oeste de EE. UU. (Norte de California). En todas las demás regiones en las que Amazon MSK está disponible, puedes especificar dos o tres subredes. Todas las subredes deben estar en diferentes zonas de disponibilidad. Al crear un clúster, Amazon MSK distribuye los nodos del broker de manera uniforme en las subredes que especifique.

Tamaños de los corredores

Cuando creas un MSK clúster de Amazon, especificas el tamaño de los corredores que quieres que tenga. Amazon MSK admite los siguientes tamaños de corredores:

• kafka.t3.small

• kafka.m5.large, kafka.m5.xlarge, kafka.m5.2xlarge, kafka.m5.4xlarge, kafka.m5.8xlarge, kafka.m5.12xlarge, kafka.m5.16xlarge, kafka.m5.24xlarge

• kafka.m7g.large, kafka.m7g.xlarge, kafka.m7g.2xlarge, kafka.m7g.4xlarge, kafka.m7g.8xlarge, kafka.m7g.12xlarge, kafka.m7g.16xlarge

Los corredores M7g utilizan procesadores AWS Graviton (procesadores personalizados basados en ARM creados por Amazon Web Services). Los corredores M7g ofrecen una mejor relación precio-rendimiento en comparación con las instancias M5 comparables. Los corredores M7g consumen menos energía que las instancias M5 comparables.

Los corredores M7g Graviton no están disponibles en estas regiones: CDG (París), (Yakarta), CGK CPT (Ciudad del Cabo), (Dubái), DXB (Hong Kong), HKG (Osaka), KIX (Londres), (Melbourne), LHR (Milán), MEL (EEUU-Este), MXP OSU (EEUU-Oeste), PDT (Tel Aviv), (Calgary), TLV (Zúrich). YYC ZRH

MSKes compatible con los corredores M7g en clústeres que ejecuten una de las siguientes versiones de Kafka:

• 2.8.2. En niveles

• 3.3.2

• 3.4.0

• 3.5.1

• 3.6.0 con almacenamiento por niveles

• 3.7.x

• 3.7.x.kraft

Los corredores M7g y M5 tienen un rendimiento de rendimiento de referencia superior al de los corredores T3 y se recomiendan para las cargas de trabajo de producción. Los corredores M7g y M5 también pueden tener más particiones por corredor que los corredores T3. Utilice los intermediarios M7g o M5 si está ejecutando cargas de trabajo de producción más grandes o si necesita un mayor número de particiones. Para obtener más información sobre los tamaños de las instancias M7g y M5, consulta Amazon EC2 General Purpose Instances.

Los corredores de T3 tienen la capacidad de utilizar los CPU créditos para aumentar temporalmente el rendimiento. Utilice los agentes T3 para el desarrollo de bajo costo, si está probando cargas de trabajo de streaming de pequeñas a medianas, o si tiene cargas de trabajo de streaming de bajo rendimiento que experimentan picos temporales en el rendimiento. Le recomendamos que realice una proof-of-concept prueba para determinar si los corredores T3 son suficientes para la producción o para una carga de trabajo crítica. Para obtener más información sobre los tamaños de los corredores T3, consulte Amazon EC2 T3 Instances.

Para obtener más información sobre cómo elegir los tamaños de los corredores, consulte. Prácticas recomendadas

Crear un clúster mediante el AWS Management Console

Este proceso describe la tarea común de crear un clúster aprovisionado mediante opciones de creación personalizadas. Puede seleccionar otras opciones en la MSK consola para crear un clúster sin servidor.

1. Abre la MSK consola de Amazon enhttps://console.aws.amazon.com/msk/.

2. Elija Create cluster.

3. Para el método de creación de clústeres, selecciona Creación personalizada.

4. Especifique un nombre de clúster que sea único y no tenga más de 64 caracteres.

5. Para el tipo de clúster, elija Provisionado, que le permite especificar el número de agentes, el tamaño del agente y la capacidad de almacenamiento del clúster.

6. Seleccione la versión de Apache Kafka que desee ejecutar en los corredores. Para ver una comparación de MSK las funciones compatibles con cada versión de Apache Kafka, seleccione Ver compatibilidad de versiones.

7. Según la versión de Apache Kafka que seleccione, puede elegir el modo de metadatos del clúster: ZooKeeper o. KRaft

8. Seleccione un tamaño de agente para usarlo en el clúster en función de las necesidades de procesamiento, memoria y almacenamiento del clúster. Consulte Tamaños de los corredores,

9. Seleccione el número de zonas en las que se distribuyen los corredores.

10. Especifique el número de corredores que desea MSK crear en cada zona de disponibilidad. El mínimo es un agente por zona de disponibilidad y el máximo es de 30 agentes por clúster para los clústeres ZooKeeper basados y 60 agentes por clúster para los clústeres KRaft basados.

11. Seleccione la cantidad inicial de almacenamiento que desea que tenga su clúster. No puedes reducir la capacidad de almacenamiento después de crear el clúster.

12. Según el tamaño del agente (tamaño de la instancia) que haya seleccionado, puede especificar el rendimiento del almacenamiento aprovisionado por agente. Para activar esta opción, elija el tamaño del broker (tamaño de instancia) kafka.m5.4xlarge o superior para las instancias x86 y kafka.m7g.2xlarge o superior para las instancias basadas en Graviton. Consulte Aprovisionamiento de rendimiento de almacenamiento.

13. Seleccione una opción de modo de almacenamiento en clúster, ya sea solo almacenamiento o almacenamiento y almacenamiento por niveles. EBS EBS

14. Si desea crear y usar una configuración de clúster personalizada (o si ya tiene guardada una configuración de clúster), elija una configuración. De lo contrario, puede crear el clúster con la configuración de clúster MSK predeterminada de Amazon. Para obtener información sobre MSK las configuraciones de Amazon, consulteMSKConfiguración de Amazon.

15. Seleccione Siguiente.

16. En cuanto a la configuración de red, VPC elija la que desee usar para el clúster.

17. En función del número de zonas que haya seleccionado anteriormente, especifique las zonas de disponibilidad y las subredes en las que se desplegarán los agentes. Las subredes deben estar en diferentes zonas de disponibilidad.

18. Puede seleccionar uno o más grupos de seguridad a los que desee dar acceso a su clúster (por ejemplo, los grupos de seguridad de las máquinas cliente). Si especifica grupos de seguridad que comparten con usted, debe asegurarse de tener permisos para usarlos. En concreto, necesita el permiso ec2:DescribeSecurityGroups. Conexión a un MSK clúster de Amazon.

19. Seleccione Siguiente.

20. Seleccione los métodos de control de acceso y la configuración de cifrado del clúster para cifrar los datos a medida que transitan entre clientes y corredores. Para obtener más información, consulte Cifrado en tránsito.

21. Elija el tipo de KMS clave que desee utilizar para cifrar los datos en reposo. Para obtener más información, consulte Cifrado en reposo.

22. Seleccione Siguiente.

23. Elija la supervisión y las etiquetas que desee. Esto determina el conjunto de métricas que obtiene. Para obtener más información, consulte Supervisión de un MSK clúster de Amazon. Amazon CloudWatch, Prometheus, Broker log delivery o Cluster tags y, a continuación, selecciona Siguiente.

24. Revisa la configuración de tu clúster. Para volver atrás y cambiar la configuración, selecciona Anterior para volver a la pantalla de la consola anterior o Editar para cambiar la configuración específica del clúster. Si la configuración es correcta, seleccione Crear clúster.

25. Compruebe el estado del clúster en Estado, en la página Resumen del clúster. El estado cambia de Creando a Activo a medida que Amazon MSK aprovisiona el clúster. Cuando el estado sea Activo, puede conectarse al clúster. Para obtener más información acerca del estado de un clúster, consulte Estados del clúster.

Crear un clúster mediante el AWS CLI

1. Copie lo siguiente JSON y guárdelo en un archivo. Nombre el archivo brokernodegroupinfo.json. Sustituya la subred IDs por JSON los valores que correspondan a sus subredes. Estas subredes deben estar en diferentes zonas de disponibilidad. Reemplazar "Security-Group-ID" por el ID de uno o más grupos de seguridad del cliente. VPC Los clientes asociados a estos grupos de seguridad obtienen acceso al clúster. Si especifica grupos de seguridad que se han compartido con usted, debe asegurarse de que tiene permisos para ellos. En concreto, necesita el permiso ec2:DescribeSecurityGroups. Para ver un ejemplo, consulte AmazonEC2: permite gestionar los grupos de EC2 seguridad de Amazon asociados a un objeto específicoVPC, mediante programación y en la consola. Por último, guarda el JSON archivo actualizado en el ordenador en el AWS CLI que lo tienes instalado.

   {
     "InstanceType": "kafka.m5.large",
     "ClientSubnets": [
       "Subnet-1-ID",
       "Subnet-2-ID"
     ],
     "SecurityGroups": [
       "Security-Group-ID"
     ]
   }

   importante

   Especifique exactamente dos subredes si utiliza la región EE.UU. Oeste (Norte de California). Para otras regiones en las que Amazon MSK está disponible, puedes especificar dos o tres subredes. Las subredes que especifique deben estar en distintas zonas de disponibilidad. Al crear un clúster, Amazon MSK distribuye los nodos del broker de manera uniforme en las subredes que especifique.

2. Ejecute el siguiente AWS CLI comando en el directorio donde guardó el brokernodegroupinfo.json archivo, sustituyéndolo "Your-Cluster-Name" con un nombre de su elección. En "Monitoring-Level", puede especificar uno de los tres valores siguientes:DEFAULT,PER_BROKER, oPER_TOPIC_PER_BROKER. Para obtener información sobre estos tres niveles diferentes de supervisión, consulte Supervisión de un MSK clúster de Amazon. El parámetro enhanced-monitoring es opcional. Si no lo especifica en el comando create-cluster, obtendrá el nivel de supervisión DEFAULT.

   aws kafka create-cluster --cluster-name "Your-Cluster-Name" --broker-node-group-info file://brokernodegroupinfo.json --kafka-version "2.8.1" --number-of-broker-nodes 3 --enhanced-monitoring "Monitoring-Level"

   El resultado del comando tiene el siguiente aspectoJSON:

   {
       "ClusterArn": "...",
       "ClusterName": "AWSKafkaTutorialCluster",
       "State": "CREATING"
   }

   nota

   El comando create-cluster puede devolver un error que indica que una o más subredes pertenecen a zonas de disponibilidad no compatibles. Cuando esto sucede, el error indica qué zonas de disponibilidad no son compatibles. Cree subredes que no utilicen las zonas de disponibilidad no admitidas e intente ejecutar el comando create-cluster de nuevo.

3. Guarde el valor de la clave ClusterArn, ya que lo necesitará para realizar otras acciones en el clúster.

4. Ejecute el siguiente comando para comprobar el STATE del clúster. El STATE valor cambia de CREATING a ACTIVE cuando Amazon MSK aprovisiona el clúster. Cuando el estado sea ACTIVE, podrá conectarse al clúster. Para obtener más información acerca del estado de un clúster, consulte Estados del clúster.

   aws kafka describe-cluster --cluster-arn <your-cluster-ARN>

Crear un clúster con una MSK configuración de Amazon personalizada mediante el AWS CLI

Para obtener información sobre MSK las configuraciones personalizadas de Amazon y cómo crearlas, consultaMSKConfiguración de Amazon.

1. Guarde lo siguiente JSON en un archivo y reemplace configuration-arn con ARN la configuración que desee usar para crear el clúster.

   {
       "Arn": configuration-arn,
       "Revision": 1
   }

2. Ejecute el create-cluster comando y utilice la configuration-info opción para apuntar al JSON archivo que guardó en el paso anterior. A continuación, se muestra un ejemplo.

   aws kafka create-cluster --cluster-name ExampleClusterName --broker-node-group-info file://brokernodegroupinfo.json --kafka-version "2.8.1" --number-of-broker-nodes 3 --enhanced-monitoring PER_TOPIC_PER_BROKER --configuration-info file://configuration.json

   El siguiente es un ejemplo de una respuesta correcta después de ejecutar este comando.

   {
       "ClusterArn": "arn:aws:kafka:us-east-1:123456789012:cluster/CustomConfigExampleCluster/abcd1234-abcd-dcba-4321-a1b2abcd9f9f-2",
       "ClusterName": "CustomConfigExampleCluster",
       "State": "CREATING"
   }

Creación de un clúster mediante la API

Para crear un clúster medianteAPI, consulte CreateCluster.