为 Amazon MSK 集群中的标准代理预置存储吞吐量 - Amazon Managed Streaming for Apache Kafka

为 Amazon MSK 集群中的标准代理预置存储吞吐量

Amazon MSK 代理会将数据保存在存储卷上。当生成器向集群写入数据、在代理之间复制数据以及使用器读取不在内存中的数据时,都会消耗存储 I/O。卷存储吞吐量是指是向存储卷写入数据和从存储卷读取数据的速率。预置存储吞吐量是指可为集群中的代理指定该速率的能力。

您可以为代理大小为 kafka.m5.4xlarge 或更大且存储容量为 10GiB 或更高的集群指定预置吞吐量速率(以每秒 MiB 为单位)。可以在创建集群期间指定预置吞吐量。您也可以为处于 ACTIVE 状态的集群启用或禁用预置吞吐量。

有关管理吞吐量的信息,请参阅为 Amazon MSK 集群中的标准代理管理存储吞吐量

使用 AWS 管理控制台 预置 Amazon MSK 集群存储吞吐量

此过程展示了如何使用 AWS 管理控制台 创建启用了预置吞吐量的 Amazon MSK 集群的示例。

  1. 登录 AWS 管理控制台 并通过以下网址打开 Amazon MSK 控制台:https://console.aws.amazon.com/msk/home?region=us-east-1#/home/

  2. 选择创建集群

  3. 选择自定义创建

  4. 指定集群的名称。

  5. 存储部分中选择启用

  6. 为各代理的存储吞吐量选择一个值。

  7. 选择 VPC、可用区、子网和安全组。

  8. 选择下一步

  9. 安全步骤的底部,选择下一步

  10. 监控和标记步骤的底部,选择下一步

  11. 检查集群设置,然后选择创建集群

使用 AWS CLI 预置 Amazon MSK 集群存储吞吐量

此过程展示了如何使用 AWS CLI 创建启用了预置吞吐量的集群的示例。

  1. 复制以下 JSON 并将其粘贴到文件中。将子网 ID 和安全组 ID 占位符替换为您账户的值。为文件 cluster-creation.json 命名并保存文件。

    { "Provisioned": { "BrokerNodeGroupInfo":{ "InstanceType":"kafka.m5.4xlarge", "ClientSubnets":[ "Subnet-1-ID", "Subnet-2-ID" ], "SecurityGroups":[ "Security-Group-ID" ], "StorageInfo": { "EbsStorageInfo": { "VolumeSize": 10, "ProvisionedThroughput": { "Enabled": true, "VolumeThroughput": 250 } } } }, "EncryptionInfo": { "EncryptionInTransit": { "InCluster": false, "ClientBroker": "PLAINTEXT" } }, "KafkaVersion":"2.8.1", "NumberOfBrokerNodes": 2 }, "ClusterName": "provisioned-throughput-example" }
  2. 在上一步中保存 JSON 文件的目录中运行以下 AWS CLI 命令。

    aws kafka create-cluster-v2 --cli-input-json file://cluster-creation.json

使用 API 创建 Amazon MSK 集群时预置存储吞吐量

要在创建集群时配置预置存储吞吐量,请使用 CreateClusterV2