Exemples d'utilisation de Kinesis AWS CLI

Pour ajouter des balises à un flux de données

L'add-tags-to-streamexemple suivant attribue une balise avec la clé samplekey et la valeur example au flux spécifié.

aws kinesis add-tags-to-stream \
    --stream-name samplestream \
    --tags samplekey=example

Cette commande ne produit aucun résultat.

Pour plus d'informations, consultez la section Marquage de vos flux dans le manuel Amazon Kinesis Data Streams Developer Guide.

Pour créer un flux de données

L'create-streamexemple suivant crée un flux de données nommé samplestream avec 3 partitions.

aws kinesis create-stream \
    --stream-name samplestream \
    --shard-count 3

Cette commande ne produit aucun résultat.

Pour plus d'informations, consultez la section Création d'un flux dans le manuel Amazon Kinesis Data Streams Developer Guide.

Pour réduire la période de rétention des flux de données

L'decrease-stream-retention-periodexemple suivant réduit la période de rétention (durée pendant laquelle les enregistrements de données sont accessibles après leur ajout au flux) d'un flux nommé samplestream à 48 heures.

aws kinesis decrease-stream-retention-period \
    --stream-name samplestream \
    --retention-period-hours 48

Cette commande ne produit aucun résultat.

Pour plus d'informations, consultez la section Modification de la période de conservation des données dans le manuel Amazon Kinesis Data Streams Developer Guide.

Pour supprimer un flux de données

L'delete-streamexemple suivant supprime le flux de données spécifié.

aws kinesis delete-stream \
    --stream-name samplestream

Cette commande ne produit aucun résultat.

Pour plus d'informations, consultez Supprimer un flux dans le manuel Amazon Kinesis Data Streams Developer Guide.

Pour annuler l'enregistrement d'un consommateur de flux de données

L'deregister-stream-consumerexemple suivant permet de désenregistrer le consommateur spécifié du flux de données spécifié.

aws kinesis deregister-stream-consumer \
    --stream-arn arn:aws:kinesis:us-west-2:123456789012:stream/samplestream \
    --consumer-name KinesisConsumerApplication

Cette commande ne produit aucun résultat.

Pour plus d'informations, consultez Developing Consumers with Enhanced Fan-Out Using the Kinesis Data Streams API dans le manuel Amazon Kinesis Data Streams Developer Guide.

Pour décrire les limites des partitions

L'describe-limitsexemple suivant montre les limites et l'utilisation des partitions pour le AWS compte courant.

aws kinesis describe-limits

Sortie :

{
    "ShardLimit": 500,
    "OpenShardCount": 29
}

Pour plus d'informations, consultez la section Resharding a Stream dans le manuel Amazon Kinesis Data Streams Developer Guide.

Pour décrire un consommateur de flux de données

L'describe-stream-consumerexemple suivant renvoie la description du consommateur spécifié, enregistré avec le flux de données spécifié.

aws kinesis describe-stream-consumer \
    --stream-arn arn:aws:kinesis:us-west-2:012345678912:stream/samplestream \
    --consumer-name KinesisConsumerApplication

Sortie :

{
    "ConsumerDescription": {
        "ConsumerName": "KinesisConsumerApplication",
        "ConsumerARN": "arn:aws:kinesis:us-west-2:123456789012:stream/samplestream/consumer/KinesisConsumerApplication:1572383852",
        "ConsumerStatus": "ACTIVE",
        "ConsumerCreationTimestamp": 1572383852.0,
        "StreamARN": "arn:aws:kinesis:us-west-2:123456789012:stream/samplestream"
    }
}

Pour plus d'informations, consultez la section Reading data from Amazon Kinesis Data Streams dans le manuel du développeur Amazon Kinesis Data Streams.

Pour décrire le résumé d'un flux de données

L'describe-stream-summaryexemple suivant fournit une description résumée (sans la liste des partitions) du flux de données spécifié.

aws kinesis describe-stream-summary \
    --stream-name samplestream

Sortie :

{
    "StreamDescriptionSummary": {
        "StreamName": "samplestream",
        "StreamARN": "arn:aws:kinesis:us-west-2:123456789012:stream/samplestream",
        "StreamStatus": "ACTIVE",
        "RetentionPeriodHours": 48,
        "StreamCreationTimestamp": 1572297168.0,
        "EnhancedMonitoring": [
            {
                "ShardLevelMetrics": []
            }
        ],
        "EncryptionType": "NONE",
        "OpenShardCount": 3,
        "ConsumerCount": 0
    }
}

Pour plus d'informations, consultez la section Création et gestion de flux dans le manuel Amazon Kinesis Data Streams Developer Guide.

Pour décrire un flux de données

L'describe-streamexemple suivant renvoie les détails du flux de données spécifié.

aws kinesis describe-stream \
    --stream-name samplestream

Sortie :

{
    "StreamDescription": {
        "Shards": [
            {
                "ShardId": "shardId-000000000000",
                "HashKeyRange": {
                    "StartingHashKey": "0",
                    "EndingHashKey": "113427455640312821154458202477256070484"
                },
                "SequenceNumberRange": {
                    "StartingSequenceNumber": "49600871682957036442365024926191073437251060580128653314"
                }
            },
            {
                "ShardId": "shardId-000000000001",
                "HashKeyRange": {
                    "StartingHashKey": "113427455640312821154458202477256070485",
                    "EndingHashKey": "226854911280625642308916404954512140969"
                },
                "SequenceNumberRange": {
                    "StartingSequenceNumber": "49600871682979337187563555549332609155523708941634633746"
                }
            },
            {
                "ShardId": "shardId-000000000002",
                "HashKeyRange": {
                    "StartingHashKey": "226854911280625642308916404954512140970",
                    "EndingHashKey": "340282366920938463463374607431768211455"
                },
                "SequenceNumberRange": {
                    "StartingSequenceNumber": "49600871683001637932762086172474144873796357303140614178"
                }
            }
        ],
        "StreamARN": "arn:aws:kinesis:us-west-2:123456789012:stream/samplestream",
        "StreamName": "samplestream",
        "StreamStatus": "ACTIVE",
        "RetentionPeriodHours": 24,
        "EnhancedMonitoring": [
            {
                "ShardLevelMetrics": []
            }
        ],
        "EncryptionType": "NONE",
        "KeyId": null,
        "StreamCreationTimestamp": 1572297168.0
    }
}

Pour plus d'informations, consultez la section Création et gestion de flux dans le manuel Amazon Kinesis Data Streams Developer Guide.

Pour désactiver la surveillance améliorée des métriques au niveau des partitions

L'disable-enhanced-monitoringexemple suivant désactive la surveillance améliorée du flux de données Kinesis pour les métriques au niveau des partitions.

aws kinesis disable-enhanced-monitoring \
    --stream-name samplestream --shard-level-metrics ALL

Sortie :

{
    "StreamName": "samplestream",
    "CurrentShardLevelMetrics": [
        "IncomingBytes",
        "OutgoingRecords",
        "IteratorAgeMilliseconds",
        "IncomingRecords",
        "ReadProvisionedThroughputExceeded",
        "WriteProvisionedThroughputExceeded",
        "OutgoingBytes"
    ],
    "DesiredShardLevelMetrics": []
}

Pour plus d'informations, consultez la section Surveillance des flux dans Amazon Kinesis Data Streams dans le manuel du développeur Amazon Kinesis Data Streams.

Pour permettre une surveillance améliorée des métriques au niveau des partitions

L'enable-enhanced-monitoringexemple suivant permet une surveillance améliorée du flux de données Kinesis pour les métriques au niveau des partitions.

aws kinesis enable-enhanced-monitoring \
    --stream-name samplestream \
    --shard-level-metrics ALL

Sortie :

{
    "StreamName": "samplestream",
    "CurrentShardLevelMetrics": [],
    "DesiredShardLevelMetrics": [
        "IncomingBytes",
        "OutgoingRecords",
        "IteratorAgeMilliseconds",
        "IncomingRecords",
        "ReadProvisionedThroughputExceeded",
        "WriteProvisionedThroughputExceeded",
        "OutgoingBytes"
    ]
}

Pour plus d'informations, consultez la section Surveillance des flux dans Amazon Kinesis Data Streams dans le manuel du développeur Amazon Kinesis Data Streams.

Pour obtenir des enregistrements à partir d'une partition

L'get-recordsexemple suivant obtient des enregistrements de données à partir de la partition d'un flux de données Kinesis à l'aide de l'itérateur de partition spécifié.

aws kinesis get-records \
    --shard-iterator AAAAAAAAAAF7/0mWD7IuHj1yGv/TKuNgx2ukD5xipCY4cy4gU96orWwZwcSXh3K9tAmGYeOZyLZrvzzeOFVf9iN99hUPw/w/b0YWYeehfNvnf1DYt5XpDJghLKr3DzgznkTmMymDP3R+3wRKeuEw6/kdxY2yKJH0veaiekaVc4N2VwK/GvaGP2Hh9Fg7N++q0Adg6fIDQPt4p8RpavDbk+A4sL9SWGE1

Sortie :

{
    "Records": [],
    "MillisBehindLatest": 80742000
}

Pour plus d'informations, consultez Developing Consumers Using the Kinesis Data Streams API with AWS the SDK for Java dans le manuel Amazon Kinesis Data Streams Developer Guide.

Pour obtenir un itérateur de partition

L'get-shard-iteratorexemple suivant utilise le type d'itérateur de AT_SEQUENCE_NUMBER partition et génère un itérateur de partition pour commencer à lire les enregistrements de données exactement à partir de la position indiquée par le numéro de séquence spécifié.

aws kinesis get-shard-iterator \
    --stream-name samplestream \
    --shard-id shardId-000000000001 \
    --shard-iterator-type LATEST

Sortie :

{
    "ShardIterator": "AAAAAAAAAAFEvJjIYI+3jw/4aqgH9FifJ+n48XWTh/IFIsbILP6o5eDueD39NXNBfpZ10WL5K6ADXk8w+5H+Qhd9cFA9k268CPXCz/kebq1TGYI7Vy+lUkA9BuN3xvATxMBGxRY3zYK05gqgvaIRn94O8SqeEqwhigwZxNWxID3Ej7YYYcxQi8Q/fIrCjGAy/n2r5Z9G864YpWDfN9upNNQAR/iiOWKs"
}

Pour plus d'informations, consultez Developing Consumers Using the Kinesis Data Streams API with AWS the SDK for Java dans le manuel Amazon Kinesis Data Streams Developer Guide.

Pour augmenter la durée de conservation des flux de données

L'increase-stream-retention-periodexemple suivant augmente la durée de conservation (durée pendant laquelle les enregistrements de données sont accessibles après leur ajout au flux) du flux spécifié à 168 heures.

aws kinesis increase-stream-retention-period \
    --stream-name samplestream \
    --retention-period-hours 168

Cette commande ne produit aucun résultat.

Pour plus d'informations, consultez la section Modification de la période de conservation des données dans le manuel Amazon Kinesis Data Streams Developer Guide.

Pour répertorier les partitions d'un flux de données

L'list-shardsexemple suivant répertorie toutes les partitions du flux spécifié, en commençant par la partition dont l'ID suit immédiatement la valeur spécifiée exclusive-start-shard-id de. shardId-000000000000

aws kinesis list-shards \
    --stream-name samplestream \
    --exclusive-start-shard-id shardId-000000000000

Sortie :

{
    "Shards": [
        {
            "ShardId": "shardId-000000000001",
            "HashKeyRange": {
                "StartingHashKey": "113427455640312821154458202477256070485",
                "EndingHashKey": "226854911280625642308916404954512140969"
            },
            "SequenceNumberRange": {
                "StartingSequenceNumber": "49600871682979337187563555549332609155523708941634633746"
            }
        },
        {
            "ShardId": "shardId-000000000002",
            "HashKeyRange": {
                "StartingHashKey": "226854911280625642308916404954512140970",
                "EndingHashKey": "340282366920938463463374607431768211455"
            },
            "SequenceNumberRange": {
                "StartingSequenceNumber": "49600871683001637932762086172474144873796357303140614178"
            }
        }
    ]
}

Pour plus d'informations, consultez Listing Shards dans le manuel Amazon Kinesis Data Streams Developer Guide.

Pour répertorier les flux de données

L'list-streamsexemple suivant répertorie tous les flux de données actifs dans le compte courant et la région.

aws kinesis list-streams

Sortie :

{
    "StreamNames": [
        "samplestream",
        "samplestream1"
    ]
}

Pour plus d'informations, consultez Listing Streams dans le manuel Amazon Kinesis Data Streams Developer Guide.

Pour répertorier les balises d'un flux de données

L'list-tags-for-streamexemple suivant répertorie les balises associées au flux de données spécifié.

aws kinesis list-tags-for-stream \
    --stream-name samplestream

Sortie :

{
    "Tags": [
        {
            "Key": "samplekey",
            "Value": "example"
        }
    ],
    "HasMoreTags": false
}

Pour plus d'informations, consultez la section Marquage de vos flux dans le manuel Amazon Kinesis Data Streams Developer Guide.

Pour fusionner des partitions

L'merge-shardsexemple suivant fusionne deux partitions adjacentes avec IDs shardID-000000000000 et shardID-000000000001 dans le flux de données spécifié et les combine en une seule partition.

aws kinesis merge-shards \
    --stream-name samplestream \
    --shard-to-merge shardId-000000000000 \
    --adjacent-shard-to-merge shardId-000000000001

Cette commande ne produit aucun résultat.

Pour plus d'informations, consultez Merging Two Shards dans le manuel Amazon Kinesis Data Streams Developer Guide.

Pour écrire un enregistrement dans un flux de données

L'put-recordexemple suivant écrit un seul enregistrement de données dans le flux de données spécifié à l'aide de la clé de partition spécifiée.

aws kinesis put-record \
    --stream-name samplestream \
    --data sampledatarecord \
    --partition-key samplepartitionkey

Sortie :

{
    "ShardId": "shardId-000000000009",
    "SequenceNumber": "49600902273357540915989931256901506243878407835297513618",
    "EncryptionType": "KMS"
}

Pour plus d'informations, consultez la section Developing Producers Using the Amazon Kinesis Data Streams API with AWS the SDK for Java dans le manuel Amazon Kinesis Data Streams Developer Guide.

Pour écrire plusieurs enregistrements dans un flux de données

L'put-recordsexemple suivant écrit un enregistrement de données à l'aide de la clé de partition spécifiée et un autre enregistrement de données à l'aide d'une clé de partition différente en un seul appel.

aws kinesis put-records \
    --stream-name samplestream \
    --records Data=blob1,PartitionKey=partitionkey1 Data=blob2,PartitionKey=partitionkey2

Sortie :

{
    "FailedRecordCount": 0,
    "Records": [
        {
            "SequenceNumber": "49600883331171471519674795588238531498465399900093808706",
            "ShardId": "shardId-000000000004"
        },
        {
            "SequenceNumber": "49600902273357540915989931256902715169698037101720764562",
            "ShardId": "shardId-000000000009"
        }
    ],
    "EncryptionType": "KMS"
}

Pour plus d'informations, consultez la section Developing Producers Using the Amazon Kinesis Data Streams API with AWS the SDK for Java dans le manuel Amazon Kinesis Data Streams Developer Guide.

Pour enregistrer un consommateur de flux de données

L'register-stream-consumerexemple suivant enregistre un consommateur appelé KinesisConsumerApplication avec le flux de données spécifié.

aws kinesis register-stream-consumer \
    --stream-arn arn:aws:kinesis:us-west-2:012345678912:stream/samplestream \
    --consumer-name KinesisConsumerApplication

Sortie :

{
    "Consumer": {
        "ConsumerName": "KinesisConsumerApplication",
        "ConsumerARN": "arn:aws:kinesis:us-west-2: 123456789012:stream/samplestream/consumer/KinesisConsumerApplication:1572383852",
        "ConsumerStatus": "CREATING",
        "ConsumerCreationTimestamp": 1572383852.0
    }
}

Pour plus d'informations, consultez Developing Consumers with Enhanced Fan-Out Using the Kinesis Data Streams API dans le manuel Amazon Kinesis Data Streams Developer Guide.

Pour supprimer des balises d'un flux de données

L'remove-tags-from-streamexemple suivant supprime la balise avec la clé spécifiée du flux de données spécifié.

aws kinesis remove-tags-from-stream \
    --stream-name samplestream \
    --tag-keys samplekey

Cette commande ne produit aucun résultat.

Pour plus d'informations, consultez la section Marquage de vos flux dans le manuel Amazon Kinesis Data Streams Developer Guide.

Pour diviser des fragments

L'split-shardexemple suivant divise le fragment spécifié en deux nouveaux fragments en utilisant une nouvelle clé de hachage de départ de 10.

aws kinesis split-shard \
    --stream-name samplestream \
    --shard-to-split shardId-000000000000 \
    --new-starting-hash-key 10

Cette commande ne produit aucun résultat.

Pour plus d'informations, consultez la section Splitting a Shard du manuel Amazon Kinesis Data Streams Developer Guide.

Pour activer le chiffrement des flux de données

L'start-stream-encryptionexemple suivant active le chiffrement côté serveur pour le flux spécifié, à l'aide de la clé AWS KMS spécifiée.

aws kinesis start-stream-encryption \
    --encryption-type KMS \
    --key-id arn:aws:kms:us-west-2:012345678912:key/a3c4a7cd-728b-45dd-b334-4d3eb496e452 \
    --stream-name samplestream

Cette commande ne produit aucun résultat.

Pour plus d'informations, consultez la section Protection des données dans Amazon Kinesis Data Streams dans le manuel du développeur Amazon Kinesis Data Streams.

Pour désactiver le chiffrement des flux de données

L'stop-stream-encryptionexemple suivant désactive le chiffrement côté serveur pour le flux spécifié, à l'aide de la clé KMS spécifiée AWS .

aws kinesis start-stream-encryption \
    --encryption-type KMS \
    --key-id arn:aws:kms:us-west-2:012345678912:key/a3c4a7cd-728b-45dd-b334-4d3eb496e452 \
    --stream-name samplestream

Cette commande ne produit aucun résultat.

Pour plus d'informations, consultez la section Protection des données dans Amazon Kinesis Data Streams dans le manuel du développeur Amazon Kinesis Data Streams.

Pour mettre à jour le nombre de partitions dans un flux de données

L'update-shard-countexemple suivant met à jour le nombre de partitions du flux de données spécifié à 6. Cet exemple utilise une mise à l'échelle uniforme, qui crée des fragments de taille égale.

aws kinesis update-shard-count \
    --stream-name samplestream \
    --scaling-type UNIFORM_SCALING \
    --target-shard-count 6

Sortie :

{
    "StreamName": "samplestream",
    "CurrentShardCount": 3,
    "TargetShardCount": 6
}

Pour plus d'informations, consultez la section Resharding a Stream dans le manuel Amazon Kinesis Data Streams Developer Guide.