Exemples d'utilisation de Kinesis AWS CLI

Pour ajouter des balises à un flux de données

L’exemple add-tags-to-stream suivant attribue une balise avec la clé samplekey et la valeur example au flux spécifié.

aws kinesis add-tags-to-stream \
    --stream-name samplestream \
    --tags samplekey=example

Cette commande ne produit aucune sortie.

Pour plus d’informations, consultez Balisage de vos flux dans le Guide du développeur Amazon Kinesis Data Streams.

Pour créer un flux de données

L’exemple create-stream suivant crée un flux de données nommé samplestream avec 3 partitions.

aws kinesis create-stream \
    --stream-name samplestream \
    --shard-count 3

Cette commande ne produit aucune sortie.

Pour plus d’informations, consultez Création d’un flux dans le Guide du développeur Amazon Kinesis Data Streams.

Pour réduire la période de conservation des flux de données

L’exemple decrease-stream-retention-period suivant réduit la période de conservation (durée pendant laquelle les enregistrements de données sont accessibles après avoir été ajoutés au flux) d’un flux nommé samplestream à 48 heures.

aws kinesis decrease-stream-retention-period \
    --stream-name samplestream \
    --retention-period-hours 48

Cette commande ne produit aucune sortie.

Pour plus d’informations, consultez Modification de la période de conservation des données dans le Guide du développeur Amazon Kinesis Data Streams.

Pour supprimer un flux de données

L’exemple delete-stream suivant supprime le flux de données spécifié.

aws kinesis delete-stream \
    --stream-name samplestream

Cette commande ne produit aucune sortie.

Pour plus d’informations, consultez Suppression d’un flux dans le Guide du développeur Amazon Kinesis Data Streams.

Pour annuler l’enregistrement d’un consommateur de flux de données

L’exemple deregister-stream-consumer suivant annule l’enregistrement du consommateur spécifié du flux de données spécifié.

aws kinesis deregister-stream-consumer \
    --stream-arn arn:aws:kinesis:us-west-2:123456789012:stream/samplestream \
    --consumer-name KinesisConsumerApplication

Cette commande ne produit aucune sortie.

Pour plus d’informations, consultez Developing Consumers with Enhanced Fan-Out Using the Kinesis Data Streams API dans le Guide du développeur Amazon Kinesis Data Streams.

Pour décrire les limites des partitions

L'describe-limitsexemple suivant montre les limites et l'utilisation des partitions pour le AWS compte courant.

aws kinesis describe-limits

Sortie :

{
    "ShardLimit": 500,
    "OpenShardCount": 29
}

Pour plus d’informations, consultez Repartitionnement d’un flux dans le Guide du développeur Amazon Kinesis Data Streams.

Pour décrire un consommateur de flux de données

L’exemple describe-stream-consumer suivant renvoie la description du consommateur spécifié, enregistré avec le flux de données spécifié.

aws kinesis describe-stream-consumer \
    --stream-arn arn:aws:kinesis:us-west-2:012345678912:stream/samplestream \
    --consumer-name KinesisConsumerApplication

Sortie :

{
    "ConsumerDescription": {
        "ConsumerName": "KinesisConsumerApplication",
        "ConsumerARN": "arn:aws:kinesis:us-west-2:123456789012:stream/samplestream/consumer/KinesisConsumerApplication:1572383852",
        "ConsumerStatus": "ACTIVE",
        "ConsumerCreationTimestamp": 1572383852.0,
        "StreamARN": "arn:aws:kinesis:us-west-2:123456789012:stream/samplestream"
    }
}

Pour plus d’informations, consultez Lire des données à partir d’Amazon Kinesis Data Streams dans le Guide du développeur Amazon Kinesis Data Streams.

Pour décrire le résumé d’un flux de données

L’exemple describe-stream-summary suivant fournit une description résumée du flux de données spécifié (sans la liste de partition).

aws kinesis describe-stream-summary \
    --stream-name samplestream

Sortie :

{
    "StreamDescriptionSummary": {
        "StreamName": "samplestream",
        "StreamARN": "arn:aws:kinesis:us-west-2:123456789012:stream/samplestream",
        "StreamStatus": "ACTIVE",
        "RetentionPeriodHours": 48,
        "StreamCreationTimestamp": 1572297168.0,
        "EnhancedMonitoring": [
            {
                "ShardLevelMetrics": []
            }
        ],
        "EncryptionType": "NONE",
        "OpenShardCount": 3,
        "ConsumerCount": 0
    }
}

Pour plus d’informations, consultez Création et gestion de flux dans le Guide du développeur Amazon Kinesis Data Streams.

Pour décrire un flux de données

L’exemple describe-stream suivant renvoie les informations du flux de données spécifié.

aws kinesis describe-stream \
    --stream-name samplestream

Sortie :

{
    "StreamDescription": {
        "Shards": [
            {
                "ShardId": "shardId-000000000000",
                "HashKeyRange": {
                    "StartingHashKey": "0",
                    "EndingHashKey": "113427455640312821154458202477256070484"
                },
                "SequenceNumberRange": {
                    "StartingSequenceNumber": "49600871682957036442365024926191073437251060580128653314"
                }
            },
            {
                "ShardId": "shardId-000000000001",
                "HashKeyRange": {
                    "StartingHashKey": "113427455640312821154458202477256070485",
                    "EndingHashKey": "226854911280625642308916404954512140969"
                },
                "SequenceNumberRange": {
                    "StartingSequenceNumber": "49600871682979337187563555549332609155523708941634633746"
                }
            },
            {
                "ShardId": "shardId-000000000002",
                "HashKeyRange": {
                    "StartingHashKey": "226854911280625642308916404954512140970",
                    "EndingHashKey": "340282366920938463463374607431768211455"
                },
                "SequenceNumberRange": {
                    "StartingSequenceNumber": "49600871683001637932762086172474144873796357303140614178"
                }
            }
        ],
        "StreamARN": "arn:aws:kinesis:us-west-2:123456789012:stream/samplestream",
        "StreamName": "samplestream",
        "StreamStatus": "ACTIVE",
        "RetentionPeriodHours": 24,
        "EnhancedMonitoring": [
            {
                "ShardLevelMetrics": []
            }
        ],
        "EncryptionType": "NONE",
        "KeyId": null,
        "StreamCreationTimestamp": 1572297168.0
    }
}

Pour plus d’informations, consultez Création et gestion de flux dans le Guide du développeur Amazon Kinesis Data Streams.

Pour désactiver la surveillance améliorée des métriques au niveau des partitions

L’exemple disable-enhanced-monitoring suivant désactive la surveillance améliorée du flux de données Kinesis pour les métriques au niveau des partitions.

aws kinesis disable-enhanced-monitoring \
    --stream-name samplestream --shard-level-metrics ALL

Sortie :

{
    "StreamName": "samplestream",
    "CurrentShardLevelMetrics": [
        "IncomingBytes",
        "OutgoingRecords",
        "IteratorAgeMilliseconds",
        "IncomingRecords",
        "ReadProvisionedThroughputExceeded",
        "WriteProvisionedThroughputExceeded",
        "OutgoingBytes"
    ],
    "DesiredShardLevelMetrics": []
}

Pour plus d’informations, consultez Monitoring Streams in Amazon Kinesis Data Streams dans le Guide du développeur Amazon Kinesis Data Streams.

Pour activer la surveillance améliorée des métriques au niveau des partitions

L’exemple enable-enhanced-monitoring suivant active la surveillance améliorée du flux de données Kinesis pour les métriques au niveau des partitions.

aws kinesis enable-enhanced-monitoring \
    --stream-name samplestream \
    --shard-level-metrics ALL

Sortie :

{
    "StreamName": "samplestream",
    "CurrentShardLevelMetrics": [],
    "DesiredShardLevelMetrics": [
        "IncomingBytes",
        "OutgoingRecords",
        "IteratorAgeMilliseconds",
        "IncomingRecords",
        "ReadProvisionedThroughputExceeded",
        "WriteProvisionedThroughputExceeded",
        "OutgoingBytes"
    ]
}

Pour plus d’informations, consultez Monitoring Streams in Amazon Kinesis Data Streams dans le Guide du développeur Amazon Kinesis Data Streams.

Pour obtenir des enregistrements à partir d’une partition

L’exemple get-records suivant obtient des enregistrements de données à partir de la partition d’un flux de données Kinesis à l’aide de l’itérateur de partition spécifié.

aws kinesis get-records \
    --shard-iterator AAAAAAAAAAF7/0mWD7IuHj1yGv/TKuNgx2ukD5xipCY4cy4gU96orWwZwcSXh3K9tAmGYeOZyLZrvzzeOFVf9iN99hUPw/w/b0YWYeehfNvnf1DYt5XpDJghLKr3DzgznkTmMymDP3R+3wRKeuEw6/kdxY2yKJH0veaiekaVc4N2VwK/GvaGP2Hh9Fg7N++q0Adg6fIDQPt4p8RpavDbk+A4sL9SWGE1

Sortie :

{
    "Records": [],
    "MillisBehindLatest": 80742000
}

Pour plus d'informations, consultez Developing Consumers Using the Kinesis Data Streams API with AWS the SDK for Java dans le manuel Amazon Kinesis Data Streams Developer Guide.

Pour obtenir un itérateur de partition

L’exemple get-shard-iterator suivant utilise le type d’itérateur de partition AT_SEQUENCE_NUMBER et génère un itérateur de partition pour commencer à lire les enregistrements de données exactement à partir de la position indiquée par le numéro de séquence spécifié.

aws kinesis get-shard-iterator \
    --stream-name samplestream \
    --shard-id shardId-000000000001 \
    --shard-iterator-type LATEST

Sortie :

{
    "ShardIterator": "AAAAAAAAAAFEvJjIYI+3jw/4aqgH9FifJ+n48XWTh/IFIsbILP6o5eDueD39NXNBfpZ10WL5K6ADXk8w+5H+Qhd9cFA9k268CPXCz/kebq1TGYI7Vy+lUkA9BuN3xvATxMBGxRY3zYK05gqgvaIRn94O8SqeEqwhigwZxNWxID3Ej7YYYcxQi8Q/fIrCjGAy/n2r5Z9G864YpWDfN9upNNQAR/iiOWKs"
}

Pour plus d'informations, consultez Developing Consumers Using the Kinesis Data Streams API with AWS the SDK for Java dans le manuel Amazon Kinesis Data Streams Developer Guide.

Pour réduire la période de conservation des flux de données

L’exemple increase-stream-retention-period suivant réduit la période de conservation (durée pendant laquelle les enregistrements de données sont accessibles après avoir été ajoutés au flux) d’un flux spécifié à 168 heures.

aws kinesis increase-stream-retention-period \
    --stream-name samplestream \
    --retention-period-hours 168

Cette commande ne produit aucune sortie.

Pour plus d’informations, consultez Modification de la période de conservation des données dans le Guide du développeur Amazon Kinesis Data Streams.

Pour répertorier les partitions d’un flux de données

L’exemple list-shards suivant répertorie toutes les partitions du flux spécifié, en commençant par la partition dont l’ID suit immédiatement l’exclusive-start-shard-id spécifié shardId-000000000000.

aws kinesis list-shards \
    --stream-name samplestream \
    --exclusive-start-shard-id shardId-000000000000

Sortie :

{
    "Shards": [
        {
            "ShardId": "shardId-000000000001",
            "HashKeyRange": {
                "StartingHashKey": "113427455640312821154458202477256070485",
                "EndingHashKey": "226854911280625642308916404954512140969"
            },
            "SequenceNumberRange": {
                "StartingSequenceNumber": "49600871682979337187563555549332609155523708941634633746"
            }
        },
        {
            "ShardId": "shardId-000000000002",
            "HashKeyRange": {
                "StartingHashKey": "226854911280625642308916404954512140970",
                "EndingHashKey": "340282366920938463463374607431768211455"
            },
            "SequenceNumberRange": {
                "StartingSequenceNumber": "49600871683001637932762086172474144873796357303140614178"
            }
        }
    ]
}

Pour plus d’informations, consultez Affichage des partitions dans le Guide du développeur Amazon Kinesis Data Streams.

Pour répertorier vos flux de données

L’exemple list-streams suivant répertorie tous les flux de données actifs dans le compte et la région actuels.

aws kinesis list-streams

Sortie :

{
    "StreamNames": [
        "samplestream",
        "samplestream1"
    ]
}

Pour plus d’informations, consultez Affichage de la liste des flux dans le Guide du développeur Amazon Kinesis Data Streams.

Pour répertorier les balises d’un flux de données

L’exemple list-tags-for-stream suivant répertorie les balises attachées au flux de données spécifié.

aws kinesis list-tags-for-stream \
    --stream-name samplestream

Sortie :

{
    "Tags": [
        {
            "Key": "samplekey",
            "Value": "example"
        }
    ],
    "HasMoreTags": false
}

Pour plus d’informations, consultez Balisage de vos flux dans le Guide du développeur Amazon Kinesis Data Streams.

Pour fusionner des partitions

L'merge-shardsexemple suivant fusionne deux partitions adjacentes avec IDs shardID-000000000000 et shardID-000000000001 dans le flux de données spécifié et les combine en une seule partition.

aws kinesis merge-shards \
    --stream-name samplestream \
    --shard-to-merge shardId-000000000000 \
    --adjacent-shard-to-merge shardId-000000000001

Cette commande ne produit aucune sortie.

Pour plus d’informations, consultez Fusion de deux partitions dans le Guide du développeur Amazon Kinesis Data Streams.

Pour écrire un enregistrement dans un flux de données

L’exemple put-record suivant écrit un seul enregistrement de données dans le flux de données spécifié à l’aide de la clé de partition spécifiée.

aws kinesis put-record \
    --stream-name samplestream \
    --data sampledatarecord \
    --partition-key samplepartitionkey

Sortie :

{
    "ShardId": "shardId-000000000009",
    "SequenceNumber": "49600902273357540915989931256901506243878407835297513618",
    "EncryptionType": "KMS"
}

Pour plus d'informations, consultez la section Developing Producers Using the Amazon Kinesis Data Streams API with AWS the SDK for Java dans le manuel Amazon Kinesis Data Streams Developer Guide.

Pour écrire plusieurs enregistrements dans un flux de données

L’exemple put-records suivant écrit un enregistrement de données en utilisant la clé de partition spécifiée et un autre enregistrement de données en utilisant une clé de partition différente en un seul appel.

aws kinesis put-records \
    --stream-name samplestream \
    --records Data=blob1,PartitionKey=partitionkey1 Data=blob2,PartitionKey=partitionkey2

Sortie :

{
    "FailedRecordCount": 0,
    "Records": [
        {
            "SequenceNumber": "49600883331171471519674795588238531498465399900093808706",
            "ShardId": "shardId-000000000004"
        },
        {
            "SequenceNumber": "49600902273357540915989931256902715169698037101720764562",
            "ShardId": "shardId-000000000009"
        }
    ],
    "EncryptionType": "KMS"
}

Pour plus d'informations, consultez la section Developing Producers Using the Amazon Kinesis Data Streams API with AWS the SDK for Java dans le manuel Amazon Kinesis Data Streams Developer Guide.

Pour enregistrer un consommateur de flux de données

L’exemple register-stream-consumer suivant enregistre un consommateur appelé KinesisConsumerApplication avec le flux de données spécifié.

aws kinesis register-stream-consumer \
    --stream-arn arn:aws:kinesis:us-west-2:012345678912:stream/samplestream \
    --consumer-name KinesisConsumerApplication

Sortie :

{
    "Consumer": {
        "ConsumerName": "KinesisConsumerApplication",
        "ConsumerARN": "arn:aws:kinesis:us-west-2: 123456789012:stream/samplestream/consumer/KinesisConsumerApplication:1572383852",
        "ConsumerStatus": "CREATING",
        "ConsumerCreationTimestamp": 1572383852.0
    }
}

Pour plus d’informations, consultez Developing Consumers with Enhanced Fan-Out Using the Kinesis Data Streams API dans le Guide du développeur Amazon Kinesis Data Streams.

Pour supprimer des balises d’un flux de données

L’exemple remove-tags-from-stream suivant supprime la balise avec la clé spécifiée du flux de données spécifié.

aws kinesis remove-tags-from-stream \
    --stream-name samplestream \
    --tag-keys samplekey

Cette commande ne produit aucune sortie.

Pour plus d’informations, consultez Balisage de vos flux dans le Guide du développeur Amazon Kinesis Data Streams.

Pour diviser des partitions

L’exemple split-shard suivant divise la partition spécifiée en deux nouvelles partitions en utilisant une nouvelle clé de hachage de départ de 10.

aws kinesis split-shard \
    --stream-name samplestream \
    --shard-to-split shardId-000000000000 \
    --new-starting-hash-key 10

Cette commande ne produit aucune sortie.

Pour plus d’informations, consultez Fractionnement d’une partition dans le Guide du développeur Amazon Kinesis Data Streams.

Pour activer le chiffrement d’un flux de données

L'start-stream-encryptionexemple suivant active le chiffrement côté serveur pour le flux spécifié, à l'aide de la clé AWS KMS spécifiée.

aws kinesis start-stream-encryption \
    --encryption-type KMS \
    --key-id arn:aws:kms:us-west-2:012345678912:key/a3c4a7cd-728b-45dd-b334-4d3eb496e452 \
    --stream-name samplestream

Cette commande ne produit aucune sortie.

Pour plus d’informations, consultez Protection des données dans Amazon Kinesis Data Streams dans le Guide du développeur Amazon Kinesis Data Streams.

Pour désactiver le chiffrement d’un flux de données

L'stop-stream-encryptionexemple suivant désactive le chiffrement côté serveur pour le flux spécifié, à l'aide de la clé KMS spécifiée AWS .

aws kinesis start-stream-encryption \
    --encryption-type KMS \
    --key-id arn:aws:kms:us-west-2:012345678912:key/a3c4a7cd-728b-45dd-b334-4d3eb496e452 \
    --stream-name samplestream

Cette commande ne produit aucune sortie.

Pour plus d’informations, consultez Protection des données dans Amazon Kinesis Data Streams dans le Guide du développeur Amazon Kinesis Data Streams.

Pour mettre à jour le nombre de partitions dans un flux de données

L’exemple update-shard-count suivant met à jour le nombre de partitions du flux de données spécifié sur 6. Cet exemple utilise une mise à l’échelle uniforme, qui crée des partitions de taille égale.

aws kinesis update-shard-count \
    --stream-name samplestream \
    --scaling-type UNIFORM_SCALING \
    --target-shard-count 6

Sortie :

{
    "StreamName": "samplestream",
    "CurrentShardCount": 3,
    "TargetShardCount": 6
}

Pour plus d’informations, consultez Repartitionnement d’un flux dans le Guide du développeur Amazon Kinesis Data Streams.