Respect des exigences de conformité grâce à S3 Replication Time Control (S3RTC)

S3 Replication Time Control (S3RTC) vous aide à répondre aux exigences de conformité ou aux exigences commerciales en matière de réplication des données et fournit une visibilité sur les temps de réplication d'Amazon S3. S3 RTC réplique la plupart des objets que vous chargez sur Amazon S3 en quelques secondes, et 99,99 % de ces objets en 15 minutes.

S3 inclut RTC par défaut les métriques de réplication S3 et les notifications d'événements Amazon S3, que vous pouvez utiliser pour surveiller le nombre total d'APIopérations S3 en attente de réplication, la taille totale des objets en attente de réplication et le temps de réplication maximal. Vous pouvez activer les métriques de réplication indépendamment de S3RTC. Pour plus d'informations, consultez Surveillance de l'avancement des métriques de réplication. En outre, S3 RTC fournit OperationMissedThreshold des OperationReplicatedAfterThreshold événements qui avertissent le propriétaire du compartiment si la réplication d'objets dépasse ou se réplique après le seuil de 15 minutes.

Avec S3RTC, les événements Amazon S3 peuvent vous avertir dans les rares cas où les objets ne se répliquent pas dans les 15 minutes et lorsque ces objets se répliquent après le seuil de 15 minutes. Les événements Amazon S3 sont disponibles via Amazon SQSSNS, Amazon ou AWS Lambda. Pour plus d’informations, consultez Notifications d'événements Amazon S3.

Contrôle du temps de réplication S3

Vous pouvez commencer à utiliser S3 Replication Time Control (S3RTC) avec une règle de réplication nouvelle ou existante. Vous pouvez choisir d'appliquer votre règle de réplication à un compartiment S3 entier ou à des objets Amazon S3 avec un préfixe ou une balise spécifique. Lorsque vous activez S3RTC, les métriques de réplication sont également activées dans votre règle de réplication.

Si vous utilisez la dernière version de la configuration de réplication, en spécifiant l'élément Filter dans une règle de configuration de réplication, Simple Storage Service (Amazon S3) ne réplique pas le marqueur de suppression par défaut. Vous pouvez toutefois ajouter la réplication des marqueurs de suppression aux non-tag-based règles.

Note

Les métriques de réplication sont facturées au même tarif que les métriques CloudWatch personnalisées Amazon. Pour plus d'informations, consultez CloudWatchles tarifs Amazon.

Pour plus d'informations sur la création d'une règle avec S3RTC, consultezActivation du contrôle du temps de réplication S3 (S3RTC).

Métriques de réplication avec S3 RTC

Les règles de réplication avec S3 Replication Time Control (S3RTC) activé publient les métriques de réplication. Grâce aux métriques de réplication, vous pouvez surveiller le nombre total d'APIopérations S3 en attente de réplication, la taille totale des objets en attente de réplication, le temps de réplication maximal vers la région de destination et le nombre total d'opérations dont la réplication a échoué. Vous pouvez ensuite surveiller chaque jeu de données que vous répliquez séparément.

Les métriques de réplication sont disponibles dans les 15 minutes suivant l'activation de S3RTC. Les métriques de réplication sont disponibles via la console Amazon S3, Amazon S3 API AWS SDKs, the, AWS Command Line Interface the (AWS CLI) et Amazon CloudWatch. Pour plus d’informations, consultez Surveillance des métriques avec Amazon CloudWatch.

Pour plus d'informations sur la recherche de métriques de réplication via la console Amazon S3, consultez Affichage des métriques de réplication avec la console Amazon S3.

Utilisation des notifications d'événements Amazon S3 pour suivre les objets de réplication

Vous pouvez suivre le temps de réplication des objets qui n'ont pas été répliqués dans les 15 minutes en surveillant les notifications d'événements spécifiques publiées par S3 Replication Time Control (S3RTC). Ces événements sont publiés lorsqu'un objet éligible à la réplication à l'aide de S3 RTC ne s'est pas répliqué dans les 15 minutes et lorsque cet objet se réplique après le seuil de 15 minutes.

Les événements de réplication sont disponibles dans les 15 minutes suivant l'activation de S3RTC. Les événements Amazon S3 sont disponibles via Amazon SQSSNS, Amazon ou AWS Lambda. Pour plus d’informations, consultez Notifications d'événements Amazon S3.

Bonnes pratiques et directives pour S3 RTC

Lorsque vous répliquez des données dans Amazon S3 à l'aide de S3 Replication Time Control (S3RTC), suivez ces directives de bonnes pratiques afin d'optimiser les performances de réplication pour vos charges de travail.

Rubriques

• Directives en matière de performances de réplication et de débit de demandes Amazon S3
• Estimation de vos débits de demandes de réplication
• Dépassement des limites de débit de transfert de RTC données S3
• AWS KMS taux de demandes de réplication d'objets chiffrés

Directives en matière de performances de réplication et de débit de demandes Amazon S3

Vos applications peuvent exécuter des milliers de transactions par seconde en termes de performances de demande lors du chargement et de la récupération du stockage depuis Amazon S3. Par exemple, une application peut traiter au moins 3 500 HEAD requêtesPUT//COPYPOST/DELETEou 5 500GET/par seconde et par préfixe dans un compartiment S3, y compris les demandes que la réplication S3 effectue en votre nom. Il n'existe aucune limite au nombre de préfixes dans un compartiment. Vous pouvez augmenter vos performances de lecture et d'écriture en effectuant une mise en parallèle des lectures. Par exemple, si vous créez 10 préfixes dans un compartiment S3 pour paralléliser les lectures, vous pouvez adapter vos performances de lecture à 55 000 demandes de lecture par seconde.

Amazon S3 évolue automatiquement en réponse à des taux de demandes soutenus supérieurs à ces directives, ou à des taux de demandes soutenus simultanés aux LIST demandes. Pendant qu'Amazon S3 optimise en interne le nouveau taux de demandes, il est possible que vous receviez HTTP 503 réponses aux demandes temporairement jusqu'à ce que l'optimisation soit terminée. Cela peut se produire lorsque le taux de demandes par seconde augmente ou lorsque vous activez S3 pour la première foisRTC. Au cours de ces périodes, votre latence de réplication peut augmenter. L'accord de niveau de RTC service S3 (SLA) ne s'applique pas aux périodes pendant lesquelles les directives de performance d'Amazon S3 relatives aux demandes par seconde sont dépassées.

Le S3 ne s'applique pas non RTC SLA plus pendant les périodes où le taux de transfert de données de réplication dépasse la limite par défaut de 1 Gbit/s. Si vous pensez que votre débit de transfert de réplication va dépasser 1 Gbit/s, vous pouvez contacter le Centre AWS Support ou utiliser les Service Quotas pour demander une augmentation de votre limite.

Estimation de vos débits de demandes de réplication

Votre débit de demandes total, y compris les demandes que la réplication Amazon S3 effectue en votre nom, doit être conforme aux directives en matière de débit de demandes Amazon S3 pour les compartiments source et de destination de réplication. Pour chaque objet répliqué, la réplication Amazon S3 effectue jusqu'à cinq HEAD requêtesGET/et une PUT demande au compartiment source, et une PUT demande à chaque compartiment de destination.

Par exemple, si vous prévoyez de répliquer 100 objets par seconde, la réplication Amazon S3 peut effectuer 100 PUT demandes supplémentaires en votre nom, soit un total de 200 PUTs par seconde vers le compartiment S3 source. La réplication Amazon S3 peut également effectuer jusqu'à 500 HEAD requêtesGET/HEAD(5GET/pour chaque objet répliqué.)

Note

Vous n'encourez des frais que pour une seule PUT demande par objet répliqué. Pour plus d'informations, consultez les informations tarifaires FAQsur la réplication dans Amazon S3.

Dépassement des limites de débit de transfert de RTC données S3

Si vous pensez que votre dévit de transfert de données S3 Replication Time Control va dépasser la limite par défaut de 1 Gbit/s, contactez le Centre AWS Support ou utilisez les Service Quotas pour demander une augmentation de votre limite.

AWS KMS taux de demandes de réplication d'objets chiffrés

Lorsque vous répliquez des objets chiffrés avec le chiffrement côté serveur (SSE-KMS) à l'aide de la réplication Amazon S3, AWS Key Management Service les limites de demandes par seconde s'appliquent.AWS KMS AWS KMS peut rejeter une demande par ailleurs valide car votre taux de demandes dépasse la limite du nombre de demandes par seconde. Lorsqu'une demande est limitée, AWS KMS renvoie une ThrottlingException erreur. La limite de débit de AWS KMS demandes s'applique aux demandes que vous effectuez directement et aux demandes effectuées par Amazon S3 Replication en votre nom.

Par exemple, si vous prévoyez de répliquer 1 000 objets par seconde, vous pouvez soustraire 2 000 demandes de votre limite de taux de AWS KMS demandes. Le taux de requêtes par seconde qui en résulte est disponible pour vos AWS KMS charges de travail, à l'exception de la réplication. Vous pouvez utiliser les statistiques des AWS KMS demandes sur Amazon CloudWatch pour surveiller le taux total de AWS KMS demandes sur votre Compte AWS.

Activation du contrôle du temps de réplication S3 (S3RTC)

S3 Replication Time Control (S3RTC) vous aide à répondre aux exigences de conformité ou aux exigences commerciales en matière de réplication des données et fournit une visibilité sur les temps de réplication d'Amazon S3. S3 RTC réplique la plupart des objets que vous chargez sur Amazon S3 en quelques secondes, et 99,99 % de ces objets en 15 minutes.

Avec S3RTC, vous pouvez surveiller le nombre total et la taille des objets en attente de réplication, ainsi que le temps de réplication maximal vers la région de destination. Les métriques de réplication sont disponibles via le guide de CloudWatch l'utilisateur Amazon AWS Management Consoleet Amazon. Pour plus d’informations, consultez Métriques de réplication S3 dans CloudWatch .

Rubriques

Utilisation de la console S3

Pour step-by-step obtenir des instructions, voirConfiguration d'une réplication pour des compartiments source et destination appartenant au même compte. Cette rubrique fournit des instructions pour activer S3 RTC dans votre configuration de réplication lorsque les buckets appartiennent à des entités identiques ou différentes Comptes AWS.

En utilisant le AWS CLI

Pour utiliser le AWS CLI pour répliquer des objets lorsque S3 RTC est activé, vous devez créer des compartiments, activer le contrôle de version sur les compartiments, créer un IAM rôle autorisant Amazon S3 à répliquer des objets et ajouter la configuration de réplication au compartiment source. Le contrôle du temps de réplication (S3RTC) doit être activé dans la configuration de réplication.

Pour répliquer avec S3 RTC activé ()AWS CLI

• L'exemple suivant définit ReplicationTime et Metric, et ajoute la configuration de réplication au compartiment source.

  {
      "Rules": [
          {
              "Status": "Enabled",
              "Filter": {
                  "Prefix": "Tax"
              },
              "DeleteMarkerReplication": {
                  "Status": "Disabled"
              },
              "Destination": {
                  "Bucket": "arn:aws:s3:::destination",
                  "Metrics": {
                      "Status": "Enabled",
                      "EventThreshold": {
                          "Minutes": 15
                      }
                  },
                  "ReplicationTime": {
                      "Status": "Enabled",
                      "Time": {
                          "Minutes": 15
                      }
                  }
              },
              "Priority": 1
          }
      ],
      "Role": "IAM-Role-ARN"
  }

  Important

  La seule valeur valide pour Metrics:EventThreshold:Minutes et ReplicationTime:Time:Minutes est 15.

Utilisation de AWS SDK pour Java

L'exemple Java suivant ajoute une configuration de réplication avec S3 Replication Time Control (S3RTC).

import software.amazon.awssdk.auth.credentials.AwsBasicCredentials;
import software.amazon.awssdk.regions.Region;
import software.amazon.awssdk.services.s3.model.DeleteMarkerReplication;
import software.amazon.awssdk.services.s3.model.Destination;
import software.amazon.awssdk.services.s3.model.Metrics;
import software.amazon.awssdk.services.s3.model.MetricsStatus;
import software.amazon.awssdk.services.s3.model.PutBucketReplicationRequest;
import software.amazon.awssdk.services.s3.model.ReplicationConfiguration;
import software.amazon.awssdk.services.s3.model.ReplicationRule;
import software.amazon.awssdk.services.s3.model.ReplicationRuleFilter;
import software.amazon.awssdk.services.s3.model.ReplicationTime;
import software.amazon.awssdk.services.s3.model.ReplicationTimeStatus;
import software.amazon.awssdk.services.s3.model.ReplicationTimeValue;

public class Main {

  public static void main(String[] args) {
    S3Client s3 = S3Client.builder()
      .region(Region.US_EAST_1)
      .credentialsProvider(() -> AwsBasicCredentials.create(
          "AWS_ACCESS_KEY_ID",
          "AWS_SECRET_ACCESS_KEY")
      )
      .build();

    ReplicationConfiguration replicationConfig = ReplicationConfiguration
      .builder()
      .rules(
          ReplicationRule
            .builder()
            .status("Enabled")
            .priority(1)
            .deleteMarkerReplication(
                DeleteMarkerReplication
                    .builder()
                    .status("Disabled")
                    .build()
            )
            .destination(
                Destination
                    .builder()
                    .bucket("destination_bucket_arn")
                    .replicationTime(
                        ReplicationTime.builder().time(
                            ReplicationTimeValue.builder().minutes(15).build()
                        ).status(
                            ReplicationTimeStatus.ENABLED
                        ).build()
                    )
                    .metrics(
                        Metrics.builder().eventThreshold(
                            ReplicationTimeValue.builder().minutes(15).build()
                        ).status(
                            MetricsStatus.ENABLED
                        ).build()
                    )
                    .build()
            )
            .filter(
                ReplicationRuleFilter
                    .builder()
                    .prefix("testtest")
                    .build()
            )
        .build())
        .role("role_arn")
        .build();

    // Put replication configuration
    PutBucketReplicationRequest putBucketReplicationRequest = PutBucketReplicationRequest
      .builder()
      .bucket("source_bucket")
      .replicationConfiguration(replicationConfig)
      .build();

    s3.putBucketReplication(putBucketReplicationRequest);
  }
}
            

Pour plus d’informations, consultez Respect des exigences de conformité grâce à S3 Replication Time Control (S3RTC).