Praktik dan pedoman terbaik untuk S3 RTC Mengaktifkan Kontrol Waktu Replikasi S3

Memenuhi persyaratan kepatuhan dengan Kontrol Waktu Replikasi S3

Kontrol Waktu Replikasi S3 (S3RTC) membantu Anda memenuhi kepatuhan atau persyaratan bisnis untuk replikasi data dan memberikan visibilitas ke waktu replikasi Amazon S3. S3 RTC mereplikasi sebagian besar objek yang Anda unggah ke Amazon S3 dalam hitungan detik, dan 99,99 persen objek tersebut dalam waktu 15 menit.

Secara default, S3 RTC mencakup dua cara untuk melacak kemajuan replikasi:

Metrik Replikasi S3 — Anda dapat menggunakan metrik Replikasi S3 untuk memantau jumlah total API operasi S3 yang menunggu replikasi, ukuran total objek yang menunggu replikasi, waktu replikasi maksimum ke Wilayah tujuan, dan jumlah total operasi yang gagal replikasi. Kemudian, Anda dapat memantau setiap set data yang akan direplikasi secara terpisah. Anda juga dapat mengaktifkan metrik Replikasi S3 secara independen dari S3. RTC Untuk informasi selengkapnya, lihat Menggunakan metrik Replikasi S3.

Aturan replikasi dengan Kontrol Waktu Replikasi S3 (S3RTC) diaktifkan menerbitkan metrik Replikasi S3. Metrik replikasi tersedia dalam waktu 15 menit setelah mengaktifkan S3. RTC Metrik replikasi tersedia melalui konsol Amazon S3, Amazon API S3, AWS SDKs the, the AWS Command Line Interface ()AWS CLI, dan Amazon. CloudWatch Untuk informasi selengkapnya tentang CloudWatch metrik, lihatMemantau metrik dengan Amazon CloudWatch. Untuk informasi selengkapnya tentang melihat metrik replikasi melalui konsol Amazon S3, lihat. Melihat metrik replikasi

Metrik Replikasi S3 ditagih dengan tarif yang sama dengan metrik kustom Amazon. CloudWatch Untuk informasi, lihat harga Amazon CloudWatch.
Pemberitahuan Acara Amazon S3 — S3 RTC menyediakan OperationMissedThreshold dan OperationReplicatedAfterThreshold peristiwa yang memberi tahu pemilik bucket jika replikasi objek melebihi atau terjadi setelah ambang batas 15 menit. Dengan S3RTC, Pemberitahuan Acara Amazon S3 dapat memberi tahu Anda dalam contoh langka ketika objek tidak mereplikasi dalam waktu 15 menit dan ketika objek tersebut bereplikasi setelah ambang batas 15 menit.

Peristiwa replikasi tersedia dalam waktu 15 menit setelah mengaktifkan S3. RTC Pemberitahuan Acara Amazon S3 tersedia melalui AmazonSNS, SQS Amazon, atau. AWS Lambda Untuk informasi selengkapnya, lihat Menerima peristiwa kegagalan replikasi dengan Notifikasi Peristiwa Amazon S3.

Praktik dan pedoman terbaik untuk S3 RTC

Saat mereplikasi data di Amazon S3 dengan S3 Replication Time Control (RTCS3) diaktifkan, ikuti panduan praktik terbaik ini untuk mengoptimalkan kinerja replikasi untuk beban kerja Anda.

Topik

Replikasi Amazon S3 dan pedoman kinerja tingkat permintaan
Memperkirakan tingkat permintaan replikasi Anda
Melebihi kuota kecepatan transfer RTC data S3
AWS KMS tingkat permintaan replikasi objek terenkripsi

Replikasi Amazon S3 dan pedoman kinerja tingkat permintaan

Ketika mengunggah dan mengambil penyimpanan dari Amazon S3, aplikasi Anda dapat mencapai ribuan transaksi per detik dalam kinerja permintaan. Misalnya, aplikasi dapat mencapai setidaknya 3.500PUT/COPYPOST/DELETEatau GET HEAD 5.500/permintaan per detik per awalan dalam bucket S3, termasuk permintaan yang dibuat oleh S3 Replication atas nama Anda. Tidak ada batas jumlah awalan dalam bucket. Anda dapat meningkatkan kinerja baca atau tulis dengan cara menyelaraskan pembacaan. Misalnya, jika Anda membuat 10 awalan dalam bucket S3 untuk memparalelkan pembacaan, Anda dapat menskalakan kinerja baca menjadi 55.000 permintaan baca per detik.

Amazon S3 secara otomatis menskalakan sebagai respons terhadap tarif permintaan berkelanjutan di atas pedoman ini, atau tarif permintaan berkelanjutan bersamaan dengan permintaan. LIST Meskipun Amazon S3 mengoptimalkan tingkat permintaan baru secara internal, Anda mungkin menerima respons permintaan HTTP 503 sementara hingga pengoptimalan selesai. Perilaku ini mungkin terjadi dengan peningkatan tingkat permintaan per detik, atau saat Anda pertama kali mengaktifkan S3RTC. Selama periode ini, latensi replikasi Anda dapat meningkat. Perjanjian tingkat RTC layanan S3 (SLA) tidak berlaku untuk periode waktu ketika pedoman kinerja Amazon S3 pada permintaan per detik terlampaui.

S3 RTC SLA juga tidak berlaku selama periode waktu dimana kecepatan transfer data replikasi Anda melebihi kuota default 1 gigabit per detik (Gbps). Jika Anda mengharapkan tingkat transfer replikasi Anda melebihi 1 Gbps, Anda dapat menghubungi AWS Support Center atau menggunakan Service Quotas untuk meminta peningkatan kuota transfer rate replikasi Anda.

Memperkirakan tingkat permintaan replikasi Anda

Total tingkat permintaan Anda termasuk permintaan yang dibuat oleh replikasi Amazon S3 atas nama Anda harus berada dalam pedoman tarif permintaan Amazon S3 untuk bucket sumber replikasi dan tujuan. Untuk setiap objek yang direplikasi, replikasi Amazon S3 menghasilkan hingga GET lima permintaanHEAD/dan PUT satu permintaan ke bucket sumber, dan PUT satu permintaan ke setiap bucket tujuan.

Misalnya, jika Anda berharap untuk mereplikasi 100 objek per detik, replikasi Amazon S3 dapat melakukan PUT 100 permintaan tambahan atas nama Anda dengan total PUT 200 permintaan per detik ke bucket S3 sumber. Replikasi Amazon S3 juga dapat melakukan hingga GET HEAD 500/permintaan (GETHEAD5/permintaan untuk setiap objek yang direplikasi.)

catatan

Anda dikenakan biaya hanya untuk satu PUT permintaan per objek yang direplikasi. Untuk informasi selengkapnya, lihat informasi harga di Amazon S3 FAQs tentang replikasi.

Melebihi kuota kecepatan transfer RTC data S3

Jika Anda mengharapkan kecepatan transfer RTC data S3 melebihi kuota default 1 Gbps, hubungi AWS Support Center atau gunakan Service Quotas untuk meminta peningkatan kuota transfer rate replikasi Anda.

AWS KMS tingkat permintaan replikasi objek terenkripsi

Saat Anda mereplikasi objek yang dienkripsi dengan enkripsi sisi server dengan AWS Key Management Service (AWS KMS) keys (SSE-KMS), AWS KMS kuota permintaan per detik berlaku. AWS KMS mungkin menolak permintaan yang valid karena tingkat permintaan Anda melebihi kuota untuk jumlah permintaan per detik. Ketika permintaan dibatasi, AWS KMS mengembalikan kesalahan. ThrottlingException Kuota tarif AWS KMS permintaan berlaku untuk permintaan yang Anda buat secara langsung dan permintaan yang dibuat oleh replikasi Amazon S3 atas nama Anda.

Misalnya, jika Anda berharap untuk mereplikasi 1.000 objek per detik, Anda dapat mengurangi 2.000 permintaan dari kuota tingkat AWS KMS permintaan Anda. Tingkat permintaan per detik yang dihasilkan tersedia untuk AWS KMS beban kerja Anda tidak termasuk replikasi. Anda dapat menggunakan metrik AWS KMS permintaan di Amazon CloudWatch untuk memantau total tingkat AWS KMS permintaan pada Anda Akun AWS.

Untuk meminta peningkatan kuota AWS KMS permintaan per detik, hubungi AWS Support Pusat atau gunakan Service Quotas.

Mengaktifkan Kontrol Waktu Replikasi S3

Anda dapat mulai menggunakan S3 Replication Time Control (S3RTC) dengan aturan replikasi baru atau yang sudah ada. Anda dapat memilih untuk menerapkan aturan replikasi ke seluruh bucket, atau ke objek dengan awalan atau tag tertentu. Saat Anda mengaktifkan S3RTC, metrik Replikasi S3 juga diaktifkan pada aturan replikasi Anda.

Anda dapat mengonfigurasi S3 RTC dengan menggunakan konsol Amazon S3, Amazon API S3, AWS SDKs the, dan (). AWS Command Line Interface AWS CLI

Topik

Untuk step-by-step instruksi, lihatMengkonfigurasi replikasi untuk bucket di akun yang sama. Topik ini memberikan instruksi untuk mengaktifkan S3 RTC dalam konfigurasi replikasi Anda ketika bucket sumber dan tujuan dimiliki oleh yang sama dan berbeda. Akun AWS

Untuk menggunakan AWS CLI untuk mereplikasi objek dengan S3 RTC diaktifkan, Anda membuat bucket, mengaktifkan pembuatan versi pada bucket, membuat peran yang IAM memberikan izin Amazon S3 untuk mereplikasi objek, dan menambahkan konfigurasi replikasi ke bucket sumber. Konfigurasi replikasi harus RTC mengaktifkan S3, seperti yang ditunjukkan pada contoh berikut.

Untuk step-by-step petunjuk untuk mengatur konfigurasi replikasi Anda dengan menggunakan AWS CLI, lihatMengkonfigurasi replikasi untuk bucket di akun yang sama.

Contoh konfigurasi replikasi berikut memungkinkan dan menetapkan ReplicationTime dan EventThreshold nilai-nilai untuk aturan replikasi. Mengaktifkan dan mengatur nilai-nilai ini memungkinkan S3 RTC pada aturan.


{
    "Rules": [
        {
            "Status": "Enabled",
            "Filter": {
                "Prefix": "Tax"
            },
            "DeleteMarkerReplication": {
                "Status": "Disabled"
            },
            "Destination": {
                "Bucket": "arn:aws:s3:::amzn-s3-demo-destination-bucket",
                "Metrics": {
                    "Status": "Enabled",
                    "EventThreshold": {
                        "Minutes": 15
                    }
                },
                "ReplicationTime": {
                    "Status": "Enabled",
                    "Time": {
                        "Minutes": 15
                    }
                }
            },
            "Priority": 1
        }
    ],
    "Role": "IAM-Role-ARN"
}

penting

Metrics:EventThreshold:Minutesdan hanya ReplicationTime:Time:Minutes dapat memiliki 15 nilai yang valid.

Contoh Java berikut menambahkan konfigurasi replikasi dengan S3 Replication Time Control (RTCS3) diaktifkan.


import software.amazon.awssdk.auth.credentials.AwsBasicCredentials;
import software.amazon.awssdk.regions.Region;
import software.amazon.awssdk.services.s3.model.DeleteMarkerReplication;
import software.amazon.awssdk.services.s3.model.Destination;
import software.amazon.awssdk.services.s3.model.Metrics;
import software.amazon.awssdk.services.s3.model.MetricsStatus;
import software.amazon.awssdk.services.s3.model.PutBucketReplicationRequest;
import software.amazon.awssdk.services.s3.model.ReplicationConfiguration;
import software.amazon.awssdk.services.s3.model.ReplicationRule;
import software.amazon.awssdk.services.s3.model.ReplicationRuleFilter;
import software.amazon.awssdk.services.s3.model.ReplicationTime;
import software.amazon.awssdk.services.s3.model.ReplicationTimeStatus;
import software.amazon.awssdk.services.s3.model.ReplicationTimeValue;

public class Main {

  public static void main(String[] args) {
    S3Client s3 = S3Client.builder()
      .region(Region.US_EAST_1)
      .credentialsProvider(() -> AwsBasicCredentials.create(
          "AWS_ACCESS_KEY_ID",
          "AWS_SECRET_ACCESS_KEY")
      )
      .build();

    ReplicationConfiguration replicationConfig = ReplicationConfiguration
      .builder()
      .rules(
          ReplicationRule
            .builder()
            .status("Enabled")
            .priority(1)
            .deleteMarkerReplication(
                DeleteMarkerReplication
                    .builder()
                    .status("Disabled")
                    .build()
            )
            .destination(
                Destination
                    .builder()
                    .bucket("destination_bucket_arn")
                    .replicationTime(
                        ReplicationTime.builder().time(
                            ReplicationTimeValue.builder().minutes(15).build()
                        ).status(
                            ReplicationTimeStatus.ENABLED
                        ).build()
                    )
                    .metrics(
                        Metrics.builder().eventThreshold(
                            ReplicationTimeValue.builder().minutes(15).build()
                        ).status(
                            MetricsStatus.ENABLED
                        ).build()
                    )
                    .build()
            )
            .filter(
                ReplicationRuleFilter
                    .builder()
                    .prefix("testtest")
                    .build()
            )
        .build())
        .role("role_arn")
        .build();

    // Put replication configuration
    PutBucketReplicationRequest putBucketReplicationRequest = PutBucketReplicationRequest
      .builder()
      .bucket("source_bucket")
      .replicationConfiguration(replicationConfig)
      .build();

    s3.putBucketReplication(putBucketReplicationRequest);
  }
}

Awas Javascript dinonaktifkan atau tidak tersedia di browser Anda.

Untuk menggunakan Dokumentasi AWS, Javascript harus diaktifkan. Lihat halaman Bantuan browser Anda untuk petunjuk.

Konvensi Dokumen

Mengubah pemilik replika

Mereplikasi objek terenkripsi