Menangani masalah ECS pelambatan Amazon

Kesalahan pelambatan terbagi dalam dua kategori utama: throttling sinkron dan pelambatan asinkron.

Pelambatan sinkron

Saat pelambatan sinkron terjadi, Anda segera menerima respons kesalahan dari Amazon. ECS Kategori ini biasanya terjadi ketika Anda memanggil Amazon ECS APIs saat menjalankan tugas atau membuat layanan. Untuk informasi selengkapnya tentang pembatasan yang terlibat dan batas throttle yang relevan, lihat Meminta pembatasan untuk Amazon. ECS API

Saat aplikasi Anda memulai API permintaan, misalnya, dengan menggunakan AWS CLI atau an AWS SDK, Anda dapat memulihkan pelambatan. API Anda dapat melakukan ini dengan merancang aplikasi Anda untuk menangani kesalahan atau dengan menerapkan strategi backoff dan jitter eksponensial dengan logika coba lagi untuk panggilan. API Untuk informasi selengkapnya, lihat Timeout, percobaan ulang, dan backoff dengan jitter.

Jika Anda menggunakan AWS SDK, logika coba ulang otomatis sudah terpasang dan dapat dikonfigurasi.

Pelambatan asinkron

Pelambatan asinkron terjadi karena alur kerja asinkron di mana Amazon ECS atau AWS CloudFormation mungkin memanggil atas nama Anda untuk menyediakan sumber daya. APIs Penting untuk mengetahui mana AWS APIs yang ECS dipanggil Amazon atas nama Anda. Misalnya, CreateNetworkInterface API dipanggil untuk tugas yang menggunakan mode awsvpc jaringan, dan DescribeTargetHealth API dipanggil saat melakukan pemeriksaan kesehatan untuk tugas yang terdaftar ke penyeimbang beban.

Ketika beban kerja Anda mencapai skala yang cukup besar, API operasi ini mungkin dibatasi. Artinya, mereka mungkin cukup dibatasi untuk melanggar batas yang diberlakukan oleh ECS Amazon atau Layanan AWS yang disebut. Misalnya, jika Anda menerapkan ratusan layanan, masing-masing memiliki ratusan tugas secara bersamaan yang menggunakan mode awsvpc jaringan, Amazon akan ECS memanggil operasi Amazon seperti dan operasi Elastic API Load Balancing CreateNetworkInterface RegisterTarget DescribeTargetHealth seperti atau untuk mendaftarkan interface network elastis dan penyeimbang beban, masing-masing. EC2 API APIPanggilan ini dapat melebihi API batas, yang mengakibatkan kesalahan pelambatan. Berikut ini adalah contoh kesalahan pelambatan Elastic Load Balancing yang disertakan dalam pesan acara layanan.

{
   "userIdentity":{
      "arn":"arn:aws:sts::111122223333:assumed-role/AWSServiceRoleForECS/ecs-service-scheduler",
      "eventTime":"2022-03-21T08:11:24Z",
      "eventSource":"elasticloadbalancing.amazonaws.com",
      "eventName":" DescribeTargetHealth ",
      "awsRegion":"us-east-1",
      "sourceIPAddress":"ecs.amazonaws.com",
      "userAgent":"ecs.amazonaws.com",
      "errorCode":"ThrottlingException",
      "errorMessage":"Rate exceeded",
      "eventID":"0aeb38fc-229b-4912-8b0d-2e8315193e9c"
   }
}

Ketika API panggilan ini berbagi batas dengan API lalu lintas lain di akun Anda, mereka mungkin sulit dipantau meskipun mereka dipancarkan sebagai acara layanan.

Pantau pelambatan

Penting untuk mengidentifikasi API permintaan mana yang dibatasi dan siapa yang mengeluarkan permintaan ini. Anda dapat menggunakan monitor AWS CloudTrail mana yang membatasi, dan terintegrasi dengan, Amazon CloudWatch Athena, dan Amazon. EventBridge Anda dapat mengonfigurasi CloudTrail untuk mengirim peristiwa tertentu ke CloudWatch Log. CloudWatch Wawasan log log mem-parsing dan menganalisis peristiwa. Ini mengidentifikasi detail dalam peristiwa pelambatan seperti pengguna atau IAM peran yang melakukan panggilan dan jumlah API panggilan yang dilakukan. Untuk informasi selengkapnya, lihat Memantau file CloudTrail CloudWatch log dengan Log.

Untuk informasi selengkapnya tentang wawasan dan petunjuk CloudWatch Log tentang cara menanyakan file log, lihat Menganalisis data CloudWatch log dengan Wawasan Log.

Dengan Amazon Athena, Anda dapat membuat kueri dan menganalisis data menggunakan standar. SQL Misalnya, Anda dapat membuat tabel Athena untuk mengurai CloudTrail acara. Untuk informasi selengkapnya, lihat Menggunakan CloudTrail konsol untuk membuat tabel Athena untuk CloudTrail log.

Setelah membuat tabel Athena, Anda dapat menggunakan SQL kueri seperti berikut untuk menyelidiki kesalahan. ThrottlingException

Ganti user-input dengan nilai-nilai Anda.

select eventname, errorcode,eventsource,awsregion, useragent,COUNT(*) count
FROM cloudtrail_table-name
where errorcode = 'ThrottlingException'
AND eventtime between '2024-09-24T00:00:08Z' and '2024-09-23T23:15:08Z'
group by errorcode, awsregion, eventsource, useragent, eventname
order by count desc;

Amazon ECS juga memancarkan pemberitahuan acara ke Amazon EventBridge. Ada peristiwa perubahan status sumber daya dan peristiwa tindakan layanan. Mereka termasuk acara API pelambatan seperti ECS_OPERATION_THROTTLED dan. SERVICE_DISCOVERY_OPERATION_THROTTLED Untuk informasi selengkapnya, lihat Acara tindakan ECS layanan Amazon.

Peristiwa ini dapat dikonsumsi oleh layanan seperti AWS Lambda untuk melakukan tindakan sebagai tanggapan. Untuk informasi selengkapnya, lihat Menangani ECS acara Amazon.

Jika Anda menjalankan tugas mandiri, beberapa API operasi seperti RunTask asinkron, dan operasi coba lagi tidak dilakukan secara otomatis. Dalam kasus seperti itu, Anda dapat menggunakan layanan seperti AWS Step Functions EventBridge integrasi untuk mencoba kembali operasi yang dibatasi atau gagal. Untuk informasi selengkapnya, lihat Mengelola tugas penampung (AmazonECS, AmazonSNS).

Gunakan CloudWatch untuk memantau pelambatan

CloudWatch menawarkan pemantauan API penggunaan pada Usage namespace di bawah By AWS Resource. Metrik ini dicatat dengan jenis APIdan nama CallCountmetrik. Anda dapat membuat alarm untuk memulai setiap kali metrik ini mencapai ambang batas tertentu. Untuk informasi selengkapnya, lihat Memvisualisasikan kuota layanan Anda dan menyetel alarm.

CloudWatch juga menawarkan deteksi anomali. Fitur ini menggunakan pembelajaran mesin untuk menganalisis dan menetapkan garis dasar berdasarkan perilaku tertentu dari metrik yang Anda aktifkan. Jika ada API aktivitas yang tidak biasa, Anda dapat menggunakan fitur ini bersama dengan CloudWatch alarm. Untuk informasi lebih lanjut, lihat Menggunakan CloudWatch deteksi anomali.

Dengan secara proaktif memantau kesalahan pelambatan, Anda dapat menghubungi AWS Support untuk meningkatkan batas pelambatan yang relevan dan juga menerima panduan untuk kebutuhan aplikasi unik Anda.