Pencatatan log Fargate - Amazon EKS
Konfigurasi router logKubernetesdukungan filterAplikasi ujiPertimbangan ukuranMemecahkan masalah

Bantu tingkatkan halaman ini

Ingin berkontribusi pada panduan pengguna ini? Gulir ke bagian bawah halaman ini dan pilih Edit halaman ini GitHub. Kontribusi Anda akan membantu membuat panduan pengguna kami lebih baik untuk semua orang.

Terjemahan disediakan oleh mesin penerjemah. Jika konten terjemahan yang diberikan bertentangan dengan versi bahasa Inggris aslinya, utamakan versi bahasa Inggris.

Pencatatan log Fargate

penting

AWS Fargate dengan Amazon EKS tidak tersedia di AWS GovCloud (AS-Timur) dan AWS GovCloud (AS-Barat).

Amazon EKS di Fargate menawarkan router log bawaan berdasarkan. Fluent Bit Ini berarti Anda tidak secara eksplisit menjalankan Fluent Bit wadah sebagai sespan, tetapi Amazon menjalankannya untuk Anda. Yang harus Anda lakukan adalah mengkonfigurasi router log. Konfigurasi terjadi melalui dedicated ConfigMap yang harus memenuhi kriteria berikut:

  • Bernama aws-logging

  • Dibuat di namespace khusus yang disebut aws-observability

  • Tidak dapat melebihi 5300 karakter.

Setelah Anda membuatConfigMap, Amazon EKS di Fargate secara otomatis mendeteksi dan mengonfigurasi router log dengannya. Fargate menggunakan versi AWS forFluent Bit, distribusi yang sesuai dengan hulu yang dikelola oleh. Fluent Bit AWS Untuk informasi lebih lanjut, lihat AWS untuk Fluent Bit di GitHub.

Router log memungkinkan Anda untuk menggunakan luasnya layanan di AWS untuk analisis log dan penyimpanan. Anda dapat melakukan streaming log dari Fargate langsung ke Amazon, CloudWatch Amazon OpenSearch Service. Anda juga dapat melakukan streaming log ke tujuan seperti Amazon S3, Amazon Kinesis Data Streams, dan alat mitra melalui Amazon Data Firehose.

Prasyarat

Konfigurasi router log

Untuk mengkonfigurasi router log

Pada langkah-langkah berikut, ganti masing-masing example value dengan nilai Anda sendiri.

  1. Buat Kubernetes namespace khusus bernama. aws-observability

    1. Simpan konten berikut ini ke file bernama aws-observability-namespace.yaml pada komputer Anda. Nilai untuk name harus aws-observability dan aws-observability: enabled label diperlukan.

      kind: Namespace
apiVersion: v1
metadata:
  name: aws-observability
  labels:
    aws-observability: enabled

    2. Buat namespace.

      kubectl apply -f aws-observability-namespace.yaml

  2. Buat ConfigMap dengan nilai Fluent Conf data untuk mengirimkan log kontainer ke tujuan. Fluent Conf adalahFluent Bit, yang merupakan bahasa konfigurasi prosesor log yang cepat dan ringan yang digunakan untuk merutekan log kontainer ke tujuan log pilihan Anda. Untuk informasi selengkapnya, lihat File Konfigurasi dalam Fluent Bit dokumentasi.

    penting

    Bagian utama yang termasuk dalam tipikal Fluent Conf adalahService,Input,Filter, danOutput. Namun, router log Fargate hanya menerima:

    • OutputBagian Filter dan.

    • Sebuah Parser bagian.

    Jika Anda memberikan bagian lain, mereka akan ditolak.

    Router log Fargate mengelola bagian Service danInput. Ini memiliki Input bagian berikut, yang tidak dapat dimodifikasi dan tidak diperlukan di AndaConfigMap. Namun, Anda bisa mendapatkan wawasan darinya, seperti batas buffer memori dan tag yang diterapkan untuk log.

    [INPUT]
    Name tail
    Buffer_Max_Size 66KB
    DB /var/log/flb_kube.db
    Mem_Buf_Limit 45MB
    Path /var/log/containers/*.log
    Read_From_Head On
    Refresh_Interval 10
    Rotate_Wait 30
    Skip_Long_Lines On
    Tag kube.*

    Saat membuatConfigMap, pertimbangkan aturan berikut yang digunakan Fargate untuk memvalidasi bidang:

    • [FILTER],[OUTPUT], dan seharusnya [PARSER] ditentukan di bawah setiap kunci yang sesuai. Contohnya, [FILTER] harus berada dalam filters.conf. Anda dapat memiliki satu atau lebih [FILTER] s di bawahfilters.conf. [PARSER]Bagian [OUTPUT] dan juga harus berada di bawah kunci yang sesuai. Dengan menentukan beberapa [OUTPUT] bagian, Anda dapat merutekan log Anda ke tujuan yang berbeda secara bersamaan.

    • Fargate memvalidasi kunci yang diperlukan untuk setiap bagian. Name dan match diperlukan untuk setiap [FILTER] dan [OUTPUT]. Name dan format diperlukan untuk setiap [PARSER]. Kunci peka terhadap huruf besar dan kecil.

    • Variabel lingkungan seperti ${ENV_VAR} tidak diizinkan diConfigMap.

    • Indentasi harus sama dengan arahan atau pasangan nilai kunci dalam setiap filters.conf, output.conf, dan parsers.conf. Pasangan nilai kunci yang harus menjorok lebih dari arahan.

    • Fargate memvalidasi terhadap filter yang didukung berikut:grep,,parser,,record_modifier, rewrite_tag throttlenest, modify dan. kubernetes

    • Fargate memvalidasi output yang didukung berikut: es, firehose, kinesis_firehose, cloudwatch, cloudwatch_logs, dan kinesis.

    • Setidaknya satu Output plugin yang didukung harus disediakan di ConfigMap untuk mengaktifkan logging. Filterdan Parser tidak diperlukan untuk mengaktifkan logging.

    Anda juga dapat menjalankan Fluent Bit di Amazon EC2 menggunakan konfigurasi yang diinginkan untuk memecahkan masalah apa pun yang timbul dari validasi. Buat Anda ConfigMap menggunakan salah satu contoh berikut.

    penting

    Amazon EKS Fargate logging tidak mendukung konfigurasi dinamis. ConfigMaps Setiap perubahan ConfigMaps diterapkan Pods hanya untuk yang baru. Perubahan tidak diterapkan pada yang adaPods.

    Buat ConfigMap menggunakan contoh untuk tujuan log yang Anda inginkan.

    catatan

    Anda juga dapat menggunakan Amazon Kinesis Data Streams untuk tujuan log Anda. Jika Anda menggunakan Kinesis Data Streams, pastikan bahwa peran eksekusi pod telah kinesis:PutRecords diberikan izin. Untuk informasi selengkapnya, lihat Izin Amazon Kinesis Data Streams Fluent Bitdi: Manual Resmi.

    CloudWatch

    Untuk membuat ConfigMap untuk CloudWatch

    Anda memiliki dua opsi output saat menggunakan CloudWatch:

    Contoh berikut menunjukkan cara menggunakan cloudwatch_logs plugin untuk mengirim log ke CloudWatch.

    1. Simpan konten berikut ini ke file bernama aws-logging-cloudwatch-configmap.yaml. Ganti region-code dengan tempat Wilayah AWS cluster Anda berada. Parameter di bawah [OUTPUT] ini diperlukan.

      kind: ConfigMap
apiVersion: v1
metadata:
  name: aws-logging
  namespace: aws-observability
data:
  flb_log_cw: "false"  # Set to true to ship Fluent Bit process logs to CloudWatch.
  filters.conf: |
    [FILTER]
        Name parser
        Match *
        Key_name log
        Parser crio
    [FILTER]
        Name kubernetes
        Match kube.*
        Merge_Log On
        Keep_Log Off
        Buffer_Size 0
        Kube_Meta_Cache_TTL 300s
  output.conf: |
    [OUTPUT]
        Name cloudwatch_logs
        Match   kube.*
        region region-code
        log_group_name my-logs
        log_stream_prefix from-fluent-bit-
        log_retention_days 60
        auto_create_group true
  parsers.conf: |
    [PARSER]
        Name crio
        Format Regex
        Regex ^(?<time>[^ ]+) (?<stream>stdout|stderr) (?<logtag>P|F) (?<log>.*)$
        Time_Key    time
        Time_Format %Y-%m-%dT%H:%M:%S.%L%z

    2. Menerapkan manifes ke klaster Anda.

      kubectl apply -f aws-logging-cloudwatch-configmap.yaml

    3. Unduh kebijakan CloudWatch IAM ke komputer Anda. Anda juga dapat melihat kebijakan di GitHub.

      curl -O https://raw.githubusercontent.com/aws-samples/amazon-eks-fluent-logging-examples/mainline/examples/fargate/cloudwatchlogs/permissions.json
    Amazon OpenSearch Service

    Untuk membuat OpenSearch Layanan ConfigMap untuk Amazon

    Jika Anda ingin mengirim log ke Amazon OpenSearch Service, Anda dapat menggunakan es output, yang merupakan plugin yang ditulisC. Contoh berikut menunjukkan cara menggunakan plugin untuk mengirim log ke OpenSearch.

    1. Simpan konten berikut ini ke file bernama aws-logging-opensearch-configmap.yaml. Ganti setiap example value dengan nilai-nilai Anda sendiri.

      kind: ConfigMap
apiVersion: v1
metadata:
  name: aws-logging
  namespace: aws-observability
data:
  output.conf: |
    [OUTPUT]
      Name  es
      Match *
      Host  search-example-gjxdcilagiprbglqn42jsty66y.region-code.es.amazonaws.com
      Port  443
      Index example
      Type  example_type
      AWS_Auth On
      AWS_Region region-code
      tls   On

    2. Menerapkan manifes ke klaster Anda.

      kubectl apply -f aws-logging-opensearch-configmap.yaml

    3. Unduh kebijakan OpenSearch IAM ke komputer Anda. Anda juga dapat melihat kebijakan di GitHub.

      curl -O https://raw.githubusercontent.com/aws-samples/amazon-eks-fluent-logging-examples/mainline/examples/fargate/amazon-elasticsearch/permissions.json

      Pastikan kontrol akses OpenSearch Dashboard dikonfigurasi dengan benar. OpenSearch Dasbor all_access role in harus memiliki peran eksekusi Pod Fargate dan peran IAM yang dipetakan. Pemetaan yang sama harus dilakukan untuk security_manager peran tersebut. Anda dapat menambahkan pemetaan sebelumnya dengan memilihMenu, kemudian, lalu SecurityRoles, dan kemudian memilih peran masing-masing. Untuk informasi selengkapnya, lihat Bagaimana cara memecahkan masalah CloudWatch Log sehingga dialirkan ke domain Amazon ES saya? .

    Firehose

    Untuk membuat ConfigMap untuk Firehose

    Anda memiliki dua opsi output saat mengirim log ke Firehose:

    Contoh berikut menunjukkan cara menggunakan kinesis_firehose plugin untuk mengirim log ke Firehose.

    1. Simpan konten berikut ini ke file bernama aws-logging-firehose-configmap.yaml. Ganti region-code dengan tempat Wilayah AWS cluster Anda berada.

      kind: ConfigMap
apiVersion: v1
metadata:
  name: aws-logging
  namespace: aws-observability
data:
  output.conf: |
    [OUTPUT]
     Name  kinesis_firehose
     Match *
     region region-code
     delivery_stream my-stream-firehose

    2. Menerapkan manifes ke klaster Anda.

      kubectl apply -f aws-logging-firehose-configmap.yaml

    3. Unduh kebijakan Firehose IAM ke komputer Anda. Anda juga dapat melihat kebijakan di GitHub.

      curl -O https://raw.githubusercontent.com/aws-samples/amazon-eks-fluent-logging-examples/mainline/examples/fargate/kinesis-firehose/permissions.json

  3. Buat kebijakan IAM dari file kebijakan yang Anda unduh di langkah sebelumnya.

    aws iam create-policy --policy-name eks-fargate-logging-policy --policy-document file://permissions.json

  4. Lampirkan kebijakan IAM ke peran eksekusi pod yang ditentukan untuk profil Fargate Anda dengan perintah berikut. Ganti 111122223333 dengan ID akun Anda. Ganti AmazonEKSFargatePodExecutionRole dengan peran Pod eksekusi Anda (untuk informasi selengkapnya, lihatBuat peran eksekusi Fargate Pod).

    aws iam attach-role-policy \
  --policy-arn arn:aws:iam::111122223333:policy/eks-fargate-logging-policy \
  --role-name AmazonEKSFargatePodExecutionRole

Kubernetesdukungan filter

Fitur ini membutuhkan Kubernetes versi minimum dan level platform berikut, atau yang lebih baru.

Versi Kubernetes Tingkat platform
1.23 dan kemudian eks.1

Fluent BitKubernetesFilter memungkinkan Anda untuk menambahkan Kubernetes metadata ke file log Anda. Untuk informasi selengkapnya tentang filter, lihat Kubernetesdi Fluent Bit dokumentasi. Anda dapat menerapkan filter menggunakan titik akhir server API. 

filters.conf: |
    [FILTER]
        Name             kubernetes
        Match            kube.*
        Merge_Log           On
        Buffer_Size         0
        Kube_Meta_Cache_TTL 300s
penting

  • Kube_URL,Kube_CA_File,Kube_Token_Command, dan Kube_Token_File merupakan parameter konfigurasi yang dimiliki layanan dan tidak boleh ditentukan. Amazon EKS Fargate mengisi nilai-nilai ini.

  • Kube_Meta_Cache_TTLadalah waktu Fluent Bit menunggu hingga berkomunikasi dengan server API untuk metadata terbaru. Jika Kube_Meta_Cache_TTL tidak ditentukan, Amazon EKS Fargate menambahkan nilai default 30 menit untuk mengurangi beban pada server API.

Untuk mengirimkan log Fluent Bit proses ke akun Anda

Anda dapat secara opsional mengirimkan log Fluent Bit proses ke Amazon CloudWatch menggunakan yang berikut ConfigMap ini. Pengiriman log proses Fluent Bit ke CloudWatch membutuhkan biaya konsumsi dan penyimpanan log tambahan. Ganti region-code dengan tempat Wilayah AWS cluster Anda berada.

kind: ConfigMap
apiVersion: v1
metadata:
  name: aws-logging
  namespace: aws-observability
  labels:
data:
  # Configuration files: server, input, filters and output
  # ======================================================
  flb_log_cw: "true"  # Ships Fluent Bit process logs to CloudWatch.

  output.conf: |
    [OUTPUT]
        Name cloudwatch
        Match kube.*
        region region-code
        log_group_name fluent-bit-cloudwatch
        log_stream_prefix from-fluent-bit-
        auto_create_group true

Log berada di Wilayah AWS tempat cluster berada di bawah CloudWatch. Nama grup log adalah my-cluster-fluent-bit-logs dan nama Fluent Bit logstream adalahfluent-bit-podname-pod-namespace.

catatan

  • Log proses dikirim hanya ketika Fluent Bit proses berhasil dimulai. Jika ada kegagalan saat memulaiFluent Bit, log proses terlewatkan. Anda hanya dapat mengirimkan log proses ke CloudWatch.

  • Untuk men-debug log proses pengiriman ke akun Anda, Anda dapat menerapkan sebelumnya ConfigMap untuk mendapatkan log proses. Fluent Bitgagal untuk memulai biasanya karena Anda ConfigMap tidak diurai atau diterima Fluent Bit saat memulai.

Untuk menghentikan log Fluent Bit proses pengiriman

Log Fluent Bit proses pengiriman ke CloudWatch membutuhkan biaya konsumsi dan penyimpanan log tambahan. Untuk mengecualikan log proses dalam ConfigMap pengaturan yang ada, lakukan langkah-langkah berikut.

  1. Temukan grup CloudWatch log yang dibuat secara otomatis untuk log Fluent Bit proses klaster Amazon EKS Anda setelah mengaktifkan pencatatan Fargate. Ini mengikuti formatnya{cluster_name}-fluent-bit-logs.

  2. Hapus aliran CloudWatch log yang ada yang dibuat untuk setiap log Pod's proses di grup CloudWatch log.

  3. Edit ConfigMap dan aturflb_log_cw: "false".

  4. Mulai ulang semua yang ada Pods di cluster.

Aplikasi uji

  1. Menyebarkan sampelPod.

    1. Simpan konten berikut ini ke file bernama sample-app.yaml pada komputer Anda.

      apiVersion: apps/v1
kind: Deployment
metadata:
  name: sample-app
  namespace: same-namespace-as-your-fargate-profile
spec:
  replicas: 3
  selector:
    matchLabels:
      app: nginx
  template:
    metadata:
      labels:
        app: nginx
    spec:
      containers:
        - name: nginx
          image: nginx:latest
          ports:
            - name: http
              containerPort: 80

    2. Menerapkan manifes ke klaster.

      kubectl apply -f sample-app.yaml

  2. Lihat log NGINX menggunakan tujuan yang Anda konfigurasikan di file. ConfigMap

Pertimbangan ukuran

Kami menyarankan Anda merencanakan hingga 50 MB memori untuk router log. Jika Anda mengharapkan aplikasi Anda untuk menghasilkan catatan pada throughput yang sangat tinggi, maka Anda harus menyediakan memori hingga 100 MB.

Memecahkan masalah

Untuk mengonfirmasi apakah fitur logging diaktifkan atau dinonaktifkan karena alasan tertentu, seperti tidak validConfigMap, dan mengapa fitur tersebut tidak valid, periksa acara Anda dengan. Pod kubectl describe pod pod_name Output mungkin termasuk Pod peristiwa yang menjelaskan apakah logging diaktifkan atau tidak, seperti contoh output berikut.

[...]
Annotations:          CapacityProvisioned: 0.25vCPU 0.5GB
                      Logging: LoggingDisabled: LOGGING_CONFIGMAP_NOT_FOUND
                      kubernetes.io/psp: eks.privileged
[...]
Events:
  Type     Reason           Age        From                                                           Message
  ----     ------           ----       ----                                                           -------
  Warning  LoggingDisabled  <unknown>  fargate-scheduler                                              Disabled logging because aws-logging configmap was not found. configmap "aws-logging" not found

PodPeristiwa bersifat fana dengan periode waktu tergantung pada pengaturannya. Anda juga dapat melihat Pod's anotasi menggunakankubectl describe pod pod-name. Dalam Pod anotasi, ada informasi tentang apakah fitur logging diaktifkan atau dinonaktifkan dan alasannya.