Gewähren Sie Firehose Zugriff, um Datenbankänderungen auf Apache Iceberg Tables zu replizieren

Anmerkung

Firehose unterstützt Datenbanken als Quelle in allen Regionen AWS-Regionenaußer China und Asien-Pazifik (Malaysia). AWS GovCloud (US) Regions Diese Funktion befindet sich in der Vorschauversion und kann sich ändern. Verwenden Sie es nicht für Ihre Produktionsworkloads.

Sie müssen über eine IAM-Rolle verfügen, bevor Sie einen Firehose-Stream und Apache Iceberg-Tabellen mit erstellen können. AWS Glue Gehen Sie wie folgt vor, um eine Richtlinie und eine IAM-Rolle zu erstellen. Firehose übernimmt diese IAM-Rolle und führt die erforderlichen Aktionen aus.

1. Melden Sie sich bei der an AWS Management Console und öffnen Sie die IAM-Konsole unter. https://console.aws.amazon.com/iam/

2. Erstellen Sie eine Richtlinie und wählen Sie im Richtlinieneditor JSON aus.

3. Fügen Sie die folgende Inline-Richtlinie hinzu, die Amazon S3 read/write S3-Berechtigungen wie Berechtigungen, Berechtigungen zum Aktualisieren der Tabelle im Datenkatalog und andere gewährt.

   JSON

   {
   "Version": "2012-10-17",  
       "Statement":
       [    
           {
               "Effect": "Allow",      
               "Action": [
                   "glue:GetTable",
                   "glue:GetDatabase",
                   "glue:UpdateTable",
                   "glue:CreateTable",
                   "glue:CreateDatabase"
               ],      
               "Resource": [   
               "arn:aws:glue:us-east-1:111122223333:catalog",
       "arn:aws:glue:us-east-1:111122223333:database/*",
       "arn:aws:glue:us-east-1:111122223333:table/*/*"             
               ]    
           },        
           {
               "Effect": "Allow",      
               "Action": [
                   "s3:AbortMultipartUpload",
                   "s3:GetBucketLocation",
                   "s3:GetObject",
                   "s3:ListBucket",
                   "s3:ListBucketMultipartUploads",
                   "s3:PutObject",
                   "s3:DeleteObject"
               ],      
               "Resource": [   
               "arn:aws::s3:::amzn-s3-demo-bucket",
       "arn:aws::s3:::amzn-s3-demo-bucket/*"              
               ]    
           },      
           {
              "Effect": "Allow",
              "Action": [
                  "kms:Decrypt",
                  "kms:GenerateDataKey"
              ],
              "Resource": [
              "arn:aws::kms:us-east-1:123456789012:key/<key-id>"           
              ],
              "Condition": {
               "StringEquals": {
               "kms:ViaService": "arn:aws::kms:us-east-1:123456789012:key/s3"
                  },
                  "StringLike": {
                  "kms:EncryptionContext:aws:s3:arn": "arn:aws::s3:::amzn-s3-demo-bucket/prefix*"
                  }
              }
           },
           {
              "Effect": "Allow",
              "Action": [
                  "logs:PutLogEvents"
              ],
              "Resource": [
              "arn:aws::logs:"us-east-1:111122223333:log-group:log-group-name>:log-stream:log-stream-name>"
              ]
           },
           {
               "Effect": "Allow",
               "Action": "secretsmanager:GetSecretValue",
               "Resource": "arn:aws::secretsmanager:us-east-1:123456789012:secret:mySecret-abc123>"
           },
           {
               "Effect": "Allow",
               "Action": [
                   "ec2:DescribeVpcEndpointServices"
               ],
               "Resource": [
                   "*"
               ]
           }
       ]
   }