为 Apache Airflow Web 服务器设置自定义域

Apache Airflow 的亚马逊托管工作流程MWAA（亚马逊）允许您为托管 Apache Airflow 网络服务器设置自定义域。使用自定义域，您可以使用 Apache Airflow 用户界面、Apache Airflow 或 Apache Airflow Web 服务器访问您环境的亚马逊MWAA托管 Apache Airflow CLI Web 服务器。

注意

您只能在无互联网访问权限的私有 Web 服务器上使用自定义域。

Amazon 上自定义域名的使用案例 MWAA

在云应用程序中共享 Web 服务器域 AWS — 使用自定义域可以定义一个用户友好URL的 Web 服务器访问域，而不是生成的服务域名。您可以存储此自定义域，并将其作为应用程序中的环境变量共享。
访问私有 Web 服务器-如果要配置无法访问互联网的 Web 服务器VPC的访问权限，则使用自定义域可以简化URL重定向工作流程。

配置自定义域

要配置自定义域功能，您需要在创建或更新亚马逊MWAA环境时通过 webserver.base_url Apache Airflow 配置提供自定义域值。以下约束适用于自定义域名：

该值应为不含任何协议或路径的完全限定域名 (FQDN)。例如，your-custom-domain.com。
Amazon MWAA 不允许在中添加路径URL。例如，your-custom-domain.com/dags/ 不是有效的自定义域名。
URL长度限制为 255 ASCII 个字符。
如果您提供空字符串，则默认情况下，将使用 Amazon URL 生成的 Web 服务器创建环境MWAA。

以下示例说明 AWS CLI 如何使用创建带有自定义 Web 服务器域名的环境。


$ aws mwaa create-environment \
    --name my-mwaa-env \
    --source-bucket-arn arn:aws:s3:::my-bucket \
    --airflow-configuration-options '{"webserver.base_url":"my-custom-domain.com"}' \
    --network-configuration '{"SubnetIds":["subnet-0123456789abcdef","subnet-fedcba9876543210"]}' \
    --execution-role-arn arn:aws:iam::123456789012:role/my-execution-role

创建或更新环境后，您需要在 AWS 账户中设置网络基础架构，以便通过自定义域访问私有 Web 服务器。

要恢复到默认服务生成的状态URL，请更新您的私有环境并删除webserver.base_url配置选项。

设置联网基础设施

使用以下步骤设置所需的网络基础架构，以便与您的 AWS 账户中的自定义域一起使用。

获取 Amazon VPC 终端节点网络接口 (ENI) 的 IP 地址。要执行此操作，请首先使用 get-environment 查找适合环境的 WebserverVpcEndpointService。


$ aws mwaa get-environment --name your-environment-name

如果成功，您将看到与以下内容类似的输出。

{
    "Environment": {
        "AirflowConfigurationOptions": {},
        "AirflowVersion": "latest-version",
        "Arn": "environment-arn",
        "CreatedAt": "2024-06-01T01:00:00-00:00",
        "DagS3Path": "dags",
        .
        .
        .
        "WebserverVpcEndpointService": "web-server-vpc-endpoint-service",
        "WeeklyMaintenanceWindowStart": "TUE:21:30"
    }
}

记下该WebserverVpcEndpointService值并将其用于以下 Amazon EC2 describe-vpc-endpoints 命令web-server-vpc-endpoint-service中。 --filters Name=service-name,Values=web-server-vpc-endpoint-service-id在以下命令中。

检索 Amazon VPC 终端节点详情。此命令获取与特定服务名称匹配的 Amazon VPC 终端节点的详细信息，并以文本格式返回终端节点 ID 和关联IDs的网络接口。


$  aws ec2 describe-vpc-endpoints \
    --filters Name=service-name,Values=web-server-vpc-endpoint-service \
    --query 'VpcEndpoints[*].{EndpointId:VpcEndpointId,NetworkInterfaceIds:NetworkInterfaceIds}' \
    --output text

获取网络接口详细信息。此命令检索与上一步中确定的 Amazon VPC 终端节点关联的每个网络接口的私有 IP 地址。


$ for eni_id in $(
      aws ec2 describe-vpc-endpoints \
      --filters Name=service-name,Values=service-id \
      --query 'VpcEndpoints[*].NetworkInterfaceIds' \
      --output text
    ); do
      aws ec2 describe-network-interfaces \
      --network-interface-ids $eni_id \
      --query 'NetworkInterfaces[*].PrivateIpAddresses[*].PrivateIpAddress' \
      --output text
    done

使用 create-target-group 创建新的目标组。您将使用此目标组为您的 Web 服务器 Amazon VPC 终端节点注册 IP 地址。


$ aws elbv2 create-target-group \
    --name new-target-group-namne \
    --protocol HTTPS \
    --port 443 \
    --vpc-id web-server-vpc-id \
    --target-type ip \
    --health-check-protocol HTTPS \
    --health-check-port 443 \
    --health-check-path / \
    --health-check-enabled \
    --matcher 'HttpCode="200,302"'

使用 register-targets 命令注册 IP 地址。


$ aws elbv2 register-targets \
    --target-group-arn target-group-arn \
    --targets Id=ip-address-1 Id=ip-address-2

申请ACM证书。如果您使用的是现有证书，则跳过此步骤。


$ aws acm request-certificate \
    --domain-name my-custom-domain.com \
    --validation-method DNS

配置 Application Load Balancer。首先创建负载均衡器，然后为该负载均衡器创建侦听器。指定您在上一步中创建的ACM证书。


$ aws elbv2 create-load-balancer \
    --name my-mwaa-lb \
    --type application \
    --subnets subnet-id-1 subnet-id-2


$ aws elbv2 create-listener \
    --load-balancer-arn load-balancer-arn \
    --protocol HTTPS \
    --port 443 \
    --ssl-policy ELBSecurityPolicy-2016-08 \
    --certificates CertificateArn=acm-certificate-arn \
    --default-actions Type=forward,TargetGroupArn=target-group-arn

如果您在私有子网中使用网络负载均衡器，请设置堡垒主机或 AWS VPN 隧道来访问 Web 服务器。

使用 Route 53 为该域创建托管区。


$ aws route53 create-hosted-zone --name my-custom-domain.com \
    --caller-reference 1

为该域创建一条 A 记录。要使用执行此操作 AWS CLI，请使用获取托管区域 IDlist-hosted-zones-by-name，然后使用应用记录change-resource-record-sets。


$ HOSTED_ZONE_ID=$(aws route53 list-hosted-zones-by-name \
    --dns-name my-custom-domain.com \
    --query 'HostedZones[0].Id' --output text)


$ aws route53 change-resource-record-sets \
    --hosted-zone-id $HOSTED_ZONE_ID \
    --change-batch '{
        "Changes": [
            {
                "Action": "CREATE",
                "ResourceRecordSet": {
                    "Name": "my-custom-domain.com",
                    "Type": "A",
                    "AliasTarget": {
                        "HostedZoneId": "load-balancer-hosted-zone-id>",
                        "DNSName": "load-balancer-dns-name",
                        "EvaluateTargetHealth": true
                    }
                }
            }
        ]
    }'

更新 Web 服务器 Amazon VPC 终端节点的安全组规则，使其遵循最低权限原则，只允许来自 Application Load Balancer 所在的公共子网的HTTPS流量。将以下内容保存在JSON本地。例如，sg-ingress-ip-permissions.json。


[
{
  "IpProtocol": "tcp",
  "FromPort": 443,
  "ToPort": 443,
  "UserIdGroupPairs": [
    {
      "GroupId": "load-balancer-security-group-id"
    }
  ],
  "IpRanges": [
    {
      "CidrIp": "public-subnet-1-cidr"
    },
    {
      "CidrIp": "public-subnet-2-cidr"
    }
  ]
}
]

运行以下 Amazon EC2 命令以更新您的入口安全组规则。为其指定JSON文件--ip-permissions。


$ aws ec2 authorize-security-group-ingress \
    --group-id <security-group-id> \
    --ip-permissions file://sg-ingress-ip-permissions.json

运行以下 Amazon EC2 命令以更新您的出口规则。


$ aws ec2 authorize-security-group-egress \
    --group-id webserver-vpc-endpoint-security-group-id \
    --protocol tcp \
    --port 443 \
    --source-group load-balancer-security-group-id

打开亚马逊MWAA控制台并导航到 Apache Airflow 用户界面。如果是在私有子网中设置网络负载均衡器，而不是此处使用的应用程序负载均衡器，则必须使用以下选项之一访问 Web 服务器。

Javascript 在您的浏览器中被禁用或不可用。

要使用 Amazon Web Services 文档，必须启用 Javascript。请参阅浏览器的帮助页面以了解相关说明。

文档惯例

创建 Web 服务器访问令牌

Apache Airflow CLI 令牌