使用 AWS Glue 爬虫查询大型数据集

此示例项目演示了如何在 Amazon S3 中提取大型数据集并通过 AWS Glue Crawlers 对其进行分区，然后对该分区执行 Amazon Athena 查询。

在此项目中，Step Functions 状态机调用一个 AWS Glue 抓取程序，该爬虫在 Amazon S3 中对大型数据集进行分区。 AWS Glue 抓取器返回成功消息后，工作流程将对该分区执行 Athena 查询。查询执行成功完成后，亚马逊将向亚马逊SNS主题发送SNS通知。

第 1 步：创建状态机

1. 打开 Step Functions 控制台，然后选择创建状态机。

2. 查找并选择要使用的入门模板。选择下一步以继续。

3. 选择 “运行演示” 以创建只读和 ready-to-deploy工作流程，或者选择 “在其上构建” 以创建可编辑的状态机定义，您可以在此基础上构建并稍后部署。

4. 选择使用模板继续进行选择。

后续步骤取决于之前的选择：

1. 运行演示 — 您可以先查看状态机，然后再创建只读项目，并将资源部署 AWS CloudFormation 到您的 AWS 账户。

   可以查看状态机定义，准备就绪后，选择部署并运行来部署项目并创建资源。

   部署可能需要最长 10 分钟来创建资源和权限。可以在 AWS CloudFormation中使用堆栈 ID 链接来监控进度。

   部署完成后，应该在控制台中看到新的状态机。

2. 构建依据：可以查看和编辑工作流程定义。在尝试运行自定义工作流程之前，可能需要为示例项目中的占位符设置值。

注意

部署到您的账户的服务可能会收取标准费用。

第 2 步：运行状态机

1. 在状态机页面上，选择您的示例项目。

2. 在示例项目页面上，选择启动执行。

3. 在启动执行对话框中，执行以下操作：

   1. （可选）输入自定义执行名称，以便覆盖生成的默认执行名称。

      非ASCII姓名和日志

      Step Functions 接受状态机、执行、活动和包含非ASCII字符的标签的名称。由于此类字符不适用于亚马逊 CloudWatch，因此我们建议您仅使用ASCII字符，以便您可以跟踪中的指标 CloudWatch。

   2. （可选）在 “输入” 框中，将输入值输入为JSON。如果您正在运行演示，则可以跳过此步骤。

   3. 选择启动执行。

   Step Functions 控制台将引导您进入执行详细信息 页面，在该页面中，您可以在图表视图中选择状态来浏览步骤详细信息窗格中的相关信息。

恭喜您！

现在，您应该有一个正在运行的演示或者一个可以自定义的状态机定义。