Amazon EMR Notebooks 概述 - Amazon EMR

Amazon EMR Notebooks 概述

注意

EMR Notebooks 在新控制台中作为 Amazon EMR Studio Workspaces 提供。您仍然可以在旧控制台中使用现有笔记本,但无法在其中创建新笔记本。新控制台中的创建 Workspace 按钮将取代此功能。要访问或创建 Workspaces,EMR Notebooks 用户需要额外的 IAM 角色权限。有关更多信息,请参阅 Amazon EMR Notebooks are Amazon EMR Studio Workspaces in new console(Amazon EMR Notebooks 在新控制台中为 Amazon EMR Studio Workspaces)和 What's new in the console?(控制台中有哪些新功能?)

您可以将 Amazon EMR Notebooks 与运行 Apache Spark 的 Amazon EMR 集群结合使用,以在 Amazon EMR 控制台中创建和打开 Jupyter notebook和 JupyterLab 界面。EMR 笔记本是一款“无服务器”笔记本,可用于运行查询和代码。与传统笔记本不同,EMR 笔记本的内容(笔记本单元格中的方程、查询、模型、代码和叙述性文本)在客户端中运行。命令是使用 EMR 集群上的内核执行的。笔记本内容也将独立于集群数据保存到 Amazon S3 中以实现持久性和灵活重用。

您可以启动集群,附加 EMR 笔记本以进行分析,然后终止集群。您还可以关闭已附加到一个正在运行的集群的笔记本并切换到另一个笔记本。多个用户可以同时将笔记本附加到同一个集群,并在 Amazon S3 中相互共享笔记本文件。利用这些功能,您可以按需运行集群以节省成本,并减少为不同的集群和数据集重新配置笔记本所花费的时间。

您还可以使用 Amazon EMR API 以编程方式执行 EMR 笔记本,而无需与 Amazon EMR 控制台交互(“无头执行”)。您需要在具有参数标签的 EMR 笔记本中包含一个单元格。该单元格允许脚本将新输入值传递给笔记本。参数化笔记本可以通过不同的输入值集重复使用。无需复制同一笔记本以使用新输入值进行编辑和执行。针对参数化笔记本的每次运行,Amazon EMR 都在 S3 上创建并保存输出笔记本。有关 EMR 笔记本 API 代码示例,请参阅以编程方式执行 EMR Notebooks 的示例命令

重要

EMR Notebooks 的功能支持使用 Amazon EMR 5.18.0 及更高版本的集群。建议您将 EMR Notebooks 与使用最新版 Amazon EMR(或最低 5.30.0、5.32.0 或 6.2.0 版本)的集群配合使用。在这些版本中,Jupyter 内核在附加的集群而不是 Jupyter 实例上运行。这有助于提高性能并增强您自定义内核和库的能力。有关更多信息,请参阅集群发行版的功能差异

对于 Amazon S3 存储和 Amazon EMR 集群收取适用的费用。