将计算资源附加到 EMR Studio Workspace - Amazon EMR

将计算资源附加到 EMR Studio Workspace

Amazon EMR Studio 使用 EMR 集群上的内核运行笔记本命令。您应将 Workspace 附加到某个使用 Amazon EC2 实例的集群,或某个 Amazon EMR on EKS 集群,或某个 EMR Serverless 应用程序,然后再选择内核。EMR Studio 允许您将 Workspaces 附加到新的或现有的集群,并让您无需关闭 Workspace 即可灵活地更改集群。

将 Amazon EC2 集群附加到 EMR Studio Workspace

您可以在创建 Workspace 时将在 Amazon EC2 上运行的现有 EMR 集群附加到 Workspace,也可以将集群附加到现有 Workspace。如果您要创建和附加集群,请参阅创建新的 EMR 集群并将其附加到 EMR Studio Workspace

On create
在创建 Workspace 时附加 Amazon EMR 计算集群
  1. Create a Workspace (创建 Workspace) 对话框中,确保您已经为新 Workspace 选择了子网。展开 Advanced configuration (高级配置) 部分。

  2. Create a Workspace (创建 Workspace) 对话框中,确保您已经为新 Workspace 选择了子网。展开 Advanced configuration (高级配置) 部分。

  3. 选择 Attach Workspace to an EMR cluster (将 Workspace 附加到 EMR 集群)

  4. EMR 集群下拉列表中,选择现有 EMR 集群以将其附加到 Workspace。

附加集群后,您可以完成 Workspace 创建过程。首次打开新 Workspace 并选择 EMR 集群面板时,您应该会看到自己选择的集群已附加。

On launch
在启动 Workspace 时附加 Amazon EMR 计算集群
  1. 导航到 Workspace 列表,然后选择要启动的 Workspace 所在行。然后,选择启动 Workspace > 使用选项启动

  2. 选择要附加到 Workspace 的 EMR 集群。

附加集群后,您可以完成 Workspace 创建过程。首次打开新 Workspace 并选择 EMR 集群面板时,您应该会看到自己选择的集群已附加。

In JupyterLab
在 JupyterLab 中将 Workspace 附加到 Amazon EMR 计算集群
  1. 选择自己的 Workspace,然后选择启动 Workspace > 快速启动

  2. 在 JupyterLab 中,打开左侧边栏中的集群选项卡。

  3. 选择 EMR on EC2 集群下拉列表,或者选择 Amazon EMR on EKS 集群。

  4. 选择附加将集群附加到 Workspace。

附加集群后,您可以完成 Workspace 创建过程。首次打开新 Workspace 并选择 EMR 集群面板时,您应该会看到自己选择的集群已附加。

In the Workspace UI
从 Workspace 用户界面将 Workspace 附加 Amazon EMR 计算集群
  1. 在要附加到集群的 Workspace 中,从左侧边栏中选择 EMR 集群图标打开集群面板。

  2. 集群类型下,展开下拉列表并选择 EMR on EC2 集群

  3. 从下拉列表中选择一个集群。您可能需要先分离现有集群才能启用集群选择下拉列表。

  4. 选择 Attach (附加)。附加集群后,您应该会看到一条成功消息。

将 Amazon EMR on EKS 集群附加到 EMR Studio Workspace

除了使用在 Amazon EC2 上运行的 Amazon EMR 集群之外,您还可以将 Workspace 附加到 Amazon EMR on EKS 集群以运行笔记本代码。有关 Amazon EMR on EKS 的更多信息,请参阅 What is Amazon EMR on EKS

在您将 Workspace 连接到 Amazon EMR on EKS 集群之前,您的 Studio 管理员必须授予您访问权限。

On create
在创建 Workspace 时附加 Amazon EMR on EKS 集群
  1. Create a Workspace(创建 Workspace)对话框中,展开 Advanced configuration(高级配置)部分。

  2. 选择将 Workspace 附加到 Amazon EMR on EKS 集群

  3. Amazon EMR on EKS 集群下,从下拉列表中选择集群。

  4. Select an endpoint (选择终端节点) 下,选择要附加到 Workspace 的托管式终端节点。托管式终端节点是允许 EMR Studio 与您选择的集群进行通信的网关。

  5. 选择创建 Workspace 完成 Workspace 创建过程并附加选定的集群。

附加集群后,您可以完成 Workspace 创建过程。首次打开新 Workspace 并选择 EMR 集群面板时,您应该会看到自己选择的集群已附加。

In the Workspace UI
从 Workspace 用户界面附加 Amazon EMR on EKS 集群
  1. 在要附加到集群的 Workspace 中,从左侧边栏中选择 EMR 集群图标打开集群面板。

  2. 展开集群类型下拉列表并选择 Amazon EMR on EKS 集群

  3. EMR on EKS 集群下,从下拉列表中选择集群。

  4. Endpoint (终端节点) 下,选择要附加到 Workspace 的托管式终端节点。托管式终端节点是允许 EMR Studio 与您选择的集群进行通信的网关。

  5. 选择 Attach (附加)。附加集群后,您应该会看到一条成功消息。

将 Amazon EMR Serverless 应用程序附加到 EMR Studio Workspace

您可以将 Workspace 附加到 EMR Serverless 应用程序来运行交互式工作负载。有关更多信息,请参阅通过 Using notebooks to run interactive workloads with EMR Serverless through EMR Studio

例 将 Workspace 附加到 JupyterLab 中的 EMR Serverless 应用程序

您的账户管理员必须首先按 Required permissions for interactive workloads 中所述向您授予访问权限,然后才能将 Workspace 附加到 EMR Serverless 应用程序。

  1. 导航至 EMR Studio,选择您的 Workspace,然后选择启动 Workspace > 快速启动

  2. 在 JupyterLab 中,打开左侧边栏中的集群选项卡。

  3. 选择将 EMR Serverless 作为计算选项,然后选择一个 EMR Serverless 应用程序和一个运行时系统角色。

  4. 要将集群附加到您的 Workspace,请选择附加

现在打开此 Workspace 时,您应该会看到已经附加了所选的应用程序。

创建新的 EMR 集群并将其附加到 EMR Studio Workspace

高级 EMR Studio 用户可以预置在 Amazon EC2 上运行的新 EMR 集群,以便与 Workspace 一起使用。预设情况下,新集群将安装 EMR Studio 所需的所有大数据应用程序。

要创建集群,您的 Studio 管理员必须首先使用会话策略授予您权限。有关更多信息,请参阅 为 EMR Studio 用户创建权限策略

您可以在 Create a Workspace (创建 Workspace) 对话框中或从 Workspace UI 的 Cluster (集群) 面板中创建新集群。无论哪种方式,您都有两个集群创建选项:

  1. Create an EMR cluster (创建 EMR 集群) – 通过选择 Amazon EC2 实例类型和数量来创建 EMR 集群。

  2. Use a cluster template (使用集群模板) – 通过选择预定义的集群模板预置集群。当您拥有使用集群模板的权限时,才会显示此选项。

通过提供集群配置创建 EMR 集群
  1. 选择一个起点。

    要…… 请执行此操作...
    使用 Create a Workspace (创建 Workspace) 对话框在创建 Workspace 时创建集群。 展开 Create a Workspace (创建 Workspace) 对话框中的 Advanced configuration (高级配置) 部分,然后选择 Create an EMR cluster (创建 EMR 集群)
    创建 Workspace 后,从 Workspace UI 中的 EMR 集群面板创建集群。 从打开的 Workspace 的左侧边栏中选择 EMR 集群选项卡,展开高级配置部分,然后选择创建集群
  2. 输入 Cluster name (集群名称)。命名集群有助于您稍后在 EMR Studio 集群列表中找到它。

  3. 对于 Amazon EMR 版本,请为集群选择一个 Amazon EMR 发行版本。

  4. 对于 Instance (实例),为集群选择 Amazon EC2 实例的类型和数量。有关选择实例类型的更多信息,请参阅配置 Amazon EC2 实例。一个实例将用作主节点。

  5. 选择 EMR Studio 可以在其中启动新集群的子网。每个子网选项都经过您的 Studio 管理员的预先批准,您的 Workspace 应该能够连接到列出的任何子网中的集群。

  6. 选择用于日志存储的 S3 URI

  7. 选择 Create EMR cluster (创建 EMR 集群) 来预置集群。如果您使用创建 Workspace 对话框,请选择创建 Workspace 来创建 Workspace 并预置集群。EMR Studio 预置新集群后,它会将集群附加到 Workspace。

使用集群模板创建集群
  1. 选择一个起点。

    要…… 请执行此操作...
    使用 Create a Workspace (创建 Workspace) 对话框在创建 Workspace 时创建集群。 展开 Create a Workspace (创建 Workspace) 对话框中的 Advanced configuration (高级配置) 部分,然后选择 Use a cluster template (使用集群模板)
    从 Workspace UI 中的 EMR 集群面板创建集群。 从打开的 Workspace 的左侧边栏中选择 EMR 集群选项卡,展开高级配置部分,然后选择集群模板
  2. 从下拉列表中选择集群模板。每个可用的集群模板都包含一个简要说明,以帮助您进行选择。

  3. 您选择的集群模板可能有其它参数,例如 Amazon EMR 发行版或集群名称。您可以选择或插入值,或使用管理员选择的默认值。

  4. 选择 EMR Studio 可以在其中启动新集群的子网。每个子网选项都经过您的 Studio 管理员的预先批准,您的 Workspace 应该能够连接到任何子网中的集群。

  5. 选择 Use cluster template (使用集群模板) 来预置集群并将其附加到 Workspace。EMR Studio 将需要几分钟时间来创建集群。如果您使用创建 Workspace 对话框,请选择创建 Workspace 来创建 Workspace 并预置集群。EMR Studio 预置您的新集群后,它会将集群附加到 Workspace。

从 EMR Studio Workspace 分离计算资源

要交换附加到 Workspace 的集群,您可以从 Workspace UI 分离集群。

从 Workspace 分离集群
  1. 在要分离集群的 Workspace 中,从左侧边栏中选择 EMR 集群图标打开集群面板。

  2. Select cluster (选择集群) 下,选择 Detach (分离) 并等待 EMR Studio 分离集群。集群分离后,您将看到一条成功消息。

从 EMR Studio Workspace 分离 EMR Serverless 应用程序

要交换附加到 Workspace 的计算资源,您可以通过 Workspace UI 分离应用程序。

  1. 在要从集群分离的 Workspace 中,从左侧边栏中选择 Amazon EMR 计算图标,从而打开计算面板。

  2. 选择计算资源下,选择分离,然后等待 EMR Studio 完成应用程序的分离。应用程序分离完成后,您将看到一条成功消息。