备选案文 2,第 2 部分:配置代理设置以查看主节点上托管的网站 - Amazon EMR

本文属于机器翻译版本。若本译文内容与英语原文存在差异,则一律以英文原文为准。

备选案文 2,第 2 部分:配置代理设置以查看主节点上托管的网站

如果您使用带有动态端口转发的 SSH 隧道,则必须使用 SOCKS 代理管理附加组件来控制浏览器中的代理设置。使用 SOCKS 代理管理工具,您可以根据文本模式自动过滤 URL,并将代理设置限制为与主节点公有 DNS 名称形式相匹配的域。当您在查看主节点上托管的网站和 Internet 上的网站之间切换时,浏览器插件会自动处理打开和关闭代理的问题。要管理您的代理设置,请将浏览器配置为使用附加组件,如 FoxyProxy 或 SwitchyOmega。

有关创建 SSH 隧道的更多信息,请参阅。备选案文 2,第 1 部分:使用动态端口转发设置到主节点的 SSH 隧道。有关可用 Web 界面的更多信息,请参阅。查看 Amazon EMR 集群上托管的 Web 界面

在设置代理加载项时,请包括以下设置:

  • 使用localhost作为主机地址。

  • 使用您选择的同一本地端口号来建立 SSH 隧道备选案文 2,第 1 部分:使用动态端口转发设置到主节点的 SSH 隧道。例如,端口 8157。 此端口还必须与 PuTTY 或用于连接的任何其他终端仿真器中使用的端口号匹配。

  • 指定袜子 v5协议。SOCKS v5 允许您选择设置用户授权。

  • URL 模式

    应允许列出以下 URL 模式并使用通配符模式类型指定:

    • 这些区域有:*EC2*.amazonaw.com**10*.amazonaw.com*模式以匹配美国区中群集的公有 DNS 名称。

    • 这些区域有:* EC2*.计算机 **10*. 计算机 *模式以匹配所有其他区域中群集的公有 DNS 名称。

    • A10. *模式来提供对 Hadoop 中的 JobTracker 日志文件的访问权限。如果此过滤器与您的网络访问计划冲突,请更改此过滤器。

    • 这些区域有:*.ec2.内部**. 计算. 内部 *模式来匹配集群的私有(内部)DNS 名称us-east-1区域和所有其他区域,分别。

例如:配置火狐浏览 FoxyProxy

以下示例演示了适用于 Mozilla 火狐浏览器的 FoxyProxy 标准(版本 7.5.1)配置。

FoxyProxy 提供了一组代理管理工具。它使您可以使用代理服务器处理与 Amazon EMR 群集中 Amazon EC2 实例所用域的模式相符的 URL。

使用火狐浏览器安装和配置 FoxyProxy

  1. 在火狐浏览器中,转到https://addons.mozilla.org/,搜索 FoxyProxy 标准版,然后按照说明将 Foxyproxy 添加到火狐浏览器中。

  2. 使用文本编辑器创建一个名为的 JSON 文件foxyproxy-settings.json从以下示例配置中。

    { "k20d21508277536715": { "active": true, "address": "localhost", "port": 8157, "username": "", "password": "", "type": 3, "proxyDNS": true, "title": "emr-socks-proxy", "color": "#0055E5", "index": 9007199254740991, "whitePatterns": [ { "title": "*ec2*.amazonaws.com*", "active": true, "pattern": "*ec2*.amazonaws.com*", "importedPattern": "*ec2*.amazonaws.com*", "type": 1, "protocols": 1 }, { "title": "*ec2*.compute*", "active": true, "pattern": "*ec2*.compute*", "importedPattern": "*ec2*.compute*", "type": 1, "protocols": 1 }, { "title": "10.*", "active": true, "pattern": "10.*", "importedPattern": "http://10.*", "type": 1, "protocols": 2 }, { "title": "*10*.amazonaws.com*", "active": true, "pattern": "*10*.amazonaws.com*", "importedPattern": "*10*.amazonaws.com*", "type": 1, "protocols": 1 }, { "title": "*10*.compute*", "active": true, "pattern": "*10*.compute*", "importedPattern": "*10*.compute*", "type": 1, "protocols": 1 }, { "title": "*.compute.internal*", "active": true, "pattern": "*.compute.internal*", "importedPattern": "*.compute.internal*", "type": 1, "protocols": 1 }, { "title": "*.ec2.internal* ", "active": true, "pattern": "*.ec2.internal*", "importedPattern": "*.ec2.internal*", "type": 1, "protocols": 1 } ], "blackPatterns": [] }, "logging": { "size": 100, "active": false }, "mode": "patterns", "browserVersion": "68.12.0", "foxyProxyVersion": "7.5.1", "foxyProxyEdition": "standard" }
  3. 打开 Firefox管理您的扩展名页面(转到关于:插件,然后选择扩展)。

  4. 选择FoxyProxy 标准,然后选择更多选项按钮(看起来像省略号的按钮)。

  5. Select选项从下拉列表中。

  6. 选择导入设置从左侧菜单中。

  7. 在存储库的导入设置页面上,选择导入设置UDER从 FoxyProxy 6.0+ 导入设置中,浏览到foxyproxy-settings.json文件,选择该文件,然后选择Open

  8. 选择确定提示覆盖现有设置并保存新配置。

例如:为铬配置交换机的 Omega

以下示例演示如何为谷歌浏览器设置 SwitchYomeGA 扩展。SwitchyOmega 允许您在多个代理之间配置、管理和切换。

使用谷歌浏览器安装和配置开关

  1. 转到https://chrome.google.com/webstore/category/extensions, 搜索代理切换,然后将其添加到 Chrome 中。

  2. 选择New profile并输入emr-socks-proxy作为配置文件名称。

  3. 选择PAC 配置文件然后创建代理自动配置 (PAC)文件可帮助您为应转发到 Web 代理服务器的浏览器请求定义允许列表。

  4. PAC 脚本字段中,使用以下脚本替换内容,该脚本定义应通过 Web 代理服务器转发哪些 URL。如果在设置 SSH 隧道时指定了不同的端口号,请将 8157 使用您的端口号。

    function FindProxyForURL(url, host) { if (shExpMatch(url, "*ec2*.amazonaws.com*")) return 'SOCKS5 localhost:8157'; if (shExpMatch(url, "*ec2*.compute*")) return 'SOCKS5 localhost:8157'; if (shExpMatch(url, "http://10.*")) return 'SOCKS5 localhost:8157'; if (shExpMatch(url, "*10*.compute*")) return 'SOCKS5 localhost:8157'; if (shExpMatch(url, "*10*.amazonaws.com*")) return 'SOCKS5 localhost:8157'; if (shExpMatch(url, "*.compute.internal*")) return 'SOCKS5 localhost:8157'; if (shExpMatch(url, "*ec2.internal*")) return 'SOCKS5 localhost:8157'; return 'DIRECT'; }
  5. UDER操作,选择应用更改保存代理设置。

  6. 在 Chrome 工具栏上,选择 “切换”,然后选择emr-socks-proxy配置文件。

访问浏览器中的 Web 界面

要打开 Web 界面,请在浏览器地址栏中输入主节点或核心节点的公有 DNS 名称,然后输入所选界面的端口号。以下示例显示了您要输入的连接到 Spark HistoryServer URL。

http://master-public-dns-name:18080/

有关检索节点的公有 DNS 名称的说明,请参阅检索主节点的公有 DNS 名称。有关 Web 界面 URL 的完整列表,请参阅查看 Amazon EMR 集群上托管的 Web 界面