Opção 2, parte 2: configurar definições de proxy para visualizar sites hospedados no nó primário

Se você usar um SSH túnel com encaminhamento dinâmico de portas, deverá usar um complemento de gerenciamento de SOCKS proxy para controlar as configurações de proxy no seu navegador. O uso de uma ferramenta de gerenciamento de SOCKS proxy permite filtrar automaticamente URLs com base em padrões de texto e limitar as configurações de proxy a domínios que correspondam ao formato do DNS nome público do nó primário. O complemento do navegador manipula automaticamente a ativação e desativação do proxy quando você alterna entre visualizar sites hospedados no nó primário e aqueles na Internet. Para gerenciar suas configurações de proxy, configure seu navegador para usar um complemento como FoxyProxy ou SwitchyOmega.

Para obter mais informações sobre a criação de um SSH túnel, consulteOpção 2, parte 1: configurar um SSH túnel para o nó primário usando o encaminhamento dinâmico de portas. Para obter mais informações sobre as interfaces Web disponíveis, consulte Visualize interfaces web hospedadas em EMR clusters da Amazon.

Inclua as seguintes configurações ao definir o complemento de proxy:

• Use localhost como endereço do host.

• Use o mesmo número de porta local que você selecionou para estabelecer o SSH túnel com o nó primárioOpção 2, parte 1: configurar um SSH túnel para o nó primário usando o encaminhamento dinâmico de portas. Por exemplo, porta 8157. Essa porta também deve corresponder ao número da porta que você usa no Pu TTY ou em qualquer outro emulador de terminal usado para se conectar.

• Especifique o protocolo SOCKSv5. SOCKSA v5 permite que você configure opcionalmente a autorização do usuário.

• URLPadrões

  Os URL padrões a seguir devem ser listados como permitidos e especificados com um tipo de padrão curinga:

  • O *ec2*. *compute os padrões *.amazonaws.com* e *10*.amazonaws.com* para corresponder ao nome público dos clusters nas regiões dos EUA. DNS

  • Os padrões *ec2*.compute* e *10*.compute* correspondem ao nome público dos clusters em todas as outras regiões. DNS

  • UM 10. * padrão para fornecer acesso aos arquivos de JobTracker log no Hadoop. Altere esse filtro se ele entrar em conflito com seu plano de acesso de rede.

  • Os padrões *.ec2.internal* e *.compute.internal* correspondem aos DNS nomes privados (internos) dos clusters na região e em todas as outras regiões, respectivamente. us-east-1

Exemplo: Configurar FoxyProxy para o Firefox

O exemplo a seguir demonstra uma configuração FoxyProxy padrão (versão 7.5.1) para o Mozilla Firefox.

FoxyProxy fornece um conjunto de ferramentas de gerenciamento de proxy. Ele permite URLs que você use um servidor proxy para esses padrões de correspondência correspondentes aos domínios usados pelas EC2 instâncias da Amazon em seu EMR cluster da Amazon.

Para instalar e configurar FoxyProxy usando o Mozilla Firefox

1. No Firefox, acesse https://addons.mozilla.org/, pesquise por FoxyProxy Padrão e siga as instruções para adicionar FoxyProxy ao Firefox.

2. Usando um editor de texto, crie um JSON arquivo com o nome foxyproxy-settings.json do exemplo de configuração a seguir.

   {
     "k20d21508277536715": {
       "active": true,
       "address": "localhost",
       "port": 8157,
       "username": "",
       "password": "",
       "type": 3,
       "proxyDNS": true,
       "title": "emr-socks-proxy",
       "color": "#0055E5",
       "index": 9007199254740991,
       "whitePatterns": [
         {
           "title": "*ec2*.*compute*.amazonaws.com*",
           "active": true,
           "pattern": "*ec2*.*compute*.amazonaws.com*",
           "importedPattern": "*ec2*.*compute*.amazonaws.com*",
           "type": 1,
           "protocols": 1
         },
         {
           "title": "*ec2*.compute*",
           "active": true,
           "pattern": "*ec2*.compute*",
           "importedPattern": "*ec2*.compute*",
           "type": 1,
           "protocols": 1
         },
         {
           "title": "10.*",
           "active": true,
           "pattern": "10.*",
           "importedPattern": "http://10.*",
           "type": 1,
           "protocols": 2
         },
         {
           "title": "*10*.amazonaws.com*",
           "active": true,
           "pattern": "*10*.amazonaws.com*",
           "importedPattern": "*10*.amazonaws.com*",
           "type": 1,
           "protocols": 1
         },
         {
           "title": "*10*.compute*",
           "active": true,
           "pattern": "*10*.compute*",
           "importedPattern": "*10*.compute*",
           "type": 1,
           "protocols": 1
         },
         {
           "title": "*.compute.internal*",
           "active": true,
           "pattern": "*.compute.internal*",
           "importedPattern": "*.compute.internal*",
           "type": 1,
           "protocols": 1
         },
         {
           "title": "*.ec2.internal* ",
           "active": true,
           "pattern": "*.ec2.internal*",
           "importedPattern": "*.ec2.internal*",
           "type": 1,
           "protocols": 1
         }
       ],
       "blackPatterns": []
     },
     "logging": {
       "size": 100,
       "active": false
     },
     "mode": "patterns",
     "browserVersion": "68.12.0",
     "foxyProxyVersion": "7.5.1",
     "foxyProxyEdition": "standard"
   }

3. Abra a página Gerenciamento de extensões do Firefox (acesse about:addons e escolha Extensões).

4. Escolha FoxyProxy Padrão e, em seguida, escolha o botão de mais opções (o botão que parece uma elipse).

5. Selecione Opções no menu suspenso.

6. Escolha Importar configurações no menu esquerdo.

7. Na página Configurações de importação, escolha Importar configurações em Importar configurações do FoxyProxy 6.0+, navegue até o local do foxyproxy-settings.json arquivo que você criou, selecione o arquivo e escolha Abrir.

8. Escolha OK quando solicitado para substituir as configurações atuais e salvar a nova configuração.

Exemplo: Configurar SwitchyOmega para o Chrome

O exemplo a seguir demonstra como configurar a SwitchyOmega extensão para o Google Chrome. SwitchyOmega permite configurar, gerenciar e alternar entre vários proxies.

Para instalar e configurar SwitchyOmega usando o Google Chrome

1. Vá para https://chrome.google.com/webstore/categoria/extensões, pesquise por Proxy SwitchyOmega e adicione-o ao Chrome.

2. Escolha Novo perfil e insira emr-socks-proxy como nome do perfil.

3. Escolha o PACperfil e, em seguida, Criar. Os arquivos de configuração automática de proxy (PAC) ajudam você a definir uma lista de permissões para solicitações do navegador que devem ser encaminhadas para um servidor proxy da web.

4. No campo PACScript, substitua o conteúdo pelo script a seguir, que define o que URLs deve ser encaminhado por meio do seu servidor proxy web. Se você especificou um número de porta diferente ao configurar seu SSH túnel, substitua 8157 com o número da sua porta.

   function FindProxyForURL(url, host) {
       if (shExpMatch(url, "*ec2*.*compute*.amazonaws.com*")) return 'SOCKS5 localhost:8157';
       if (shExpMatch(url, "*ec2*.compute*")) return 'SOCKS5 localhost:8157';
       if (shExpMatch(url, "http://10.*")) return 'SOCKS5 localhost:8157';
       if (shExpMatch(url, "*10*.compute*")) return 'SOCKS5 localhost:8157';
       if (shExpMatch(url, "*10*.amazonaws.com*")) return 'SOCKS5 localhost:8157';
       if (shExpMatch(url, "*.compute.internal*")) return 'SOCKS5 localhost:8157';
       if (shExpMatch(url, "*ec2.internal*")) return 'SOCKS5 localhost:8157';
       return 'DIRECT';
   }

5. Em Ações, escolha Aplicar alterações para salvar as configurações de proxy.

6. Na barra de ferramentas do Chrome, escolha SwitchyOmega e selecione o emr-socks-proxy perfil.

Acessar uma interface da Web no navegador

Para abrir uma interface da web, insira o DNS nome público do seu nó principal ou principal seguido pelo número da porta da interface escolhida na barra de endereço do navegador. O exemplo a seguir mostra o URL que você digitaria para se conectar ao Spark HistoryServer.

http://master-public-dns-name:18080/				

Para obter instruções sobre como recuperar o DNS nome público de um nó, consulteRecupere o DNS nome público do nó primário. Para obter uma lista completa da interface da webURLs, consulteVisualize interfaces web hospedadas em EMR clusters da Amazon.