Slurm contabilidade com AWS ParallelCluster

PDFRSS

A partir da versão 3.3.0, suporta AWS ParallelCluster Slurm contabilidade com o parâmetro de configuração do cluster SlurmSettings/Database.

A partir da versão 3.10.0, suporta AWS ParallelCluster Slurm contabilidade com um Slurmdbd externo com o parâmetro de configuração do cluster/. SlurmSettingsExternalSlurmdbd É recomendado usar um Slurmdbd externo se vários clusters compartilharem o mesmo banco de dados.

With Slurm contabilidade, você pode integrar um banco de dados contábil externo para fazer o seguinte:

• Gerenciar usuários do cluster ou grupos de usuários e outras entidades. Com esse recurso, você pode usar Slurmrecursos mais avançados, como imposição de limites de recursos, fairshare e. QOSs

• Coleta e salva dados do trabalho, como o usuário que executou o trabalho, a duração do trabalho e os recursos que ele usa. Você pode visualizar os dados salvos com o utilitário sacct.

nota

AWS ParallelCluster suporta Slurm contabilizando para Slurm servidores de banco de dados MySQL suportados.

Trabalhando com Slurm contabilidade usando recursos externos Slurmdbd na AWS ParallelCluster v3.10.0 e posterior

Antes de configurar Slurm contabilidade, você deve ter um externo existente Slurmdbd servidor de banco de dados, que se conecta a um servidor de banco de dados externo existente.

Para configurar isso, defina o seguinte:

• O endereço do externo Slurmdbd servidor em ExternalSlurmdbd/Host. O servidor deve existir e estar acessível a partir do nó principal.

• A chave munge para se comunicar com o externo Slurmdbd entrada do servidor MungeKeySecretArn.

Para ver um tutorial, consulte Criando um cluster com um externo Slurmdbd contabilidade.

nota

Você é responsável por gerenciar o Slurm entidades de contabilidade de banco de dados.

A arquitetura do AWS ParallelCluster externo SlurmDB o recurso de suporte permite que vários clusters compartilhem o mesmo SlurmDB e o mesmo banco de dados.

Atenção

Tráfego entre AWS ParallelCluster e o externo SlurmDB não está criptografado. É recomendável executar o cluster e o externo SlurmDB em uma rede confiável.

Trabalhando com Slurm contabilidade usando o nó principal Slurmdbd na AWS ParallelCluster v3.3.0 e posterior

Antes de configurar Slurm contabilidade, você deve ter um servidor de banco de dados externo existente e um banco de dados que use mysql protocolo.

Para configurar Slurm contabilizando com AWS ParallelCluster, você deve definir o seguinte:

• O URI do servidor de banco de dados externo em Database/Uri. O servidor deve existir e estar acessível a partir do nó principal.

• Credenciais para acessar o banco de dados externo que estão definidas em Database/PasswordSecretArne Database/UserName. AWS ParallelCluster usa essas informações para configurar a contabilidade no Slurm nível e o slurmdbd serviço no nó principal. slurmdbdé o daemon que gerencia a comunicação entre o cluster e o servidor do banco de dados.

Para ver um tutorial, consulte Criação de um cluster com contabilidade Slurm.

nota

AWS ParallelCluster executa um bootstrap básico do Slurm banco de dados contábil definindo o usuário padrão do cluster como administrador do banco de dados no Slurm banco de dados. AWS ParallelCluster não adiciona nenhum outro usuário ao banco de dados contábil. O cliente é responsável por gerenciar as entidades contábeis no Slurm banco de dados.

AWS ParallelCluster configura slurmdbdpara garantir que um cluster tenha seu próprio Slurm banco de dados no servidor de banco de dados. O mesmo servidor de banco de dados pode ser usado em vários clusters, mas cada cluster tem seu próprio banco de dados separado. AWS ParallelCluster usa o nome do cluster para definir o nome do banco de dados no StorageLocparâmetro do arquivo de slurmdbd configuração. Considere a situação a seguir. Um banco de dados que está presente no servidor de banco de dados inclui um nome de cluster que não é mapeado para um nome de cluster ativo. Nesse caso, você pode criar um novo cluster com esse nome de cluster para mapear para esse banco de dados. Slurm reutiliza o banco de dados para o novo cluster.

Atenção

• Não recomendamos configurar mais de um cluster para usar o mesmo banco de dados ao mesmo tempo. Isso pode levar a problemas de desempenho ou até mesmo a situações de impasse no banco de dados.

• If (Se) Slurm a contabilidade está ativada no nó principal de um cluster. Recomendamos usar um tipo de instância com uma CPU poderosa, mais memória e maior largura de banda de rede. Slurm a contabilidade pode sobrecarregar o nó principal do cluster.

Na arquitetura atual do AWS ParallelCluster Slurm recurso de contabilidade, cada cluster tem sua própria instância do slurmdbd daemon, conforme mostrado no diagrama a seguir, exemplos de configurações.

Se você estiver adicionando algo personalizado Slurm funcionalidades de vários clusters ou federação em seu ambiente de cluster, todos os clusters devem fazer referência à mesma slurmdbd instância. Para essa alternativa, recomendamos que você habilite AWS ParallelCluster Slurm contabilizar em um cluster e configurar manualmente os outros clusters para se conectarem aos slurmdbd que estão hospedados no primeiro cluster.

Se você estiver usando AWS ParallelCluster versões anteriores à versão 3.3.0, consulte o método alternativo para implementar Slurm contabilidade descrita nesta postagem do blog sobre HPC.

Slurm considerações contábeis

Banco de dados e cluster em diferentes VPCs

Para habilitar Slurm contabilidade, um servidor de banco de dados é necessário para servir como back-end para as operações de leitura e gravação que o slurmdbd daemon executa. Antes que o cluster seja criado ou atualizado para habilitar Slurm contabilizando, o nó principal deve ser capaz de acessar o servidor do banco de dados.

Se você precisar implantar o servidor de banco de dados em uma VPC diferente da usada pelo cluster, considere o seguinte:

• Para permitir a comunicação entre o slurmdbd lado do cluster e o servidor do banco de dados, você deve configurar a conectividade entre os dois VPCs. Para obter mais informações, consulte VPC Peering no Guia do usuário da Amazon Virtual Private Cloud.

• Você deve criar o grupo de segurança que deseja anexar ao nó principal na VPC do cluster. Depois que os dois VPCs forem emparelhados, a vinculação cruzada entre os grupos de segurança do lado do banco de dados e do cluster estará disponível. Para obter mais informações, consulte Regras do Grupo de Segurança no Guia do usuário da Amazon Virtual Private Cloud.

Configurando a criptografia TLS entre slurmdbd e o servidor de banco de dados

Com o padrão Slurm configuração contábil que AWS ParallelCluster fornece, slurmdbd estabelece uma conexão criptografada TLS com o servidor de banco de dados, se o servidor suportar criptografia TLS. AWS serviços de banco de dados, como o Amazon RDS, Amazon Aurora oferecem suporte à criptografia TLS por padrão.

Você pode exigir conexões seguras no lado do servidor definindo o parâmetro require_secure_transport no servidor do banco de dados. Isso é configurado no CloudFormation modelo fornecido.

Seguindo as práticas recomendadas de segurança, recomendamos também habilitar a verificação da identidade do servidor no cliente do slurmdbd. Para fazer isso, configure StorageParameterso. noslurmdbd.conf. Carregue o certificado CA do servidor no nó principal do cluster. Em seguida, defina a opção SSL_CA de StorageParameters em slurmdbd.conf para o caminho do certificado CA do servidor no nó principal. Isso permite a verificação da identidade do servidor no lado de slurmdbd. Depois de fazer essas alterações, reinicie o serviço slurmdbd para restabelecer a conectividade com o servidor de banco de dados com a verificação de identidade ativada.

Atualização das credenciais do banco de dados

Para atualizar os valores de Database/UserNameou PasswordSecretArn, você deve primeiro interromper a frota computacional. Suponha que o valor secreto armazenado no AWS Secrets Manager segredo seja alterado e seu ARN não seja alterado. Nessa situação, o cluster não atualiza automaticamente a senha do banco de dados para o novo valor. Para atualizar o cluster para o novo valor secreto, execute o comando a seguir no nó principal.

$ sudo /opt/parallelcluster/scripts/slurm/update_slurm_database_password.sh

Atenção

Para evitar a perda de dados contábeis, recomendamos que você altere a senha do banco de dados somente quando a frota de computação for interrompida.

Monitoramento de banco de dados

Recomendamos que você ative os recursos de monitoramento dos serviços de AWS banco de dados. Para obter mais informações, consulte a documentação de Monitoramento do Amazon RDS ou de Monitoramento do Amazon Aurora.