Compactação de dados do Lustre

É possível usar o recurso de compactação de dados do Lustre para obter economia de custos em sistemas de arquivos do Amazon FSx para Lustre de alta performance e em armazenamentos de backup. Quando a compactação de dados está habilitada, o Amazon FSx para Lustre compacta os arquivos gravados recentemente de forma automática antes que eles sejam gravados no disco e os descompacta automaticamente quando são lidos.

A compactação de dados usa o algoritmo LZ4, que é otimizado para fornecer altos níveis de compactação sem afetar negativamente a performance do sistema de arquivos. O LZ4 é um algoritmo do Lustre de confiança por parte da comunidade e orientado para a performance que fornece um equilíbrio entre a velocidade de compactação e o tamanho do arquivo compactado. A habilitação da compactação de dados, normalmente, não tem um impacto mensurável na latência.

A compactação de dados reduz a quantidade de dados que é transferida entre os servidores de arquivos e o armazenamento do Amazon FSx para Lustre. Se você ainda não estiver usando formatos de arquivos compactados, visualizará um aumento na capacidade de throughput geral do sistema de arquivos ao usar a compactação de dados. Os aumentos na capacidade de throughput que estão relacionados à compactação de dados serão limitados depois que você tiver saturado as placas de interface da rede de front-end.

Por exemplo, se o seu sistema de arquivos for do tipo de implantação PERSISTENT-50 baseado em SSD, o throughput da rede terá uma linha de base de 250 MB/s por TiB de armazenamento. O throughput do disco tem uma linha de base de 50 MB/s por TiB. Com a compactação de dados, o throughput do disco pode aumentar de 50 MB/s por TiB para um máximo de 250 MB/s por TiB, que é o limite de linha de base de throughput da rede. Para obter mais informações sobre os limites de throughput da rede e do disco, consulte as tabelas de performance do sistema de arquivos em Performance agregada do sistema de arquivos. Para obter mais informações sobre a performance da compactação de dados, consulte a publicação Spend less while increasing performance with Amazon FSx for Lustre data compression no blog do AWS Storage.

Como gerenciar a compactação de dados

É possível ativar ou desativar a compactação de dados ao criar um novo sistema de arquivos do Amazon FSx para Lustre. A compactação de dados é desativada por padrão quando você cria um sistema de arquivos Amazon FSx for Lustre a partir do AWS CLI console ou da API.

Como ativar a compactação de dados ao criar um sistema de arquivos (console)

1. Abra o console do Amazon FSx em https://console.aws.amazon.com/fsx/.

2. Siga o procedimento para a criação de um novo sistema de arquivos descrito na Crie seu sistema de arquivos FSx for Lustre na seção Conceitos básicos.

3. Na seção Detalhes do sistema de arquivos, em Tipo de compactação de dados, escolha LZ4.

4. Conclua o assistente da forma como você faz quando cria um novo sistema de arquivos.

5. Selecione Review and create.

6. Analise as configurações escolhidas para o sistema de arquivos do Amazon FSx para Lustre e, em seguida, escolha Criar sistema de arquivos.

Quando o sistema de arquivos estiver Disponível, a compactação de dados estará ativada.

Como ativar a compactação de dados ao criar um sistema de arquivos (CLI)

• Para criar um sistema de arquivos do FSx para Lustre com a compactação de dados ativada, use o comando create-file-system da CLI do Amazon FSx com o parâmetro DataCompressionType, conforme mostrado a seguir. A operação de API correspondente é CreateFileSystem.

  $ aws fsx create-file-system \
        --client-request-token CRT1234 \
        --file-system-type LUSTRE \
        --file-system-type-version 2.12 \
        --lustre-configuration DeploymentType=PERSISTENT_1,PerUnitStorageThroughput=50,DataCompressionType=LZ4 \
        --storage-capacity 3600 \
        --subnet-ids subnet-123456 \
        --tags Key=Name,Value=Lustre-TEST-1 \
        --region us-east-2

Após criar o sistema de arquivos com êxito, o Amazon FSx retorna a descrição do sistema de arquivos como JSON, conforme mostrado no exemplo a seguir.

{

    "FileSystems": [
        {
            "OwnerId": "111122223333",
            "CreationTime": 1549310341.483,
            "FileSystemId": "fs-0123456789abcdef0",
            "FileSystemType": "LUSTRE",
            "FileSystemTypeVersion": "2.12",
            "Lifecycle": "CREATING",
            "StorageCapacity": 3600,
            "VpcId": "vpc-123456",
            "SubnetIds": [
                "subnet-123456"
            ],
            "NetworkInterfaceIds": [
                "eni-039fcf55123456789"
            ],
            "DNSName": "fs-0123456789abcdef0.fsx.us-east-2.amazonaws.com",
            "ResourceARN": "arn:aws:fsx:us-east-2:123456:file-system/fs-0123456789abcdef0",
            "Tags": [
                {
                    "Key": "Name",
                    "Value": "Lustre-TEST-1"
                }
            ],
            "LustreConfiguration": {
                "DeploymentType": "PERSISTENT_1",
                "DataCompressionType": "LZ4",
                "PerUnitStorageThroughput": 50
            }
        }
    ]
}

Você também pode alterar a configuração de compactação de dados dos sistemas de arquivos existentes. Ao ativar a compactação de dados para um sistema de arquivos existente, somente os arquivos gravados recentemente são compactados e os arquivos existentes não são compactados. Para ter mais informações, consulte Compactação de arquivos gravados anteriormente.

Como atualizar a compactação de dados em um sistema de arquivos existente (console)

1. Abra o console do Amazon FSx em https://console.aws.amazon.com/fsx/.

2. Navegue até Sistemas de arquivos e escolha o sistema de arquivos do Lustre para o qual você deseja gerenciar a compactação de dados.

3. Em Ações, escolha Atualizar tipo de compactação de dados.

4. Na caixa de diálogo Atualizar tipo de compactação de dados, escolha LZ4 para ativar a compactação de dados ou escolha NONE para desativá-la.

5. Escolha Atualizar.

6. Você pode monitorar o progresso da atualização na página de detalhes dos sistemas de arquivos na guia Atualizações.

Como atualizar a compactação de dados em um sistema de arquivos existente (CLI)

Para atualizar a configuração de compactação de dados de um sistema de arquivos FSx for Lustre existente, AWS CLI use o comando. update-file-system Defina os seguintes parâmetros:

• Defina --file-system-id como o ID do sistema de arquivos que está sendo atualizado.

• Defina --lustre-configuration DataCompressionType como NONE para desativar a compactação de dados ou LZ4 para ativar a compactação de dados com o algoritmo LZ4.

Este comando especifica que a compactação de dados está ativada com o algoritmo LZ4.

$ aws fsx update-file-system \
    --file-system-id fs-0123456789abcdef0 \
    --lustre-configuration DataCompressionType=LZ4

Configuração de compactação de dados ao criar um sistema de arquivos usando um backup

É possível usar um backup disponível para criar um novo sistema de arquivos do Amazon FSx para Lustre. Ao criar um novo sistema de arquivos usando o backup, não há necessidade de especificar o DataCompressionType, pois a configuração será aplicada usando a configuração DataCompressionType do backup. Se você optar por especificar o DataCompressionType ao criar usando o backup, o valor deverá corresponder à configuração DataCompressionType do backup.

Para visualizar as configurações de um backup, escolha-o na guia Backups do console do Amazon FSx. Os detalhes do backup serão listados na página Resumo para o backup. Você também pode executar o describe-backups AWS CLI comando (a ação equivalente da API é DescribeBackups).

Compactação de arquivos gravados anteriormente

Os arquivos serão descompactados se tiverem sido criados quando a compactação de dados estava desativada no sistema de arquivos do Amazon FSx para Lustre. Ativar a compactação de dados não compactará automaticamente os dados descompactados existentes.

É possível usar o comando lfs_migrate que foi instalado como uma parte da instalação do cliente Lustre para compactar arquivos existentes. Para obter um exemplo, consulte FSXL-Compression, que está disponível em. GitHub

Visualização de tamanhos de arquivos

É possível usar os comandos apresentados a seguir para visualizar os tamanhos descompactados e compactados de seus arquivos e diretórios.

• du exibe tamanhos compactados.

• du --apparent-size exibe tamanhos descompactados.

• ls -l exibe tamanhos descompactados.

Os exemplos apresentados a seguir mostram a saída de cada comando com base no mesmo arquivo.

$ du -sh samplefile
272M	samplefile
$ du -sh --apparent-size samplefile
1.0G	samplefile
$ ls -lh samplefile
-rw-r--r-- 1 root root 1.0G May 10 21:16 samplefile

A opção -h é útil para esses comandos porque imprime tamanhos em um formato legível por humanos.

Usando CloudWatch métricas

Você pode usar CloudWatch as métricas do Amazon Logs para visualizar o uso do seu sistema de arquivos. A métrica LogicalDiskUsage mostra o uso total do disco lógico (sem compactação) e a métrica PhysicalDiskUsage mostra o uso total do disco físico (com compactação). Essas duas métricas estarão disponíveis somente se o seu sistema de arquivos tiver a compactação de dados habilitada ou já a tiver habilitado.

Você pode determinar a taxa de compactação do sistema de arquivos ao dividir a Sum da estatística LogicalDiskUsage pela Sum da estatística PhysicalDiskUsage. Para obter informações sobre como usar a matemática em métricas para calcular essa taxa, consulte Matemática em métricas: taxa de compactação de dados.

Para obter mais informações sobre como monitorar a performance do sistema de arquivos, consulte Como monitorar o Amazon FSx for Lustre.