Utilizzo Lustre quote di archiviazione

È possibile creare quote di archiviazione per utenti, gruppi e progetti sui file system FSx Lustre. Con le quote di archiviazione, è possibile limitare la quantità di spazio su disco e il numero di file che un utente, un gruppo o un progetto può consumare. Le quote di archiviazione tengono automaticamente traccia dell'utilizzo a livello di utente, a livello di gruppo e a livello di progetto in modo da poter monitorare il consumo indipendentemente dalla scelta o meno di impostare limiti di archiviazione.

Amazon FSx impone le quote e impedisce agli utenti che le hanno superate di scrivere nello spazio di archiviazione. Quando gli utenti superano le quote, devono eliminare un numero sufficiente di file per rientrare nei limiti di quota, in modo da poter scrivere nuovamente sul file system.

Applicazione delle quote

L'applicazione delle quote per utenti, gruppi e progetti viene abilitata automaticamente su tutti i file system FSx di For Lustre. Non è possibile disabilitare l'applicazione delle quote.

Tipi di quote

Gli amministratori di sistema con credenziali utente root dell' AWS account possono creare i seguenti tipi di quote:

• Una quota utente si applica a un singolo utente. Una quota di utenti per un utente specifico può essere diversa dalle quote di altri utenti.

• Una quota di gruppo si applica a tutti gli utenti che sono membri di un gruppo specifico.

• Una quota di progetto si applica a tutti i file o le directory associati a un progetto. Un progetto può includere più directory o singoli file situati in diverse directory all'interno di un file system.

  Nota

  Le quote di progetto sono supportate solo su Lustre versione 2.15 in poi FSx per i file system Lustre.

• Una quota di blocco limita la quantità di spazio su disco che un utente, un gruppo o un progetto può consumare. È possibile configurare la dimensione di archiviazione in kilobyte.

• Una quota di inode limita il numero di file o directory che un utente, un gruppo o un progetto può creare. Il numero massimo di inode viene configurato come numero intero.

Nota

Le quote predefinite non sono supportate.

Se imposti quote per un particolare utente e un gruppo e l'utente è membro di quel gruppo, l'utilizzo dei dati da parte dell'utente si applica a entrambe le quote. È inoltre limitato da entrambe le quote. Se viene raggiunto uno dei limiti di quota, all'utente viene impedito di scrivere sul file system.

Nota

Le quote impostate per l'utente root non vengono applicate. Analogamente, la scrittura di dati come utente root utilizzando il sudo comando ignora l'imposizione della quota.

Limiti di quota e periodi di tolleranza

Amazon FSx impone le quote di utenti, gruppi e progetti come limite rigido o limite minimo con un periodo di tolleranza configurabile.

Il limite rigido è il limite assoluto. Se gli utenti superano il limite rigido, l'allocazione di blocchi o inode ha esito negativo e viene visualizzato il messaggio «Quota disco superata». Gli utenti che hanno raggiunto il limite di quota devono eliminare un numero sufficiente di file o directory per rientrare al di sotto del limite di quota prima di poter scrivere nuovamente sul file system. Quando viene impostato un periodo di prova, gli utenti possono superare il limite minimo entro il periodo di prova, se al di sotto del limite rigido.

Per i limiti non vincolanti, si configura un periodo di tolleranza in secondi. Il limite flessibile deve essere inferiore al limite rigido.

È possibile impostare periodi di grazia diversi per inode e quote di blocco. È inoltre possibile impostare periodi di grazia diversi per una quota utente, una quota di gruppo e una quota di progetto. Quando le quote utente, di gruppo e di progetto hanno periodi di grazia diversi, il limite minimo si trasforma in un limite rigido dopo lo scadere del periodo di grazia di una di queste quote.

Quando gli utenti superano un limite consentito, Amazon FSx consente loro di continuare a superare la quota fino allo scadere del periodo di prova o fino al raggiungimento del limite rigido. Al termine del periodo di prova, il limite flessibile si converte in un limite rigido e agli utenti viene impedito di eseguire ulteriori operazioni di scrittura fino a quando l'utilizzo dello storage non torna al di sotto della quota di blocchi o dei limiti di inode definiti. Gli utenti non ricevono notifiche o avvisi all'inizio del periodo di prova.

Impostazione e visualizzazione delle quote

Le quote di archiviazione vengono impostate utilizzando Lustre lfscomandi del file system nel terminale Linux. Il lfs setquota comando imposta i limiti di quota e visualizza le informazioni sulle quote. lfs quota

Per ulteriori informazioni sull' Lustre comandi di quota, vedere il Manuale operativo di Lustre sul Lustre sito web di documentazione.

Impostazione delle quote per utenti, gruppi e progetti

La sintassi del setquota comando per impostare le quote di utenti, gruppi o progetti è la seguente.

lfs setquota {-u|--user|-g|--group|-p|--project} username|groupname|projectid
             [-b block_softlimit] [-B block_hardlimit]
             [-i inode_softlimit] [-I inode_hardlimit]
             /mount_point

Dove:

• -uo --user specifica un utente per cui impostare una quota.

• -go --group specifica un gruppo per cui impostare una quota.

• -po --project specifica un progetto per cui impostare una quota.

• -bimposta una quota di blocco con un limite flessibile. -Bimposta una quota di blocco con un limite rigido. Entrambi block_softlimit block_hardlimit sono espressi in kilobyte e il valore minimo è 1024 KB.

• -iimposta una quota di inode con un limite flessibile. -Iimposta una quota di inode con un limite rigido. Entrambi inode_softlimit gli inodi inode_hardlimit sono espressi in numero di inodi e il valore minimo è 1024 inode.

• mount_pointè la directory su cui è stato montato il file system.

Esempio di quota utente: il comando seguente imposta un limite di soft block di 5.000 KB, un limite di 8.000 KB di hard block, un limite di 2.000 soft inode e una quota limite di 3.000 hard inode per il file system user1 su cui è montato. /mnt/fsx

sudo lfs setquota -u user1 -b 5000 -B 8000 -i 2000 -I 3000 /mnt/fsx

Esempio di quota di gruppo: il comando seguente imposta un limite di 100.000 KB per i blocchi fissi per il gruppo indicato nel file system group1 su cui è montato. /mnt/fsx

sudo lfs setquota -g group1 -B 100000 /mnt/fsx

Esempio di quota di progetto: assicurati innanzitutto di aver utilizzato il project comando per associare i file e le directory desiderati al progetto. Ad esempio, il comando seguente associa tutti i file e le sottodirectory della /mnt/fsxfs/dir1 directory al progetto il cui ID del progetto è. 100

sudo lfs project -p 100 -r -s /mnt/fsxfs/dir1

Quindi utilizzate il setquota comando per impostare la quota del progetto. Il comando seguente imposta un limite di 307.200 KB per i soft block, un limite di 309.200 KB per i blocchi rigidi, un limite di 10.000 soft inode e una quota limite di 11.000 hard inode per il progetto 250 sul file system su cui è montato. /mnt/fsx

sudo lfs setquota -p 250 -b 307200 -B 309200 -i 10000 -I 11000 /mnt/fsx

Impostazione dei periodi di grazia

Il periodo di tolleranza predefinito è di una settimana. È possibile modificare il periodo di tolleranza predefinito per utenti, gruppi o progetti utilizzando la seguente sintassi.

lfs setquota -t {-u|-g|-p}
             [-b block_grace]
             [-i inode_grace]
             /mount_point

Dove:

• -tindica che verrà impostato un periodo di tolleranza.

• -uimposta un periodo di grazia per tutti gli utenti.

• -gimposta un periodo di grazia per tutti i gruppi.

• -pimposta un periodo di grazia per tutti i progetti.

• -bimposta un periodo di grazia per le quote in blocco. -iimposta un periodo di grazia per le quote di inode. Entrambi block_grace e inode_grace sono espressi in secondi interi o nel formato. XXwXXdXXhXXmXXs

• mount_pointè la directory su cui è stato montato il file system.

Il comando seguente imposta periodi di grazia di 1.000 secondi per le quote di blocco utente e di 1 settimana e 4 giorni per le quote di inode utente.

sudo lfs setquota -t -u -b 1000 -i 1w4d /mnt/fsx

Visualizzazione delle quote

Il quota comando visualizza informazioni sulle quote degli utenti, sulle quote di gruppo, sulle quote di progetto e sui periodi di tolleranza.

Comando View quota	Informazioni sulla quota visualizzate
lfs quota /mount_point	Informazioni generali sulla quota (utilizzo e limiti del disco) per l'utente che esegue il comando e il gruppo primario dell'utente.
lfs quota -u username /mount_point	Informazioni generali sulle quote per un utente specifico. Gli utenti con credenziali utente root dell' AWS account possono eseguire questo comando per qualsiasi utente, ma gli utenti non root non possono eseguire questo comando per ottenere informazioni sulle quote relative ad altri utenti.
lfs quota -u username -v /mount_point	Informazioni generali sulle quote per un utente specifico e statistiche dettagliate sulle quote per ogni object storage target (OST) e metadata target (MDT). Gli utenti con credenziali utente root dell' AWS account possono eseguire questo comando per qualsiasi utente, ma gli utenti non root non possono eseguire questo comando per ottenere informazioni sulle quote relative ad altri utenti.
lfs quota -g groupname /mount_point	Informazioni generali sulle quote per un gruppo specifico.
lfs quota -p projectid /mount_point	Informazioni generali sulle quote per un progetto specifico.
lfs quota -t -u /mount_point	Tempi di tolleranza relativi ai blocchi e agli inode per le quote degli utenti.
lfs quota -t -g /mount_point	Tempi di tolleranza di blocco e inode per le quote di gruppo.
lfs quota -t -p /mount_point	Tempi di tolleranza dei blocchi e degli inode per le quote di progetto.

Quotas e bucket collegati ad Amazon S3

Puoi collegare il file system FSx for Lustre a un repository di dati Amazon S3. Per ulteriori informazioni, consulta Collegamento del file system a un bucket Amazon S3.

Facoltativamente, puoi scegliere una cartella o un prefisso specifico all'interno di un bucket S3 collegato come percorso di importazione verso il tuo file system. Quando una cartella in Amazon S3 viene specificata e importata nel tuo file system da S3, solo i dati di quella cartella vengono applicati alla quota. I dati dell'intero bucket non vengono conteggiati nei limiti di quota.

I metadati dei file in un bucket S3 collegato vengono importati in una cartella con una struttura corrispondente alla cartella importata da Amazon S3. Questi file vengono conteggiati ai fini delle quote di inode degli utenti e dei gruppi proprietari dei file.

Quando un utente esegue hsm_restore o carica in modo lento un file, la dimensione completa del file viene conteggiata ai fini della quota di blocco associata al proprietario del file. Ad esempio, se l'utente A lazy carica un file di proprietà dell'utente B, la quantità di spazio di archiviazione e di utilizzo degli inode viene conteggiata ai fini della quota dell'utente B. Allo stesso modo, quando un utente utilizza l' FSx API Amazon per rilasciare un file, i dati vengono liberati dalle quote di blocco dell'utente o del gruppo proprietario del file.

Poiché i ripristini HSM e il lazy loading vengono eseguiti con accesso root, aggirano l'applicazione delle quote. Una volta importati, i dati vengono conteggiati ai fini dell'utente o del gruppo in base alla proprietà impostata in S3, il che può far sì che utenti o gruppi superino i limiti di blocco. In tal caso, dovranno liberare i file per poter scrivere nuovamente sul file system.

Allo stesso modo, i file system con importazione automatica abilitata creeranno automaticamente nuovi inode per gli oggetti aggiunti a S3. Questi nuovi inode vengono creati con accesso root e bypassano l'applicazione delle quote durante la creazione. Questi nuovi inode verranno conteggiati per gli utenti e i gruppi, in base a chi possiede l'oggetto in S3. Se tali utenti e gruppi superano le rispettive quote di inode in base all'attività di importazione automatica, dovranno eliminare i file per liberare ulteriore capacità e scendere al di sotto dei limiti di quota.

Quote e ripristino dei backup

Quando si ripristina un backup, le impostazioni delle quote del file system originale vengono implementate nel file system ripristinato. Ad esempio, se le quote sono impostate nel file system A e il file system B viene creato da un backup del file system A, le quote del file system A vengono applicate nel file system B.