

Die vorliegende Übersetzung wurde maschinell erstellt. Im Falle eines Konflikts oder eines Widerspruchs zwischen dieser übersetzten Fassung und der englischen Fassung (einschließlich infolge von Verzögerungen bei der Übersetzung) ist die englische Fassung maßgeblich.

# Automatische GPU-Reparatur für von Amazon ECS verwaltete Instances

Amazon ECS überwacht den Zustand der NVIDIA-GPU auf Amazon ECS Managed Instances, die GPU-Hardware verwenden. Wenn Amazon ECS einen GPU-Hardwarefehler feststellt, kann es die beeinträchtigte Instance automatisch ersetzen. Die automatische GPU-Reparatur ist für Amazon ECS Managed Instances standardmäßig aktiviert.

## Funktionsweise
<a name="managed-instances-gpu-auto-repair-how-it-works"></a>

Amazon ECS verwendet NVIDIA Data Center GPU Manager (DCGM), um den NVIDIA-GPU-Zustand auf verwalteten Instances mit GPU-Hardware zu überwachen. Wenn DCGM einen kritischen GPU-Ausfall meldet, markiert Amazon ECS die Instance als beeinträchtigt.

Amazon ECS überwacht auch die NVIDIA MPS Daemon auf Instances, die GPU-Sharing verwenden. Wenn der MPS Der Daemon schlägt fehl, Amazon ECS markiert die Instance als beeinträchtigt und ersetzt sie mithilfe desselben Workflows.

Wenn die automatische GPU-Reparatur aktiviert ist, ersetzt Amazon ECS die beeinträchtigte Instance mithilfe eines Workflows, bei dem das Starten vor dem Stoppen erfolgt:

1. Amazon ECS setzt die beeinträchtigte Instance auf DRAINING. Neue Aufgaben werden der Instance nicht zugewiesen.

1. Amazon ECS stellt eine Ersatz-Instance bereit.

1. Amazon ECS ermöglicht das reibungslose Beenden vorhandener Aufgaben. Amazon ECS berücksichtigt das Timeout beim Stoppen von Aufgaben auf der Instance.

1. Nach Ablauf der Belastungszeit beendet Amazon ECS die beeinträchtigte Instance.

Amazon ECS begrenzt Reparaturmaßnahmen auf eine Ratenbegrenzung, um einen kaskadierenden Austausch zu verhindern. Es können nicht mehr als 20% der Instances, die dem Kapazitätsanbieter gehören, gleichzeitig entleert werden. Wenn der Kapazitätsanbieter weniger als 9 Instances enthält, wird maximal eine Instance gleichzeitig entleert.

## Überwachung des GPU-Zustands
<a name="managed-instances-gpu-auto-repair-monitoring"></a>

Sie können das verwenden `DescribeContainerInstances` API zur Überprüfung des GPU-Zustands. Weitere Informationen finden Sie unter [Überwachung des Zustands von Amazon-ECS-Container-Instances](container-instance-health.md). Sie können die Änderungen des GPU-Zustands auch über das [Ereignisse, die den Zustand der Amazon ECS-Container-Instance ändern](ecs_container_instance_health_events.md).

## Überwachte XID-Fehlercodes
<a name="managed-instances-gpu-auto-repair-xid-errors"></a>

Amazon ECS überwacht die folgenden NVIDIA Xid-Fehlercodes. Wenn Amazon ECS einen dieser Fehler erkennt, markiert es die Instance als beeinträchtigt und ersetzt die Instance.


| Xid | Description | 
| --- | --- | 
| 46 | Die GPU hat die Verarbeitung beendet | 
| 48 | Doppelbit-ECC-Fehler | 
| 54 | Der Hilfsstromanschluss ist nicht angeschlossen | 
| 62 | Interner Mikrocontroller angehalten | 
| 64 | Fehler bei der Neuzuweisung des GPU-Speichers | 
| 74 | NVLink-Fehler | 
| 79 | Die GPU ist aus dem Bus gefallen | 
| 95 | Unbegrenzter Speicherfehler | 
| 109 | Timeout beim Kontextwechsel | 
| 110 | Die GPU ist aus dem Bus verschwunden | 
| 136 | Das Limit für die Sperrung von Seiten im GPU-Speicher | 
| 140 | Nicht behebbarer ECC-Fehler | 
| 142 | Die GPU-Speicherseite wurde aufgrund eines nicht behebbaren Fehlers eingestellt | 
| 143 | Die GPU-Speicherseite wurde aufgrund eines korrigierbaren Fehlerschwellenwerts geschlossen | 
| 151 | Fehler bei der Verbindung zwischen GPU und CPU | 
| 155 | GPU NVLink flirt CRC-Fehler | 
| 156 | GPU NVLink-Spurfehler | 
| 158 | GPU-InfoM ist beschädigt | 

Weitere Informationen zu XID-Fehlern finden Sie unter [XID-Fehler](https://docs.nvidia.com/deploy/xid-errors/index.html#topic_5_1) in der *Dokumentation zur Bereitstellung und Verwaltung von NVIDIA-GPUs*. Weitere Informationen zu den einzelnen XID-Meldungen finden Sie unter [XID-Meldungen verstehen](https://docs.nvidia.com/deploy/gpu-debug-guidelines/index.html#understanding-xid-messages) in der *Dokumentation zur Bereitstellung und Verwaltung von NVIDIA-GPUs*.

## Automatische Reparatur deaktivieren
<a name="managed-instances-gpu-auto-repair-disable"></a>

Die automatische GPU-Reparatur ist für Amazon ECS Managed Instances standardmäßig aktiviert. Um die automatische GPU-Reparatur zu deaktivieren, setzen Sie `actionsStatus` zu `DISABLED` in `autoRepairConfiguration` wenn Sie einen Kapazitätsanbieter erstellen oder aktualisieren. Sie können die automatische GPU-Reparatur auch in der Amazon ECS-Konsole deaktivieren, wenn Sie einen Kapazitätsanbieter erstellen oder aktualisieren.

Wenn die automatische GPU-Reparatur deaktiviert ist, überwacht Amazon ECS weiterhin den Zustand der GPU, aber die betroffenen Instanzen werden nicht automatisch ersetzt.

**Anmerkung**  
Durch die Deaktivierung der automatischen GPU-Reparatur wird auch die automatische Reparatur von Amazon ECS Managed Daemons deaktiviert. Weitere Informationen finden Sie unter [Automatische Reparatur von Amazon ECS Managed Daemons](https://docs.aws.amazon.com/AmazonECS/latest/developerguide/managed-daemons-auto-repair.html).

**Um die automatische GPU-Reparatur zu deaktivieren**

```
aws ecs update-capacity-provider \
    --name {{my-gpu-capacity-provider}} \
    --managed-instances-provider '{
        "infrastructureRoleArn": "arn:aws:iam::{{111122223333}}:role/ecsInfrastructureRole",
        "instanceLaunchTemplate": {
            "ec2InstanceProfileArn": "arn:aws:iam::{{111122223333}}:instance-profile/ecsInstanceRole",
            "networkConfiguration": {
                "subnets": ["{{subnet-0123456789abcdef0}}"],
                "securityGroups": ["{{sg-0123456789abcdef0}}"]
            }
        },
        "autoRepairConfiguration": {
            "actionsStatus": "DISABLED"
        }
    }'
```

**Um die automatische GPU-Reparatur zu aktivieren**

```
aws ecs update-capacity-provider \
    --name {{my-gpu-capacity-provider}} \
    --managed-instances-provider '{
        "infrastructureRoleArn": "arn:aws:iam::{{111122223333}}:role/ecsInfrastructureRole",
        "instanceLaunchTemplate": {
            "ec2InstanceProfileArn": "arn:aws:iam::{{111122223333}}:instance-profile/ecsInstanceRole",
            "networkConfiguration": {
                "subnets": ["{{subnet-0123456789abcdef0}}"],
                "securityGroups": ["{{sg-0123456789abcdef0}}"]
            }
        },
        "autoRepairConfiguration": {
            "actionsStatus": "ENABLED"
        }
    }'
```

**Um die Konfiguration zu überprüfen**

```
aws ecs describe-capacity-providers \
    --capacity-providers {{my-gpu-capacity-provider}}
```