預處理 - AWS Deep Learning AMIs

本文為英文版的機器翻譯版本,如內容有任何歧義或不一致之處,概以英文版為準。

預處理

透過轉換或增強進行資料預先處理通常是一個 CPU繫結的過程,而這可能會是您整體管道的瓶頸。架構具有用於影像處理的內建運算子,但 DALI(資料增強程式庫) 比架構的內建選項展現出更好的效能。

  • NVIDIA 資料增強程式庫 (DALI):將資料增強DALI卸載至 GPU。其不會預先安裝在 上DLAMI,但您可以透過安裝或在您的DLAMI或其他 Amazon Elastic Compute Cloud 執行個體上載入支援的架構容器來存取它。如需NVIDIA詳細資訊,請參閱 網站上的DALI專案頁面。如需使用案例範例和下載程式碼範例,請參閱 SageMaker 預先處理訓練效能範例。

  • nv JPEG:C 程式設計器的 GPU加速JPEG解碼器程式庫。它支援解碼單一影像或批次,以及深度學習中常見的後續轉換操作。nvJPEG 內建於 DALI,或者您可以從NVIDIA網站的 nvjpeg 頁面下載並分別使用。

您可能會對監控GPU和最佳化的其他主題感興趣: