瞭解 Amazon Lookout for Vision

您可以使用 Amazon Lookout for Vision 找工業產品中的視覺瑕疵，準確且大規模地尋找工業產品中的視覺缺陷，以執行下列任務：

• 檢測損壞的零件 — 在製造和組裝過程中，發現產品表面質量，顏色和形狀的損壞。

• 識別遺失的元件 — 根據物件的存在、存在或位置來判斷遺失的元件。例如，印刷電路板上缺少的電容器。

• 揭露製程問題 — 利用重複圖案偵測瑕疵，例如矽晶圓上同一點的重複刮痕。

透過 Lookout for Vision，您可以建立一個電腦視覺模型，以預測影像中異常的存在。您提供亞馬遜 Lookout for Vision 來訓練和測試您的模型的圖像。Amazon Lookout for Vision 提供指標，您可以用來評估和改善訓練後的模型。您可以在AWS雲端託管訓練過的模型，也可以將模型部署到邊緣裝置。一個簡單的 API 操作返回您的模型做出的預測。

建立、評估和使用模型的一般工作流程如下：

選擇您的型號

在建立模型之前，您必須先決定所要的模型類型。您可以建立兩種類型的模型：影像分類和影像分割。您可以根據您的使用案例來決定建立哪種模型類型。

圖像分類模型

如果您只需要知道影像是否包含異常，但不需要知道其位置，請建立影像分類模型。影像分類模型可預測影像是否包含異常。預測包括模型對預測準確性的信心。模型不會提供有關影像上發現任何異常位置的任何資訊。

圖像分割模型

如果您需要知道異常的位置 (例如刮痕的位置)，請建立影像分割模型。Amazon Lookout for Vision 模型使用語義分割來識別存在異常類型 (例如刮痕或遺失部分) 的影像上的像素。

注意

語義分割模型定位不同類型的異常。它不會針對個別異常提供執行個體資訊。例如，如果影像包含兩個凹痕，Lookout for Vision 會傳回代表凹痕異常類型的單一實體中兩個凹痕的相關資訊。

亞馬遜 Lookout for Vision 分段模型可預測以下情況：

分類

模型會傳回已分析影像的分類 (正常/異常)，其中包括模型對預測的信賴度。分類資訊是與區段資訊分開計算的，您不應該假設它們之間的關係。

分段

模型會傳回影像遮色片，標記影像上發生異常的像素。不同類型的異常會根據指派給資料集中異常標籤的顏色進行顏色編碼。異常標籤表示異常的類型。例如，以下影像中的藍色遮色片會標記在汽車上發現的刮痕異常類型的位置。

模型會傳回遮色片中每個異常標籤的顏色代碼。該模型還返回異常標籤具有的圖像覆蓋率的百分比。

使用 LoLookout for Vision 分割模型，您可以使用各種標準來分析模型中的分析結果。例如：

• 異常位置 — 如果您需要知道異常的位置，請使用區段資訊查看涵蓋異常的遮罩。

• 異常類型 — 使用分段資訊來決定影像是否包含超過可接受數量的異常類型。

• 涵蓋範圍 — 使用分段資訊來決定異常類型是否涵蓋的範圍超過影像的可接受區域。

• 影像分類 — 如果您不需要知道異常的位置，請使用分類資訊來判斷影像是否包含異常。

如需範例程式碼，請參閱偵測影像中的異常。

決定所需的模型類型後，您可以建立專案和資料集來管理模型。使用標籤，您可以將圖像分類為正常或異常。標籤也可識別區段資訊，例如遮罩和異常類型。如何標記資料集中的影像，會決定 Lookout for Vision 您建立的模型類型。

標示影像分割模型比標示影像分類模型更為複雜。若要訓練區段模型，您必須將訓練影像分類為正常或異常。您還必須為每個異常圖像定義異常遮色片和異常類型。分類模型只需要您將訓練圖像識別為正常或異常。

建立您的模型

創建模型的步驟是創建一個項目，創建一個數據集，並培訓模型如下：

建立專案

建立專案以管理資料集和您建立的模型。專案應該用於單一使用案例，例如偵測單一機器零件類型中的異常。

您可以用儀表板取得您專案的概觀。如需詳細資訊，請參閱使用 Amazon LoLookout for Vision 儀表板。

其他資訊：建立您的專案。

建立資料集

若要訓練模型，Amazon Lookout 視覺需要適用於您的使用案例的正常物件和異常物件的影像。您可以在資料集中提供這些影像。

資料集是描述這些影像的一組影像和標籤。影像應代表可能發生異常的單一類型物件。如需詳細資訊，請參閱準備資料集的影像。

使用 Amazon Lookout for Vision 版，您可以擁有使用單一資料集的專案，或是具有獨立訓練和測試資料集的專案。我們建議您使用單一資料集專案，除非您想要更精細地控制訓練、測試和效能調整。

您可以透過匯入影像來建立資料集。視您匯入影像的方式而定，影像可能也會加上標籤。如果沒有，您可以使用控制台標記圖像。

匯入影像

如果您用 Lookout for Vision 建立資料集，您可以用下列其中一種方法匯入影像：

• 從您本機電腦匯入影像。圖像沒有標記。

• 從 S3 儲存貯體匯入映像。亞馬遜 Lookout for Vision 可以使用包含圖像的文件夾名稱對圖像進行分類。用normal於一般影像。用anomaly於異常影像。您無法自動指派區段標籤。

• 導入亞馬遜 SageMaker Ground Truth 清單文件。清單文件中的圖像被標記。您可以創建和導入自己的清單文件。如果您有很多圖像，請考慮使用「 SageMaker Ground Truth」標籤服務。然後，您可以從 Amazon SageMaker Ground Truth 工作匯入輸出資訊清單檔案。

標記影像

標籤描述資料集中的影像。標籤指定圖像是正常還是異常（分類）。標籤也會描述影像上異常的位置 (分割)。

如果您的圖像沒有標籤，您可以使用控制台標記它們。

您指派給資料集中影像的標籤會決定 Lookout the Vision 所建立的模型類型：

影像分類

若要建立影像分類模型，請使用 Lookout for Vision 主控台將資料集中的影像分類為正常或異常狀況。

您也可以使用此CreateDataset作業，從包含分類資訊的資訊清單檔案建立資料集。

圖像分割

若要建立影像分割模型，請使用 Lookout for Vision 主控台將資料集中的影像分類為正常或異常狀況。您也可以為影像上的異常區域 (如果存在) 指定像素遮色片，以及個別異常遮色片的異常標籤。

您也可以使用此CreateDataset作業，從包含區段和分類資訊的資訊清單檔案建立資料集。

如果您的專案有個別的訓練和測試資料集，Lookout for Vision 會使用訓練資料集來學習和判斷模型類型。您應該以相同的方式標記測試數據集中的圖像。

其他資訊：建立資料集。

訓練您的模型

訓練會建立模型並對其進行訓練，以預測影像中異常的存在。每次訓練時都會建立模型的新版本。

在訓練開始時，Amazon Lookout for Vision 會選擇最合適的演算法來訓練您的模型。模型經過訓練，然後進行測試。在中Amazon Lookout for Vision，您訓練單一資料集專案，資料集會在內部分割，以建立訓練資料集和測試資料集。您也可以建立具有獨立訓練和測試資料集的專案。在此組態中，Amazon Lookout 視覺會使用訓練資料集來訓練您的模型，並使用測試資料集測試模型。

重要

您需要為成功訓練模型所需的時間收費。

其他資訊：訓練您的模型。

評估您的模型

使用在測試期間建立的效能指標來評估模型的效能。

使用效能指標，您可以更好地瞭解訓練模型的效能，並決定是否已準備好在生產環境中使用該模型。

其他資訊：改善您的模型。

如果效能指標指出需要改善，您可以透過使用新影像執行試驗偵測工作，以新增更多訓練資料。工作完成後，您可以驗證結果，並將已驗證的映像新增至訓練資料集。或者，您也可以將新的訓練影像直接新增至資料集。接下來，您重新訓練模型並重新檢查效能指標。

其他資訊：使用試驗偵測工作來驗證模型。

使用您的模型

在您可以在AWS雲端中使用模型之前，請先使用StartModel作業啟動模型。您可以從控制台獲取模型的StartModel CLI 命令。

其他資訊：啟動模型。

訓練有素的 Amazon Lookout for Vision 模型可預測輸入影像是否包含正常或異常內容。如果您的模型是分割模型，則預測會包含一個異常遮色片，用來標記發現異常的像素。

要使用模型進行預測，請調用DetectAnomalies操作並從本地計算機傳遞輸入圖像。您可以獲取從控制台調用DetectAnomalies的 CLI 命令。

其他資訊：偵測影像中的異常。

重要

您需支付模型執行時間的費用。

如果您不再使用模型，請使用此StopModel操作停止模型。您可以從主控台得到 CLI 命令。

其他資訊：停止模型。

在邊緣裝置上使用您的模型

您可以在AWS IoT Greengrass Version 2核心裝置上使用 Lookout for Vision 模型。

其他資訊：在邊緣裝置上使用 Amazon Lookout for Vision 模型。

使用您的儀表板

您可以使用儀表板來取得所有專案的概觀，以及個別專案的概觀資訊。

其他資訊：使用儀表板。