應用程式資訊清單使用範例應用程式建置變更電腦視覺模型預處理影像使用適用於 Python 的軟體開發套件上傳指標後續步驟

開發 AWS Panorama 應用程式

您可以使用範例應用程式來了解 AWS Panorama 應用程式結構，以及做為自有應用程式的起點。

下圖顯示在 AWS Panorama 設備上執行的應用程式的主要元件。應用程式程式碼使用 AWS Panorama 應用程式開發套件取得影像，並與模型互動，而模型無法直接存取。應用程式會將視訊輸出到連接的顯示器，但不會將影像資料傳送到區域網路之外。

在此範例中，應用程式使用 AWS Panorama 應用程式開發套件從攝影機取得影片框、預先處理影片資料，然後將資料傳送至可偵測物件的電腦視覺模型。應用程式會在連接至設備的 HDMI 顯示器上顯示結果。

應用程式資訊清單

應用程序清單是一個名為的文件graph.json中的graphsfolder。清單定義了應用程序的組件，這是包，節點和邊緣。

套件是應用程式程式碼、模型、相機和顯示器的程式碼、組態和二進位檔案。範例應用程式使用 4 個套件：

範例 `graphs/aws-panorama-sample/graph.json`— 套件


        "packages": [
            {
                "name": "123456789012::SAMPLE_CODE",
                "version": "1.0"
            },
            {
                "name": "123456789012::SQUEEZENET_PYTORCH_V1",
                "version": "1.0"
            },
            {
                "name": "panorama::abstract_rtsp_media_source",
                "version": "1.0"
            },
            {
                "name": "panorama::hdmi_data_sink",
                "version": "1.0"
            }
        ],

前兩個套件是在應用程式中定義的packages目錄。它們包含特定於此應用程序的代碼和模型。第二個套件是 AWS Panorama 服務所提供的一般攝影機和顯示套件。所以此abstract_rtsp_media_source套件是您在部署期間覆寫的相機的預留位置。所以此hdmi_data_sink封裝表示設備上的 HDMI 輸出連接器。

節點是套件的介面，以及非套件參數，這些參數可能具有您在部署時覆寫的預設值。代碼和模型包定義接口package.json指定輸入和輸出的檔案，可以是視訊串流或基本資料類型，例如浮點數、布林值或字串。

例如，code_node節點是指來自SAMPLE_CODE封裝。


        "nodes": [
            {
                "name": "code_node",
                "interface": "123456789012::SAMPLE_CODE.interface",
                "overridable": false,
                "launch": "onAppStart"
            },

此界面是在套件組態檔案中定義的，package.json。介面會指定套件為商務邏輯，而且需要名為的視訊串流video_in和一個名為的浮點數threshold作為輸入。該接口還指定代碼需要名為的視頻流緩衝區video_out將視訊輸出至顯示器

範例 `packages/123456789012-SAMPLE_CODE-1.0/package.json`


{
    "nodePackage": {
        "envelopeVersion": "2021-01-01",
        "name": "SAMPLE_CODE",
        "version": "1.0",
        "description": "Computer vision application code.",
        "assets": [],
        "interfaces": [
            {
                "name": "interface",
                "category": "business_logic",
                "asset": "code_asset",
                "inputs": [
                    {
                        "name": "video_in",
                        "type": "media"
                    },
                    {
                        "name": "threshold",
                        "type": "float32"
                    }
                ],
                "outputs": [
                    {
                        "description": "Video stream output",
                        "name": "video_out",
                        "type": "media"
                    }
                ]
            }
        ]
    }
}

回到應用程序清單中，camera_nodenode 表示來自攝像機的視頻流。它包含在部署應用程式時出現在主控台中的裝飾器，提示您選擇攝影機串流。

範例 `graphs/aws-panorama-sample/graph.json`— Camera 節點


            {
                "name": "camera_node",
                "interface": "panorama::abstract_rtsp_media_source.rtsp_v1_interface",
                "overridable": true,
                "launch": "onAppStart",
                "decorator": {
                    "title": "Camera",
                    "description": "Choose a camera stream."
                }
            },

參數節點，threshold_param，定義應用程式程式碼所使用的信賴度閾值參數。它的預設值為 60，並且可以在部署期間覆寫。

範例 `graphs/aws-panorama-sample/graph.json`— 參數節點


            {
                "name": "threshold_param",
                "interface": "float32",
                "value": 60.0,
                "overridable": true,
                "decorator": {
                    "title": "Confidence threshold",
                    "description": "The minimum confidence for a classification to be recorded."
                }
            }

應用程序清單的最後一部分，edges，在節點之間建立連接。攝像機的視頻流和閾值參數連接到代碼節點的輸入，並且來自代碼節點的視頻輸出連接到顯示器。

範例 `graphs/aws-panorama-sample/graph.json`— Edge


        "edges": [
            {
                "producer": "camera_node.video_out",
                "consumer": "code_node.video_in"
            },
            {
                "producer": "code_node.video_out",
                "consumer": "output_node.video_in"
            },
            {
                "producer": "threshold_param",
                "consumer": "code_node.threshold"
            }
        ]

使用範例應用程式建置

您可以將範例應用程式做為應用程式的起點。

每個套件的名稱在您的帳戶中必須是唯一的。如果您和您帳戶中的其他用戶都使用通用軟件包名稱，例如code或者model，您可能會在部署時收到錯誤的套件版本。將程式碼套件的名稱變更為代表應用程式的名稱。

若要重新命名程式碼套件

重命名包文件夾：packages/123456789012-SAMPLE_CODE-1.0/。
更新下列位置的套件名稱。
- 應用程式清單–graphs/aws-panorama-sample/graph.json
- Package 組態–packages/123456789012-SAMPLE_CODE-1.0/package.json
- 建置指令碼–3-build-container.sh

更新應用程式碼

修改應用程式程式碼packages/123456789012-SAMPLE_CODE-1.0/src/application.py。

建置容器，執行3-build-container.sh。


aws-panorama-sample$ ./3-build-container.sh
TMPDIR=$(pwd) docker build -t code_asset packages/123456789012-SAMPLE_CODE-1.0
Sending build context to Docker daemon  61.44kB
Step 1/2 : FROM public.ecr.aws/panorama/panorama-application
 ---> 9b197f256b48
Step 2/2 : COPY src /panorama
 ---> 55c35755e9d2
Successfully built 55c35755e9d2
Successfully tagged code_asset:latest
docker export --output=code_asset.tar $(docker create code_asset:latest)
gzip -9 code_asset.tar
Updating an existing asset with the same name
{
    "name": "code_asset",
    "implementations": [
        {
            "type": "container",
            "assetUri": "98aaxmpl1c1ef64cde5ac13bd3be5394e5d17064beccee963b4095d83083c343.tar.gz",
            "descriptorUri": "1872xmpl129481ed053c52e66d6af8b030f9eb69b1168a29012f01c7034d7a8f.json"
        }
    ]
}
Container asset for the package has been succesfully built at  ~/aws-panorama-sample-dev/assets/98aaxmpl1c1ef64cde5ac13bd3be5394e5d17064beccee963b4095d83083c343.tar.gz

CLI 會自動刪除舊的容器資產assets文件夾並更新軟件包配置。

若要上傳套件，請執行4-package-application.py。
開啟 AWS Panorama 主控台建置應用程式頁面。
選擇應用程式。
選擇 Replace (取代)。
完成應用程式部署的步驟。如有需要，您可以變更應用程式資訊清單、攝影機串流或參數。

變更電腦視覺模型

此範例應用程式包含電腦視覺模型。若要使用您自己的模型，請修改模型節點的組態，然後使用 AWS Panorama 應用程式 CLI 將其匯入為資產。

下列範例使用 MXNet 固態硬碟 ResNet您可以從本指南下載的 50 種型號 GitHub 回購：ssd_512_resnet50_v1_voc.tar.gz

若要變更範例應用程式的模型

重命名包文件夾以匹配您的模型。例如，到packages/123456789012-SSD_512_RESNET50_V1_VOC-1.0/。
更新下列位置的套件名稱。
- 應用程式清單–graphs/aws-panorama-sample/graph.json
- Package 組態–packages/123456789012-SSD_512_RESNET50_V1_VOC-1.0/package.json

在包配置文件中（package.json。將變更assets值轉換為空白數組。


{
    "nodePackage": {
        "envelopeVersion": "2021-01-01",
        "name": "SSD_512_RESNET50_V1_VOC",
        "version": "1.0",
        "description": "Compact classification model",
        "assets": [],

開啟套件描述器檔案 (descriptor.json。更新framework和shape值以符合您的模型。
```
{
    "mlModelDescriptor": {
        "envelopeVersion": "2021-01-01",
        "framework": "MXNET",
        "inputs": [
            {
                "name": "data",
                "shape": [ 1, 3, 512, 512 ]
            }
        ]
    }
}
```
適用於的值形狀、1,3,512,512，指示模型作為輸入的影像數目 (1)、每個影像中的色版數 (3-紅、綠和藍)，以及影像的尺寸 (512 x 512)。數組的值和順序因模型而異。

使用 AWS Panorama 應用程式 CLI 匯入模型。AWS Panorama 應用程式 CLI 會將模型和描述器檔案複製到assets具有唯一名稱的文件夾，並更新軟件包配置。


aws-panorama-sample$ panorama-cli add-raw-model --model-asset-name model-asset \
--model-local-path ssd_512_resnet50_v1_voc.tar.gz \
--descriptor-path packages/123456789012-SSD_512_RESNET50_V1_VOC-1.0/descriptor.json \
--packages-path packages/123456789012-SSD_512_RESNET50_V1_VOC-1.0
{
    "name": "model-asset",
    "implementations": [
        {
            "type": "model",
            "assetUri": "b1a1589afe449b346ff47375c284a1998c3e1522b418a7be8910414911784ce1.tar.gz",
            "descriptorUri": "a6a9508953f393f182f05f8beaa86b83325f4a535a5928580273e7fe26f79e78.json"
        }
    ]
}

若要上傳模型，請執行panorama-cli package-application。


$ panorama-cli package-application
Uploading package SAMPLE_CODE
Patch Version 1844d5a59150d33f6054b04bac527a1771fd2365e05f990ccd8444a5ab775809 already registered, ignoring upload
Uploading package SSD_512_RESNET50_V1_VOC
Patch version for the package 244a63c74d01e082ad012ebf21e67eef5d81ce0de4d6ad1ae2b69d0bc498c8fd
upload: assets/b1a1589afe449b346ff47375c284a1998c3e1522b418a7be8910414911784ce1.tar.gz to s3://arn:aws:s3:us-west-2:454554846382:accesspoint/panorama-123456789012-wc66m5eishf4si4sz5jefhx
63a/123456789012/nodePackages/SSD_512_RESNET50_V1_VOC/binaries/b1a1589afe449b346ff47375c284a1998c3e1522b418a7be8910414911784ce1.tar.gz
upload: assets/a6a9508953f393f182f05f8beaa86b83325f4a535a5928580273e7fe26f79e78.json to s3://arn:aws:s3:us-west-2:454554846382:accesspoint/panorama-123456789012-wc66m5eishf4si4sz5jefhx63
a/123456789012/nodePackages/SSD_512_RESNET50_V1_VOC/binaries/a6a9508953f393f182f05f8beaa86b83325f4a535a5928580273e7fe26f79e78.json
{
    "ETag": "\"2381dabba34f4bc0100c478e67e9ab5e\"",
    "ServerSideEncryption": "AES256",
    "VersionId": "KbY5fpESdpYamjWZ0YyGqHo3.LQQWUC2"
}
Registered SSD_512_RESNET50_V1_VOC with patch version 244a63c74d01e082ad012ebf21e67eef5d81ce0de4d6ad1ae2b69d0bc498c8fd
Uploading package SQUEEZENET_PYTORCH_V1
Patch Version 568138c430e0345061bb36f05a04a1458ac834cd6f93bf18fdacdffb62685530 already registered, ignoring upload

更新應用程式碼。大多數代碼都可以重複使用。模型回應的特定程式碼位於process_results方法。


    def process_results(self, inference_results, stream):
        """Processes output tensors from a computer vision model and annotates a video frame."""
        for class_tuple in inference_results:
            indexes = self.topk(class_tuple[0])
        for j in range(2):
            label = 'Class [%s], with probability %.3f.'% (self.classes[indexes[j]], class_tuple[0][indexes[j]])
            stream.add_label(label, 0.1, 0.25 + 0.1*j)

根據您的型號，您可能也需要更新preprocess方法。

預處理影像

在應用程式將影像傳送至模型之前，它會透過調整影像大小和標準化顏色資料來準備它進行推論。該應用程序使用的模型需要一個 224 x 224 像素圖像，具有三個顏色通道，以匹配其第一層中的輸入數。應用程式會將每個顏色值轉換為 0 到 1 之間的數字，減去該顏色的平均值，然後除以標準差來調整每個顏色值。最後，它結合了顏色通道並將其轉換為 NumPy 模型可以處理的陣列。

範例 application.py— 預處理


    def preprocess(self, img, width):
        resized = cv2.resize(img, (width, width))
        mean = [0.485, 0.456, 0.406]
        std = [0.229, 0.224, 0.225]
        img = resized.astype(np.float32) / 255.
        img_a = img[:, :, 0]
        img_b = img[:, :, 1]
        img_c = img[:, :, 2]
        # Normalize data in each channel
        img_a = (img_a - mean[0]) / std[0]
        img_b = (img_b - mean[1]) / std[1]
        img_c = (img_c - mean[2]) / std[2]
        # Put the channels back together
        x1 = [[[], [], []]]
        x1[0][0] = img_a
        x1[0][1] = img_b
        x1[0][2] = img_c
        return np.asarray(x1)

此程序會在以 0 為中心的可預測範圍內提供模型值。它與訓練資料集中套用至影像的預先處理相符，這是一種標準方法，但可能會因模型而有所不同。

使用適用於 Python 的軟體開發套件上傳指標

範例應用程式使用適用於 Python 的開發套件將指標上傳到亞馬遜 CloudWatch。

範例 application.py— 適用於 Python 的開發套件


    def process_streams(self):
        """Processes one frame of video from one or more video streams."""
        ...
            logger.info('epoch length: {:.3f} s ({:.3f} FPS)'.format(epoch_time, epoch_fps))
            logger.info('avg inference time: {:.3f} ms'.format(avg_inference_time))
            logger.info('max inference time: {:.3f} ms'.format(max_inference_time))
            logger.info('avg frame processing time: {:.3f} ms'.format(avg_frame_processing_time))
            logger.info('max frame processing time: {:.3f} ms'.format(max_frame_processing_time))
            self.inference_time_ms = 0
            self.inference_time_max = 0
            self.frame_time_ms = 0
            self.frame_time_max = 0
            self.epoch_start = time.time()
            self.put_metric_data('AverageInferenceTime', avg_inference_time)
            self.put_metric_data('AverageFrameProcessingTime', avg_frame_processing_time)
 
    def put_metric_data(self, metric_name, metric_value):
        """Sends a performance metric to CloudWatch."""
        namespace = 'AWSPanoramaApplication'
        dimension_name = 'Application Name'
        dimension_value = 'aws-panorama-sample'
        try:
            metric = self.cloudwatch.Metric(namespace, metric_name)
            metric.put_data(
                Namespace=namespace,
                MetricData=[{
                    'MetricName': metric_name,
                    'Value': metric_value,
                    'Unit': 'Milliseconds',
                    'Dimensions': [
                        {
                            'Name': dimension_name,
                            'Value': dimension_value
                        },
                        {
                            'Name': 'Device ID',
                            'Value': self.device_id
                        }
                    ]
                }]
            )
            logger.info("Put data for metric %s.%s", namespace, metric_name)
        except ClientError:
            logger.warning("Couldn't put data for metric %s.%s", namespace, metric_name)
        except AttributeError:
            logger.warning("CloudWatch client is not available.")

它會從您在部署期間指派的執行階段角色取得權限。此角色是在中定義aws-panorama-sample.yml AWS CloudFormationTemplate Template

範例 aws-panorama-sample. YML


Resources:
  runtimeRole:
    Type: AWS::IAM::Role
    Properties:
      AssumeRolePolicyDocument:
        Version: "2012-10-17"
        Statement:
          -
            Effect: Allow
            Principal:
              Service:
                - panorama.amazonaws.com
            Action:
              - sts:AssumeRole
      Policies:
        - PolicyName: cloudwatch-putmetrics
          PolicyDocument:
            Version: 2012-10-17
            Statement:
              - Effect: Allow
                Action: 'cloudwatch:PutMetricData'
                Resource: '*'
      Path: /service-role/

示例應用程序使用 pip 安裝適用於 Python 的 SDK 和其他依賴項。當您建置應用程式容器時，Dockerfile運行命令以在基本映像附帶的基本圖像之上安裝庫。

範例 Dockerfile


FROM public.ecr.aws/panorama/panorama-application
WORKDIR /panorama
COPY . .
RUN pip install --no-cache-dir --upgrade pip && \
    pip install --no-cache-dir -r requirements.txt

若要使用 AWS for WordPressAWSSDK 在您的應用程序代碼中，首先修改模板以為應用程序使用的所有 API 操作添加權限。更新AWS CloudFormation通過運行堆棧1-create-role.sh每次你做出改變。然後，將變更部署到您的應用程式程式碼。

對於修改或使用現有資源的動作，最佳做法是指定目標的名稱或模式，將此原則的範圍縮到最小。Resource在一個單獨的聲明中。如需每個服務支援的動作和資源的詳細資訊，請參閱動作、資源及條件索引鍵在服務授權參考中

後續步驟

如需使用 AWS Panorama 應用程式 CLI 建置應用程式並從頭開始建立套件的相關說明，請參閱 CLI 的讀我檔案。

Gitthub.com /aw/aws-panorama-cli

如需更多範例程式碼和可在部署之前驗證應用程式程式碼的測試公用程式，請瀏覽 AWS Panorama 範例儲存庫。

Gitthub.com /awTemplate Templateaws-panorama-samples

您的瀏覽器已停用或無法使用 Javascript。

您必須啟用 Javascript，才能使用 AWS 文件。請參閱您的瀏覽器說明頁以取得說明。

文件慣用形式

部署應用程式

支援的型號和相機