기계 번역으로 제공되는 번역입니다. 제공된 번역과 원본 영어의 내용이 상충하는 경우에는 영어 버전이 우선합니다.

IDT 상태 머신 구성

상태 머신은 테스트 세트 실행 흐름을 제어하는 구조입니다. 테스트 스위트의 시작 상태를 결정하고, 사용자 정의 규칙을 기반으로 상태 전환을 관리하며, 종료 상태에 도달할 때까지 해당 상태를 계속 전환합니다.

테스트 세트에 사용자 정의 상태 머신이 포함되어 있지 않으면 IDT가 자동으로 상태 머신을 생성합니다. 기본 상태 머신은 다음 기능을 수행합니다.

IDT 테스트 제품군의 상태 머신은 다음 기준을 충족해야 합니다.

상태 머신 형식

다음 템플릿을 사용하여 고유한 템플릿을 구성할 수 있습니다.<custom-test-suite-folder>/suite/state_machine.json파일:

{
  "Comment": "<description>",
  "StartAt": "<state-name>",
  "States": {
    "<state-name>": {
      "Type": "<state-type>",
      // Additional state configuration
    }
    
    // Required states
    "Succeed": {
      "Type": "Succeed"
    },
    "Fail": {
      "Type": "Fail"
    }
  }
}

여기 설명된 것처럼 값이 포함된 모든 필드는 필수입니다.

유효한 상태 및 상태 정의

이 섹션에서는 IDT 상태 시스템에서 사용할 수 있는 모든 유효한 상태의 상태 정의에 대해 설명합니다. 다음 상태 중 일부는 테스트 케이스 수준의 구성을 지원합니다. 그러나 절대적으로 필요한 경우가 아니면 테스트 케이스 수준 대신 테스트 그룹 수준에서 상태 전환 규칙을 구성하는 것이 좋습니다.

RunTask

이RunTaskstate 는 테스트 스위트에 정의된 테스트 그룹에서 테스트 케이스를 실행합니다.

{
    "Type": "RunTask",
    "Next": "<state-name>",
    "TestGroup": "<group-id>",
    "TestCases": [
        "<test-id>"
    ],
    "ResultVar": "<result-name>"
}

여기 설명된 것처럼 값이 포함된 모든 필드는 필수입니다.

일반적으로 를 사용합니다.RunTaskstate 는 개별 테스트 케이스 ID를 지정하지 않고 테스트 그룹 ID를 지정하여 IDT가 지정된 테스트 그룹의 모든 테스트 케이스를 실행하도록 합니다. 이 상태에서 실행되는 모든 테스트 케이스는 무작위로 병렬로 실행됩니다. 그러나 모든 테스트 케이스에서 장치를 실행해야 하고 단일 장치만 사용할 수 있는 경우 테스트 케이스가 순차적으로 실행됩니다.

오류 처리

지정된 테스트 그룹 또는 테스트 케이스 ID가 유효하지 않은 경우 이 상태는RunTaskError실행 오류. 상태에 실행 오류가 발생하면hasExecutionError상태 머신 컨텍스트의 변수true.

Choice

이Choicestate를 사용하면 사용자 정의 조건에 따라 변환할 다음 상태를 동적으로 설정할 수 있습니다.

{
    "Type": "Choice",
    "Default": "<state-name>", 
    "FallthroughOnError": true | false,
    "Choices": [
        {
            "Expression": "<expression>",
            "Next": "<state-name>"
        }
    ]
}

여기 설명된 것처럼 값이 포함된 모든 필드는 필수입니다.

오류 처리

이Choicestate는 다음과 같은 경우에 오류 처리를 요구할 수 있습니다.

는 사용할 수 없습니다.Catch이 상태의 오류를 처리하는 블록입니다. 오류가 발생했을 때 상태 머신의 실행을 중지하려면 다음을 설정해야 합니다.FallthroughOnError에false. 하지만 설정하는 것이 좋습니다.FallthroughOnError에true를 사용하고 사용 사례에 따라 다음 중 하나를 수행합니다.

Parallel

이Parallelstate를 사용하면 새 상태 머신을 서로 병렬로 정의하고 실행할 수 있습니다.

{
    "Type": "Parallel",
    "Next": "<state-name>",
    "Branches": [
        <state-machine-definition>
    ]
}

여기 설명된 것처럼 값이 포함된 모든 필드는 필수입니다.

이Parallelstate는 모든 브랜치 상태 머신을 실행한 후에만 다음 상태로 이동합니다. 디바이스가 필요한 각 상태는 디바이스를 사용할 수 있을 때까지 실행될 때까지 기다립니다. 여러 장치를 사용할 수 있는 경우 이 상태는 여러 그룹의 테스트 케이스를 parallel 실행합니다. 사용 가능한 장치가 충분하지 않으면 테스트 케이스가 순차적으로 실행됩니다. 테스트 케이스는 병렬로 실행될 때 임의의 순서로 실행되기 때문에 다른 장치를 사용하여 동일한 테스트 그룹에서 테스트를 실행할 수 있습니다.

오류 처리

브랜치 상태 머신과 상위 상태 머신이 모두Fail실행 오류를 처리하기 위한 state입니다.

분기 상태 머신은 상위 상태 머신에 실행 오류를 전송하지 않으므로Catch블록 - 브랜치 상태 머신에서 실행 오류를 처리합니다. 대신 를 사용합니다.hasExecutionErrors공유 상태 머신 컨텍스트의 값입니다. 이 기능의 작동 방식에 대한 예는 단원을 참조하십시오.상태 머신 예제: 두 개의 테스트 그룹을 병렬로 실행.

추가 제품기능

이AddProductFeaturesstate를 사용하면 제품 기능을awsiotdevicetester_report.xmlIDT에 의해 생성된 파일입니다.

제품 기능은 장치가 충족할 수 있는 특정 기준에 대한 사용자 정의 정보입니다. 예를 들어 는MQTT제품 기능은 장치가 MQTT 메시지를 올바르게 게시하도록 지정할 수 있습니다. 보고서에서 제품 기능은 다음과 같이 설정됩니다.supported,not-supported또는 지정된 테스트가 통과되었는지 여부에 따라 사용자 지정 값

{
    "Type": "Parallel",
    "Next": "<state-name>",
    "Features": [
        {
            "Feature": "<feature-name>", 
            "Groups": [
                "<group-id>"
            ],
            "OneOfGroups": [
                "<group-id>"
            ],
            "TestCases": [
                "<test-id>"
            ],
            "IsRequired": true | false,
            "ExecutionMethods": [
                "<execution-method>"
            ]
        }
    ]
}

여기 설명된 것처럼 값이 포함된 모든 필드는 필수입니다.

이AddProductFeaturesstate, 값을 설정해야 합니다.ResultVar의RunTask다음 값 중 하나를 입력합니다.

이AddProductFeatures상태는 다음과 같은 방식으로 테스트 결과를 확인합니다.

오류 처리

이 상태에서 제공된 그룹 ID가 유효한 그룹 ID가 아닌 경우 이 상태는AddProductFeaturesError실행 오류. 상태에 실행 오류가 발생하면hasExecutionErrors상태 머신 컨텍스트의 변수true.

보고서

이Reportstate가 생성됩니다.suite-name_Report.xml과awsiotdevicetester_report.xml파일을 생성합니다. 이 상태는 보고서를 콘솔로 스트리밍합니다.

{
    "Type": "Report",
    "Next": "<state-name>"
}

여기 설명된 것처럼 값이 포함된 모든 필드는 필수입니다.

항상 다음으로 전환해야 합니다.Report테스트 실행 흐름의 끝을 향하여 테스트 러너가 테스트 결과를 볼 수 있도록 합니다. 일반적으로 이 상태 이후의 다음 상태는Succeed.

오류 처리

이 상태에서 보고서 생성에 문제가 발생하면ReportError실행 오류.

로그 메시지

이LogMessagestate가 생성됩니다.test_manager.log콘솔에 로그 메시지를 파일링하고 스트리밍합니다.

{
    "Type": "LogMessage",
    "Next": "<state-name>"
    "Level": "info | warn | error"
    "Message": "<message>"
}

여기 설명된 것처럼 값이 포함된 모든 필드는 필수입니다.

그룹 선택

이SelectGroupstate 는 상태 머신 컨텍스트를 업데이트하여 선택된 그룹을 나타냅니다. 이 상태로 설정된 값은 이후의 모든 경우에 사용됩니다.Choice상태입니다.

{
    "Type": "SelectGroup",
    "Next": "<state-name>"
    "TestGroups": [
        <group-id>"
    ]
}

여기 설명된 것처럼 값이 포함된 모든 필드는 필수입니다.

Fail

이Failstate 는 상태 머신이 올바르게 실행되지 않았음을 나타냅니다. 상태 머신의 종료 상태이며 각 상태 머신 정의에는 이 상태가 포함되어야 합니다.

{
    "Type": "Fail"
}

Succeed

이Succeedstate는 상태 머신이 올바르게 실행되었음을 나타냅니다. 상태 머신의 종료 상태이며 각 상태 머신 정의에는 이 상태가 포함되어야 합니다.

{
    "Type": "Succeed"
}

상태 머신 컨텍스트

상태 머신 컨텍스트는 실행 중에 상태 머신에서 사용할 수 있는 데이터를 포함하는 읽기 전용 JSON 문서입니다. 상태 머신 컨텍스트는 상태 머신에서만 액세스할 수 있으며 테스트 흐름을 결정하는 정보를 포함합니다. 예를 들어, 테스트 러너에 의해 구성된 정보를userdata.json파일을 사용하여 특정 테스트를 실행해야 하는지 여부를 확인합니다.

상태 시스템 컨텍스트는 다음 형식을 사용합니다.

{
    "pool": {
        <device-json-pool-element>
    },
    "userData": {
        <userdata-json-content>
    },
    "config": {
        <config-json-content>
    },
    "suiteFailed": true | false,
    "specificTestGroups": [
        "<group-id>"
    ],
    "specificTestCases": [
        "<test-id>"
    ],
    "hasExecutionErrors": true
}

JsonPath 표기법을 사용하여 컨텍스트를 쿼리할 수 있습니다. 상태 정의에서 JSONPath 쿼리의 구문은 다음과 같습니다.{{$.query}}. 일부 상태 내에서 JSONPath 쿼리를 자리 표시자 문자열로 사용할 수 있습니다. IDT는 자리 표시자 문자열을 컨텍스트에서 평가된 JSONPath 쿼리 값으로 바꿉니다. 다음 값에 자리 표시자를 사용할 수 있습니다.

상태 시스템 컨텍스트에서 데이터에 액세스할 때 다음 조건을 충족해야 합니다.

JSONPath 표기법을 사용하여 컨텍스트에서 데이터에 액세스하는 방법에 대한 자세한 내용은 단원을 참조하십시오.IDT 컨텍스트 사용.

실행 오류

실행 오류는 상태 머신이 상태를 실행할 때 발생하는 상태 머신 정의의 오류입니다. IDT는 각 오류에 대한 정보를 기록합니다.test_manager.log콘솔에 로그 메시지를 파일링하고 스트리밍합니다.

다음 메서드를 사용하여 실행 오류를 처리할 수 있습니다.

캐치

를 사용하려면Catch를 사용하여 상태 정의에 다음을 추가합니다.

"Catch": [
    {    
        "ErrorEquals": [
            "<error-type>"
        ]
        "Next": "<state-name>" 
    }
]

여기 설명된 것처럼 값이 포함된 모든 필드는 필수입니다.

Catch 블록은 하나가 일치할 때까지 순차적으로 처리됩니다. 오류 없음이 Catch 블록에 나열된 것과 일치하지 않으면 상태 머신이 계속 실행됩니다. 실행 오류는 잘못된 상태 정의의 결과이므로 상태에 실행 오류가 발생하면 실패 상태로 전환하는 것이 좋습니다.

하스실행 오류

일부 상태에서 실행 오류가 발생하면 오류를 발생시키는 것 외에도hasExecutionError값:true상태 머신 컨텍스트에서 이 값을 사용하여 오류 발생 시점을 감지한 다음Choice상태 머신을Fail시/도.

이 방법에는 다음과 같은 특성이 있습니다.

이러한 특성 때문에 Catch 블록을 대신 사용할 수 있는 경우 이 메서드를 사용하지 않는 것이 좋습니다.

상태 머신 예제

이 단원에서는 상태 시스템 구성의 예를 들어보겠습니다.

상태 머신 예제: 단일 테스트 그룹 실행

상태 머신:

{
    "Comment": "Runs a single group and then generates a report.",
    "StartAt": "RunGroupA",
    "States": {
        "RunGroupA": {
            "Type": "RunTask",
            "Next": "Report",
            "TestGroup": "GroupA",
            "Catch": [
                {
                    "ErrorEquals": [
                        "RunTaskError"
                    ],
                    "Next": "Fail"
                }
            ]
        },
        "Report": {
            "Type": "Report",
            "Next": "Succeed",
            "Catch": [
                {
                    "ErrorEquals": [
                        "ReportError"
                    ],
                    "Next": "Fail"
                }
            ]
        },
        "Succeed": {
            "Type": "Succeed"
        },
        "Fail": {
            "Type": "Fail"
        }
    }
}

상태 머신 예제: 사용자가 선택한 테스트 그룹 실행

상태 머신:

{
    "Comment": "Runs specific groups if the test runner chose to do that, otherwise runs GroupA.",
    "StartAt": "SpecificGroupsCheck",
    "States": {
        "SpecificGroupsCheck": {
            "Type": "Choice",
            "Default": "RunGroupA",
            "FallthroughOnError": true,
            "Choices": [
                {
                    "Expression": "{{$.specificTestGroups[0]}} != ''",
                    "Next": "RunSpecificGroups"
                }
            ]
        },
        "RunSpecificGroups": {
            "Type": "RunTask",
            "Next": "Report",
            "Catch": [
                {
                    "ErrorEquals": [
                        "RunTaskError"
                    ],
                    "Next": "Fail"
                }
            ]
        },
        "RunGroupA": {
            "Type": "RunTask",
            "Next": "Report",
            "TestGroup": "GroupA",
            "Catch": [
                {
                    "ErrorEquals": [
                        "RunTaskError"
                    ],
                    "Next": "Fail"
                }
            ]
        },
        "Report": {
            "Type": "Report",
            "Next": "Succeed",
            "Catch": [
                {
                    "ErrorEquals": [
                        "ReportError"
                    ],
                    "Next": "Fail"
                }
            ]
        },
        "Succeed": {
            "Type": "Succeed"
        },
        "Fail": {
            "Type": "Fail"
        }
    }
}

상태 머신 예제: 제품 기능을 사용하여 단일 테스트 그룹 실행

상태 머신:

{
    "Comment": "Runs GroupA and adds product features based on GroupA",
    "StartAt": "RunGroupA",
    "States": {
        "RunGroupA": {
            "Type": "RunTask",
            "Next": "AddProductFeatures",
            "TestGroup": "GroupA",
            "ResultVar": "GroupA_passed",
            "Catch": [
                {
                    "ErrorEquals": [
                        "RunTaskError"
                    ],
                    "Next": "Fail"
                }
            ]
        },
        "AddProductFeatures": {
            "Type": "AddProductFeatures",
            "Next": "Report",
            "Features": [
                {
                    "Feature": "FeatureThatDependsOnGroupA",
                    "Groups": [
                        "GroupA"
                    ],
                    "IsRequired": true
                }
            ]
        },
        "Report": {
            "Type": "Report",
            "Next": "Succeed",
            "Catch": [
                {
                    "ErrorEquals": [
                        "ReportError"
                    ],
                    "Next": "Fail"
                }
            ]
        },
        "Succeed": {
            "Type": "Succeed"
        },
        "Fail": {
            "Type": "Fail"
        }
    }
}

상태 머신 예제: 두 개의 테스트 그룹을 병렬로 실행

상태 머신:

장치 풀에 두 개의 장치가 구성된 경우 둘 다GroupA과GroupB동시에 실행될 수 있습니다. 하지만 중 하나일 경우GroupA또는GroupB여러 테스트가 있으면 두 장치 모두 해당 테스트에 할당 될 수 있습니다. 하나의 장치만 구성된 경우 테스트 그룹이 순차적으로 실행됩니다.

{
    "Comment": "Runs GroupA and GroupB in parallel",
    "StartAt": "RunGroupAAndB",
    "States": {
        "RunGroupAAndB": {
            "Type": "Parallel",
            "Next": "CheckForErrors",
            "Branches": [
                {
                    "Comment": "Run GroupA state machine",
                    "StartAt": "RunGroupA",
                    "States": {
                        "RunGroupA": {
                            "Type": "RunTask",
                            "Next": "Succeed",
                            "TestGroup": "GroupA",
                            "ResultVar": "GroupA_passed",
                            "Catch": [
                                {
                                    "ErrorEquals": [
                                        "RunTaskError"
                                    ],
                                    "Next": "Fail"
                                }
                            ]
                        },
                        "Succeed": {
                            "Type": "Succeed"
                        },
                        "Fail": {
                            "Type": "Fail"
                        }
                    }
                },
                {
                    "Comment": "Run GroupB state machine",
                    "StartAt": "RunGroupB",
                    "States": {
                        "RunGroupA": {
                            "Type": "RunTask",
                            "Next": "Succeed",
                            "TestGroup": "GroupB",
                            "ResultVar": "GroupB_passed",
                            "Catch": [
                                {
                                    "ErrorEquals": [
                                        "RunTaskError"
                                    ],
                                    "Next": "Fail"
                                }
                            ]
                        },
                        "Succeed": {
                            "Type": "Succeed"
                        },
                        "Fail": {
                            "Type": "Fail"
                        }
                    }
                }
            ]
        },
        "CheckForErrors": {
            "Type": "Choice",
            "Default": "AddProductFeatures",
            "FallthroughOnError": true,
            "Choices": [
                {
                    "Expression": "{{$.hasExecutionErrors}} == true",
                    "Next": "Fail"
                }
            ]
        },
        "AddProductFeatures": {
            "Type": "AddProductFeatures",
            "Next": "Report",
            "Features": [
                {
                    "Feature": "FeatureThatDependsOnGroupA",
                    "Groups": [
                        "GroupA"
                    ],
                    "IsRequired": true
                },
                {
                    "Feature": "FeatureThatDependsOnGroupB",
                    "Groups": [
                        "GroupB"
                    ],
                    "IsRequired": true
                }
            ]
        },
        "Report": {
            "Type": "Report",
            "Next": "Succeed",
            "Catch": [
                {
                    "ErrorEquals": [
                        "ReportError"
                    ],
                    "Next": "Fail"
                }
            ]
        },
        "Succeed": {
            "Type": "Succeed"
        },
        "Fail": {
            "Type": "Fail"
        }
    }
}