Die vorliegende Übersetzung wurde maschinell erstellt. Im Falle eines Konflikts oder eines Widerspruchs zwischen dieser übersetzten Fassung und der englischen Fassung (einschließlich infolge von Verzögerungen bei der Übersetzung) ist die englische Fassung maßgeblich.
Einen Datensatz mit einer Manifestdatei (SDK) erstellen
Sie verwenden den CreateDatasetVorgang, um die Datensätze zu erstellen, die mit einem Amazon Lookout for Vision Vision-Projekt verknüpft sind.
Wenn Sie einen einzelnen Datensatz für Schulungen und Tests verwenden möchten, erstellen Sie einen einzelnen Datensatz mit dem DatasetType Wert auf. train Während des Trainings wird der Datensatz intern aufgeteilt, sodass ein Trainings- und Testdatensatz entsteht. Sie haben keinen Zugriff auf die geteilten Trainings- und Testdatensätze. Wenn Sie einen separaten Testdatensatz benötigen, rufen Sie CreateDataset with the DatasetType value set test ein zweites Mal auf. Während des Trainings werden die Trainings- und Testdatensätze verwendet, um das Modell zu trainieren und zu testen.
Sie können den DatasetSource Parameter optional verwenden, um den Speicherort einer Manifestdatei SageMaker Ground Truth Truth-Format anzugeben, die zum Auffüllen des Datensatzes verwendet wird. In diesem Fall erfolgt der Aufruf von asynchron. CreateDataset Um den aktuellen Status zu überprüfen, rufen Sie DescribeDataset auf. Weitere Informationen finden Sie unter Ihre Datensätze anzeigen. Tritt während des Imports ein Validierungsfehler auf, Status wird der Wert von auf CREATE _ gesetzt FAILED und die Statusmeldung (StatusMessage) wird gesetzt.
Wenn Sie einen Datensatz mit dem Beispieldatensatz Erste Schritte erstellen, verwenden Sie die Manifestdatei (getting-started/dataset-files/manifests/train.manifest), in der das Skript erstelltSchritt 1: Erstellen Sie die Manifestdatei und laden Sie Bilder hoch.
Wenn Sie einen Datensatz mit den Leiterplatten-Beispielbildern erstellen, haben Sie zwei Möglichkeiten:
-
Erstellen Sie die Manifestdatei mithilfe von Code. Das Python-Notizbuch von Amazon Lookout for Vision Lab zeigt, wie die Manifestdatei für die Leiterplatten-Beispielbilder erstellt wird. Verwenden Sie alternativ den Beispielcode Datasets im Code Examples Repository. AWS
-
Wenn Sie die Amazon Lookout for Vision-Konsole bereits verwendet haben, um einen Datensatz mit den Leiterplatten-Beispielbildern zu erstellen, verwenden Sie die von Amazon Lookout for Vision für Sie erstellten Manifestdateien erneut. Die Speicherorte der Trainings- und Testmanifestdateien sind. s3://bucket/datasets/project
name/train or
test/manifests/output/output.manifest
Wenn Sie nichts angebenDatasetSource, wird ein leerer Datensatz erstellt. In diesem Fall erfolgt der Aufruf von synchron. CreateDataset Später können Sie dem Datensatz durch Aufrufen UpdateDatasetEntrieseine Bezeichnung für Bilder hinzufügen. Beispielcode finden Sie unter Weitere Bilder hinzufügen (SDK).
Wenn Sie einen Datensatz ersetzen möchten, löschen Sie zuerst den vorhandenen Datensatz durch DeleteDatasetund erstellen Sie dann einen neuen Datensatz desselben Datensatztyps, indem Sie aufrufenCreateDataset. Weitere Informationen finden Sie unter Löschen eines Datensatzes.
Nachdem Sie die Datensätze erstellt haben, können Sie das Modell erstellen. Weitere Informationen finden Sie unter Ein Modell trainieren (SDK).
Sie können die beschrifteten Bilder (JSONLinien) innerhalb eines Datensatzes anzeigen, indem Sie aufrufen ListDatasetEntries. Sie können beschriftete Bilder hinzufügen, indem Sie aufrufenUpdateDatasetEntries.
Informationen zu den Test- und Trainingsdatensätzen finden Sie unterIhre Datensätze anzeigen.
Um einen Datensatz zu erstellen () SDK
-
Falls Sie dies noch nicht getan haben, installieren und konfigurieren Sie den AWS CLI und den AWS SDKs. Weitere Informationen finden Sie unter Schritt 4: Richten Sie die AWS SDKs AWS CLI und ein.
-
Verwenden Sie den folgenden Beispielcode, um einen Datensatz zu erstellen.
- CLI
-
Ändern Sie die folgenden Werte:
-
project-nameauf den Namen des Projekts, dem Sie den Datensatz zuordnen möchten.
-
dataset-typeauf den Datensatztyp, den Sie erstellen möchten (trainodertest).
-
dataset-sourcezum Amazon S3 S3-Speicherort der Manifestdatei.
-
Bucketauf den Namen des Amazon S3 S3-Buckets, der die Manifestdatei enthält.
-
Keyzum Pfad und Dateinamen der Manifestdatei im Amazon S3 S3-Bucket.
aws lookoutvision create-dataset --project-name project\
--dataset-type train or test\
--dataset-source '{ "GroundTruthManifest": { "S3Object": { "Bucket": "bucket", "Key": "manifest file" } } }' \
--profile lookoutvision-access
- Python
-
Dieser Code stammt aus dem GitHub Repository mit den AWS SDK Dokumentationsbeispielen. Das vollständige Beispiel finden Sie hier.
@staticmethod
def create_dataset(lookoutvision_client, project_name, manifest_file, dataset_type):
"""
Creates a new Lookout for Vision dataset
:param lookoutvision_client: A Lookout for Vision Boto3 client.
:param project_name: The name of the project in which you want to
create a dataset.
:param bucket: The bucket that contains the manifest file.
:param manifest_file: The path and name of the manifest file.
:param dataset_type: The type of the dataset (train or test).
"""
try:
bucket, key = manifest_file.replace("s3://", "").split("/", 1)
logger.info("Creating %s dataset type...", dataset_type)
dataset = {
"GroundTruthManifest": {"S3Object": {"Bucket": bucket, "Key": key}}
}
response = lookoutvision_client.create_dataset(
ProjectName=project_name,
DatasetType=dataset_type,
DatasetSource=dataset,
)
logger.info("Dataset Status: %s", response["DatasetMetadata"]["Status"])
logger.info(
"Dataset Status Message: %s",
response["DatasetMetadata"]["StatusMessage"],
)
logger.info("Dataset Type: %s", response["DatasetMetadata"]["DatasetType"])
# Wait until either created or failed.
finished = False
status = ""
dataset_description = {}
while finished is False:
dataset_description = lookoutvision_client.describe_dataset(
ProjectName=project_name, DatasetType=dataset_type
)
status = dataset_description["DatasetDescription"]["Status"]
if status == "CREATE_IN_PROGRESS":
logger.info("Dataset creation in progress...")
time.sleep(2)
elif status == "CREATE_COMPLETE":
logger.info("Dataset created.")
finished = True
else:
logger.info(
"Dataset creation failed: %s",
dataset_description["DatasetDescription"]["StatusMessage"],
)
finished = True
if status != "CREATE_COMPLETE":
message = dataset_description["DatasetDescription"]["StatusMessage"]
logger.exception("Couldn't create dataset: %s", message)
raise Exception(f"Couldn't create dataset: {message}")
except ClientError:
logger.exception("Service error: Couldn't create dataset.")
raise
- Java V2
-
Dieser Code stammt aus dem GitHub Repository mit den AWS SDK Dokumentationsbeispielen. Das vollständige Beispiel finden Sie hier.
/**
* Creates an Amazon Lookout for Vision dataset from a manifest file.
* Returns after Lookout for Vision creates the dataset.
*
* @param lfvClient An Amazon Lookout for Vision client.
* @param projectName The name of the project in which you want to create a
* dataset.
* @param datasetType The type of dataset that you want to create (train or
* test).
* @param bucket The S3 bucket that contains the manifest file.
* @param manifestFile The name and location of the manifest file within the S3
* bucket.
* @return DatasetDescription The description of the created dataset.
*/
public static DatasetDescription createDataset(LookoutVisionClient lfvClient,
String projectName,
String datasetType,
String bucket,
String manifestFile)
throws LookoutVisionException, InterruptedException {
logger.log(Level.INFO, "Creating {0} dataset for project {1}",
new Object[] { projectName, datasetType });
// Build the request. If no bucket supplied, setup for empty dataset creation.
CreateDatasetRequest createDatasetRequest = null;
if (bucket != null && manifestFile != null) {
InputS3Object s3Object = InputS3Object.builder()
.bucket(bucket)
.key(manifestFile)
.build();
DatasetGroundTruthManifest groundTruthManifest = DatasetGroundTruthManifest.builder()
.s3Object(s3Object)
.build();
DatasetSource datasetSource = DatasetSource.builder()
.groundTruthManifest(groundTruthManifest)
.build();
createDatasetRequest = CreateDatasetRequest.builder()
.projectName(projectName)
.datasetType(datasetType)
.datasetSource(datasetSource)
.build();
} else {
createDatasetRequest = CreateDatasetRequest.builder()
.projectName(projectName)
.datasetType(datasetType)
.build();
}
lfvClient.createDataset(createDatasetRequest);
DatasetDescription datasetDescription = null;
boolean finished = false;
// Wait until dataset is created, or failure occurs.
while (!finished) {
datasetDescription = describeDataset(lfvClient, projectName, datasetType);
switch (datasetDescription.status()) {
case CREATE_COMPLETE:
logger.log(Level.INFO, "{0}dataset created for project {1}",
new Object[] { datasetType, projectName });
finished = true;
break;
case CREATE_IN_PROGRESS:
logger.log(Level.INFO, "{0} dataset creating for project {1}",
new Object[] { datasetType, projectName });
TimeUnit.SECONDS.sleep(5);
break;
case CREATE_FAILED:
logger.log(Level.SEVERE,
"{0} dataset creation failed for project {1}. Error {2}",
new Object[] { datasetType, projectName,
datasetDescription.statusAsString() });
finished = true;
break;
default:
logger.log(Level.SEVERE, "{0} error when creating {1} dataset for project {2}",
new Object[] { datasetType, projectName,
datasetDescription.statusAsString() });
finished = true;
break;
}
}
logger.log(Level.INFO, "Dataset info. Status: {0}\n Message: {1} }",
new Object[] { datasetDescription.statusAsString(),
datasetDescription.statusMessage() });
return datasetDescription;
}
Trainieren Sie Ihr Modell, indem Sie den Schritten unter folgenEin Modell trainieren (SDK).
