Log metrik, parameter, dan MLflow model selama pelatihan

Setelah tersambung ke Server MLflow Pelacakan, Anda dapat menggunakan MLflow SDK untuk mencatat metrik, parameter, dan MLflow model.

Metrik pelatihan log

Gunakan mlflow.log_metric dalam lari MLflow pelatihan untuk melacak metrik. Untuk informasi selengkapnya tentang menggunakan metrik logging MLflow, lihatmlflow.log_metric.

with mlflow.start_run():
    mlflow.log_metric("foo", 1)
    
print(mlflow.search_runs())

Skrip ini harus membuat percobaan berjalan dan mencetak output yang mirip dengan berikut ini:

run_id experiment_id status artifact_uri ... tags.mlflow.source.name tags.mlflow.user tags.mlflow.source.type tags.mlflow.runName
0 607eb5c558c148dea176d8929bd44869 0 FINISHED s3://dddd/0/607eb5c558c148dea176d8929bd44869/a... ... file.py user-id LOCAL experiment-code-name

Di dalam MLflow UI, contoh ini akan terlihat mirip dengan yang berikut:

Pilih Jalankan Nama untuk melihat detail jalankan lainnya.

Parameter log dan model

catatan

Contoh berikut mengharuskan lingkungan Anda memiliki s3:PutObject izin. Izin ini harus dikaitkan dengan Peran IAM yang diasumsikan pengguna MLflow SDK saat mereka masuk atau bergabung ke akun mereka. AWS Untuk informasi selengkapnya, lihat Contoh kebijakan pengguna dan peran.

Contoh berikut akan membawa Anda melalui alur kerja pelatihan model dasar menggunakan SKLearn dan menunjukkan kepada Anda cara melacak model tersebut dalam MLflow percobaan. Contoh ini mencatat parameter, metrik, dan artefak model.

import mlflow

from mlflow.models import infer_signature

import pandas as pd
from sklearn import datasets
from sklearn.model_selection import train_test_split
from sklearn.linear_model import LogisticRegression
from sklearn.metrics import accuracy_score, precision_score, recall_score, f1_score

# This is the ARN of the MLflow Tracking Server you created
mlflow.set_tracking_uri(your-tracking-server-arn)
mlflow.set_experiment("some-experiment")

# Load the Iris dataset
X, y = datasets.load_iris(return_X_y=True)

# Split the data into training and test sets
X_train, X_test, y_train, y_test = train_test_split(X, y, test_size=0.2, random_state=42)

# Define the model hyperparameters
params = {"solver": "lbfgs", "max_iter": 1000, "multi_class": "auto", "random_state": 8888}

# Train the model
lr = LogisticRegression(**params)
lr.fit(X_train, y_train)

# Predict on the test set
y_pred = lr.predict(X_test)

# Calculate accuracy as a target loss metric
accuracy = accuracy_score(y_test, y_pred)

# Start an MLflow run and log parameters, metrics, and model artifacts
with mlflow.start_run():
    # Log the hyperparameters
    mlflow.log_params(params)

    # Log the loss metric
    mlflow.log_metric("accuracy", accuracy)

    # Set a tag that we can use to remind ourselves what this run was for
    mlflow.set_tag("Training Info", "Basic LR model for iris data")

    # Infer the model signature
    signature = infer_signature(X_train, lr.predict(X_train))

    # Log the model
    model_info = mlflow.sklearn.log_model(
        sk_model=lr,
        artifact_path="iris_model",
        signature=signature,
        input_example=X_train,
        registered_model_name="tracking-quickstart",
    )

Di dalam MLflow UI, pilih nama eksperimen di panel navigasi kiri untuk menjelajahi semua proses terkait. Pilih Nama Jalankan untuk melihat informasi selengkapnya tentang setiap proses. Untuk contoh ini, halaman run eksperimen Anda untuk proses ini akan terlihat mirip dengan yang berikut ini.

Contoh ini mencatat model regresi logistik. Di dalam MLflow UI, Anda juga harus melihat artefak model yang dicatat.