Fazer download, preparar e fazer upload de dados de treinamento

Para este exemplo, você usa um conjunto de dados de treinamento de informações sobre clientes do banco que inclui o cargo do cliente, o estado civil e como ele foi contatado durante a campanha de marketing direto do banco. Para usar um conjunto de dados em um trabalho de ajuste de hiperparâmetros, você o baixa, transforma os dados e, em seguida, o carrega em um bucket do Amazon S3.

Para obter mais informações sobre o conjunto de dados e a transformação de dados que o exemplo executa, consulte o notebook HPO_XGBoost_Direct_Marketing_SageMaker_APIs na seção Ajuste de hiperparâmetros da guia Exemplos em sua instância do notebook. SageMaker

Fazer download do conjunto de dados de treinamento e explorá-lo

Para fazer download do conjunto de dados e explorá-lo, execute o seguinte código no seu bloco de anotações:

!wget -N https://archive.ics.uci.edu/ml/machine-learning-databases/00222/bank-additional.zip
!unzip -o bank-additional.zip
data = pd.read_csv('./bank-additional/bank-additional-full.csv', sep=';')
pd.set_option('display.max_columns', 500)     # Make sure we can see all of the columns
pd.set_option('display.max_rows', 5)         # Keep the output on one page
data

Preparar e fazer o upload de dados

Antes de criar o trabalho de ajuste de hiperparâmetros, prepare os dados e carregue-os em um bucket do S3 no qual esse trabalho possa acessá-los.

Execute o seguinte código no seu bloco de anotações:

data['no_previous_contact'] = np.where(data['pdays'] == 999, 1, 0)                                 # Indicator variable to capture when pdays takes a value of 999
data['not_working'] = np.where(np.in1d(data['job'], ['student', 'retired', 'unemployed']), 1, 0)   # Indicator for individuals not actively employed
model_data = pd.get_dummies(data)                                                                  # Convert categorical variables to sets of indicators
model_data
model_data = model_data.drop(['duration', 'emp.var.rate', 'cons.price.idx', 'cons.conf.idx', 'euribor3m', 'nr.employed'], axis=1)

train_data, validation_data, test_data = np.split(model_data.sample(frac=1, random_state=1729), [int(0.7 * len(model_data)), int(0.9*len(model_data))])

pd.concat([train_data['y_yes'], train_data.drop(['y_no', 'y_yes'], axis=1)], axis=1).to_csv('train.csv', index=False, header=False)
pd.concat([validation_data['y_yes'], validation_data.drop(['y_no', 'y_yes'], axis=1)], axis=1).to_csv('validation.csv', index=False, header=False)
pd.concat([test_data['y_yes'], test_data.drop(['y_no', 'y_yes'], axis=1)], axis=1).to_csv('test.csv', index=False, header=False)

boto3.Session().resource('s3').Bucket(bucket).Object(os.path.join(prefix, 'train/train.csv')).upload_file('train.csv')
boto3.Session().resource('s3').Bucket(bucket).Object(os.path.join(prefix, 'validation/validation.csv')).upload_file('validation.csv')

Próxima etapa

Configurar e executar um trabalho de ajuste de hiperparâmetros