より高速で、より柔軟性のあるモデルを Amazon SageMaker 線形学習者でトレーニングする

early_stopping_patience=3,
early_stopping_tolerance=0.001,

predicted_label = 1 if raw_prediction > 0.5 else 0

精度やリコール数など、最も重要なメトリックスに基づいてしきい値 (たとえば 0.5) をチューニングしたい場合もあるでしょう。線形学習者は、このチューニングを binary_classifier_model_selection_criteria  パラメーターを使用して予測を出力する長さを設定したりできます。閾値のチューニングと早期終了を両方ともオンにした場合 (デフォルト)、リクエストしたメトリックスに基づいて、トレーニングは早期終了します。たとえば、検証データセットを用意し、ロジスティック回帰モデルをリクエストし、精度に基づいてしきい値チューニングを行うことにした場合、自動しきい値を設定したモデルが検証データ上で最適なパフォーマンスに達すると、トレーニングは終了します。検証セットがなく、自動しきい値をオフにしていた場合、トレーニングデータ上で損失関数の最良の値に達すると、トレーニングは終了します。

新しい損失関数

損失関数とは、間違った予測をした場合のコストと定義されています。モデルのトレーニングを行う際には、トレーニングセット内に既知のラベルが存在するとして、モデルの重み付けを、損失が最小になる方向へ向けて動かします。最も一般的でよく知られている損失関数は二乗損失です。標準的な線形回帰モデルをトレーニングする場合には、これを最小化します。別の一般的な損失関数はロジスティック回帰で使用されるもので、ロジスティック損失、交差エントロピー損失、または二項尤度といったいくつかの名前で呼ばれています。理想的に言って、トレーニングで使用する損失関数は、解決したいビジネス上の問題と密接に適合しているべきです。トレーニング時に様々な損失関数から選択できる柔軟性があれば、モデルを異なるユースケースに合わせてカスタマイズすることができます。このセクションでは、どのような場合にどの損失関数を使用するべきかについて説明し、線形学習者に追加されたいくつかの新しい損失関数を紹介します。これらの損失関数に関する技術的な詳細については、このブログと関連付けられたノートブックを参照してください。

二乗損失

二乗損失は、ほとんどの回帰問題について、最初に考慮すべき選択肢です。ラベル付けされた特徴に対し、平均値の見積もりを生成することができる、優れたプロパティです。上のプロットで見てわかるとおり、二乗損失は、非常に悪い予測に対しては非常に高いコストを払うことになることを意味しています。このことは、トレーニングデータにいくつかの非常に大きく外れた値がある場合には問題の原因となり得ます。二乗損失に基づいてトレーニングされたモデルは、外れ値に対して非常に敏感になります。

絶対損失

絶対損失は二乗損失ほど一般的ではありませんが、非常に役立つものとなる場合があります。これら 2 つの間の違いは、絶対損失に基づいてトレーニングされたモデルは、ラベル付けされた特徴に対して中央値の見積もりを生成するという点です。二乗損失は平均を見積もり、絶対損失は中央値を見積もります。平均と中央値のどちらを見積もるべきかということは、ユースケースに基づいて決まります。たとえば、トレーニングデータ内の外れ値がモデルに影響を及ぼしすぎている場合には、二乗損失から絶対損失に切り替えてみてください。

分位点損失

分位点損失を使えば、ラベルの与えられた特徴に対し、上限と下限を予測することができます。時間の 90% 以上で真となる予測を行うためには、0.9 分位点の分位点損失でトレーニングを行います。例としては、ピーク需要に近い設備を建設する必要のある、電力需要予測があります。仮に平均に基づいて建設したとすると、電力制限を行わなくてはならない事態が生じ、顧客の怒りを買うことになるからです。

Huber 損失

Huber 損失は、二乗損失でトレーニングを行いたいものの、外れ値に対する過敏性を避ける必要がある場合に役立ちます。たとえば、配達時間を予測する際、トレーニング用データの中に、冬嵐のせいで通常よりはるかに長い時間がかかった例がいくつかある場合、またはキャンセルが生じたために非常に短い配達時間の例がある場合などです。

イプシロン不感応損失

イプシロン不感応損失は、エラーがあるしきい値を下回っている限りは、そのエラーの大きさが問題とならない場合に役立ちます。たとえば、機械部品の故障発生までの時間を予測しようとしているものの、その時間が 1 時間単位で記録されているような場合です。このような例では、損失不感応の値を 0.5 時間にすることによって、30 分未満のエラーを無視することができるでしょう。

ロジスティック回帰

ここまでで説明した損失はどれも回帰問題のためのもので、ラベルは浮動小数点数になります。ロジスティック回帰は、二項分類の問題で最もよく使われる損失関数です。

ヒンジ損失 (サポートベクターマシン)

二項分類の問題で最もよく使われる別のオプションはヒンジ損失です。これは線形カーネルを伴うサポートベクターマシン (SVM) またはサポートベクター分類 (SVC) とも呼ばれます。ロジスティック回帰と SVM のどちらが二項分類問題のための適切なモデルであるかを前もって判断するのは困難ですが、両方を試してみる価値はあります。

クラス重み付け

一部の二項分類問題では、トレーニングデータが非常に不均等であることがわかる場合もあります。たとえば、クレジットカード詐欺の検出では、ほとんどの取引の例は詐欺とは関係なく、詐欺よりずっと多く存在するはずです。このような例では、クラス重み付けにより、モデルのパフォーマンスを改善することができるかもしれません。

98% が陰性、2% が陽性であるような例を考えましょう。各クラスの重み合計のバランスを取るために、陽性のクラスの重みを 49 にすることができます。これで、陰性クラスの平均重みは 0.98 × 1 = 0.98、陽性クラスの平均重みは 0.02 × 49 = 0.98 となります。陰性クラスの重みの倍数は常に 1 です。

import boto3
import io
import matplotlib.pyplot as plt
import numpy as np 
import os
import pandas as pd 

import sagemaker
import sagemaker.amazon.common as smac
from sagemaker import get_execution_role
from sagemaker.predictor import csv_serializer, json_deserializer

# Set data locations
s3_train_data = 's3://linear-learner-mead-example/blog-2018-03-29/train/recordio-pb-data'
bucket = 'linear-learner-mead-example'
s3_test_features = 'blog-2018-03-29/test/features.csv'
s3_test_labels = 'blog-2018-03-29/test/labels.csv'
local_test_features = '/tmp/test-features.csv'
local_test_labels = '/tmp/test-labels.csv'

# Download test set from S3 to local /tmp directory on notebook instance
s3 = boto3.resource('s3')
s3.Bucket(bucket).download_file(s3_test_features, local_test_features)
s3.Bucket(bucket).download_file(s3_test_labels, local_test_labels)

# Load test set into memory as Numpy array
test_features = np.loadtxt(local_test_features)
test_labels = np.loadtxt(local_test_labels)

def predictor_from_hyperparams(s3_train_data, hyperparams, output_path):
    """
    Create an Estimator from the given hyperparams, fit to training data, and return a deployed predictor
    """
    # specify algorithm containers and instantiate an Estimator with given hyperparams
    containers = {
        'us-west-2': '174872318107.dkr.ecr.us-west-2.amazonaws.com/linear-learner:latest',
        'us-east-1': '382416733822.dkr.ecr.us-east-1.amazonaws.com/linear-learner:latest',
        'us-east-2': '404615174143.dkr.ecr.us-east-2.amazonaws.com/linear-learner:latest',
        'eu-west-1': '438346466558.dkr.ecr.eu-west-1.amazonaws.com/linear-learner:latest'}
    linear = sagemaker.estimator.Estimator(containers[boto3.Session().region_name],
        get_execution_role(),
        train_instance_count=1,
        train_instance_type='ml.m4.xlarge',
        output_path=output_path,
        sagemaker_session=sagemaker.Session())
    linear.set_hyperparameters(**hyperparams)
    # train model
    linear.fit({'train': s3_train_data})
    # deploy a predictor
    linear_predictor = linear.deploy(initial_instance_count=1, instance_type='ml.m4.xlarge')
    linear_predictor.content_type = 'text/csv'
    linear_predictor.serializer = csv_serializer
    linear_predictor.deserializer = json_deserializer
    return linear_predictor

def evaluate(linear_predictor, test_features, test_labels, model_name, verbose=True):
    """
    試験セットを与えた予測エンドポイント上のモデルを評価します。  二項分類メトリックスを返します。
    """
    # split the test data set into 100 batches and evaluate using prediction endpoint
    prediction_batches = [linear_predictor.predict(batch)['predictions'] for batch in np.array_split(test_features, 100)]
    # parse raw predictions json to exctract predicted label
    test_preds = np.concatenate([np.array([x['predicted_label'] for x in batch]) for batch in prediction_batches])
    
    # calculate true positives, false positives, true negatives, false negatives
    tp = np.logical_and(test_labels, test_preds).sum()
    fp = np.logical_and(1-test_labels, test_preds).sum()
    tn = np.logical_and(1-test_labels, 1-test_preds).sum()
    fn = np.logical_and(test_labels, 1-test_preds).sum()
    
    # calculate binary classification metrics
    recall = tp / (tp + fn)
    precision = tp / (tp + fp)
    accuracy = (tp + tn) / (tp + fp + tn + fn)
    f1 = 2 * precision * recall / (precision + recall)
    
    if verbose:
        print(pd.crosstab(test_labels, test_preds, rownames=['actuals'], colnames=['predictions']))
        print("\n{:<11} {:.3f}".format('Recall:', recall))
        print("{:<11} {:.3f}".format('Precision:', precision))
        print("{:<11} {:.3f}".format('Accuracy:', accuracy))
        print("{:<11} {:.3f}".format('F1:', f1))
        
    return {'TP': tp, 'FP': fp, 'FN': fn, 'TN': tn, 'Precision': precision, 'Recall': recall, 'Accuracy': accuracy, 
             'F1': f1, 'Model': model_name}

def delete_endpoint(predictor):
        try:
            boto3.client('sagemaker').delete_endpoint(EndpointName=predictor.endpoint)
            print('Deleted {}'.format(predictor.endpoint))
        except:
            print('Already deleted: {}'.format(predictor.endpoint))

# Training a binary classifier with default settings: logistic regression
defaults_hyperparams = {
    'feature_dim': 30,
    'predictor_type': 'binary_classifier',
    'epochs': 40
}
defaults_output_path = 's3://linear-learner-mead-example/blog-2018-03-29/defaults/output'
defaults_predictor = predictor_from_hyperparams(s3_train_data, defaults_hyperparams, defaults_output_path)

# Training a binary classifier with automated threshold tuning
autothresh_hyperparams = {
    'feature_dim': 30,
    'predictor_type': 'binary_classifier',
    'binary_classifier_model_selection_criteria': 'precision_at_target_recall', 
    'target_recall': 0.9,
    'epochs': 40
}
autothresh_output_path = 's3://linear-learner-mead-example/blog-2018-03-29/autothresh/output'
autothresh_predictor = predictor_from_hyperparams(s3_train_data, autothresh_hyperparams, autothresh_output_path)

# Training a binary classifier with class weights and automated threshold tuning
class_weights_hyperparams = {
    'feature_dim': 30,
    'predictor_type': 'binary_classifier',
    'binary_classifier_model_selection_criteria': 'precision_at_target_recall', 
    'target_recall': 0.9,
    'positive_example_weight_mult': 'balanced',
    'epochs': 40
}
class_weights_output_path = 's3://linear-learner-mead-example/blog-2018-03-29/class_weights/output'
class_weights_predictor = predictor_from_hyperparams(s3_train_data, class_weights_hyperparams, class_weights_output_path)

# Training a SVM binary classifier with hinge loss and automated threshold tuning
svm_hyperparams = {
    'feature_dim': 30,
    'predictor_type': 'binary_classifier',
    'loss': 'hinge_loss',
    'binary_classifier_model_selection_criteria': 'precision_at_target_recall', 
    'target_recall': 0.9,
    'epochs': 40
}
svm_output_path = 's3://linear-learner-mead-example/blog-2018-03-29/svm/output'
svm_predictor = predictor_from_hyperparams(s3_train_data, svm_hyperparams, svm_output_path)

# Training a binary classifier with hinge loss, balanced class weights, and automated threshold tuning
svm_balanced_hyperparams = {
    'feature_dim': 30,
    'predictor_type': 'binary_classifier',
    'loss': 'hinge_loss',
    'binary_classifier_model_selection_criteria': 'precision_at_target_recall', 
    'target_recall': 0.9,
    'positive_example_weight_mult': 'balanced',
    'epochs': 40
}
svm_balanced_output_path = 's3://linear-learner-mead-example/blog-2018-03-29/svm_balanced/output'
svm_balanced_predictor = predictor_from_hyperparams(s3_train_data, svm_balanced_hyperparams, svm_balanced_output_path)

# Evaluate the trained models
predictors = {'Logistic': defaults_predictor, 'Logistic with auto threshold': autothresh_predictor, 
              'Logistic with class weights': class_weights_predictor, 'Hinge with auto threshold': svm_predictor, 
              'Hinge with class weights': svm_balanced_predictor}
metrics = {key: evaluate(predictor, test_features, test_labels, key, False) for key, predictor in predictors.items()}
pd.set_option('display.float_format', lambda x: '%.3f' % x)
display(pd.DataFrame(list(metrics.values())).loc[:, ['Model', 'Recall', 'Precision', 'Accuracy', 'F1']])

binary_classifier_model_selection_criteria='recall_at_target_precision', 
target_precision=0.9,

num_calibration_samples=10000000,

for predictor in [defaults_predictor, autothresh_predictor, class_weights_predictor, 
                  svm_predictor, svm_balanced_predictor]:
    delete_endpoint(predictor)