パラメータの重要度

モデルの ハイパーパラメーター と出力 メトリクス の間の関係を可視化します

どのハイパーパラメーターがメトリクスの望ましい値を最もよく予測し、高い相関関係にあるかを見つけ出します。

Correlation（相関） は、ハイパーパラメーターと選択したメトリクス（この場合は val_loss）の間の線形相関です。高い相関があるということは、ハイパーパラメーターの値が高いときにメトリクスの値も高くなる（またはその逆）ことを意味します。相関は注目すべき優れた指標ですが、入力間の二次的な相互作用を捉えることはできず、範囲が大きく異なる入力を比較する場合には煩雑になることがあります。

そのため、W&B は importance（重要度） メトリクスも算出します。W&B はハイパーパラメーターを入力、メトリクスをターゲット出力としてランダムフォレストをトレーニングし、そのランダムフォレストの機能重要度の値を報告します。

この手法のアイデアは、Fast.ai でハイパーパラメーター空間を探索するためにランダムフォレストの機能重要度を使用する先駆者である Jeremy Howard 氏との会話から着想を得ました。W&B は、この分析の背景にある動機について詳しく学ぶために、この レッスン （およびこちらの ノート）をチェックすることを強くお勧めします。

ハイパーパラメーターの重要度パネルは、高い相関関係にあるハイパーパラメーター間の複雑な相互作用を解きほぐします。そうすることで、どのハイパーパラメーターがモデルのパフォーマンス予測において最も重要であるかを示し、ハイパーパラメーター探索の微調整を支援します。

​

ハイパーパラメーター重要度パネルの作成

1. W&B の Projects に移動します。
2. Add panels ボタンを選択します。
3. CHARTS ドロップダウンを展開し、ドロップダウンから Parallel coordinates を選択します。

パネルが空で表示される場合は、Runs がグループ化解除されていることを確認してください。

パラメーターマネージャーを使用すると、表示・非表示にするパラメーターを手動で設定できます。

​

ハイパーパラメーター重要度パネルの解釈

このパネルには、トレーニングスクリプト内の wandb.Run.config オブジェクトに渡されたすべてのパラメータが表示されます。次に、選択したモデルメトリクス（この場合は val_loss）に対する、これらの config パラメータの機能重要度と相関が表示されます。

​

重要度 (Importance)

重要度の列は、各ハイパーパラメーターが選択したメトリクスの予測にどの程度役立ったかを示します。膨大な数のハイパーパラメーターのチューニングを開始し、このプロットを使用してさらなる探索に値するものを絞り込むシナリオを想像してください。その後の Sweeps を最も重要なハイパーパラメーターのみに限定することで、より良いモデルをより速く、より安価に見つけることができます。

W&B は、線形モデルではなくツリーベースのモデルを使用して重要度を算出します。これは、ツリーベースのモデルの方がカテゴリデータや正規化されていないデータに対して寛容であるためです。

上の画像では、epochs, learning_rate, batch_size、および weight_decay がかなり重要であったことがわかります。

​

相関 (Correlations)

相関は、個々のハイパーパラメーターとメトリクス値の間の線形関係を捉えます。これは、SGD オプティマイザーなどのハイパーパラメーターの使用と val_loss の間に有意な関係があるかどうかという問いに答えます（この場合、答えは「はい」です）。相関値の範囲は -1 から 1 で、正の値は正の線形相関、負の値は負の線形相関を表し、0 は相関がないことを表します。一般に、いずれかの方向で 0.7 を超える値は強い相関を示します。

このグラフを使用して、メトリクスに対してより高い相関を持つ値をさらに探索したり（この場合、rmsprop や nadam よりも stochastic gradient descent や adam を選択するなど）、より多くのエポックでトレーニングしたりすることができます。

• 相関は関連性の証拠を示すものであり、必ずしも因果関係を示すものではありません。
• 相関は外れ値に敏感であり、特に試行したハイパーパラメーターのサンプルサイズが小さい場合、強い関係を中程度の関係に変えてしまう可能性があります。
• 最後に、相関はハイパーパラメーターとメトリクスの間の線形関係のみを捉えます。強い多項式関係がある場合、それは相関では捉えられません。

重要度と相関の間の乖離は、重要度がハイパーパラメーター間の相互作用を考慮するのに対し、相関は個々のハイパーパラメーターがメトリクス値に与える影響のみを測定するという事実に起因します。第二に、相関は線形関係のみを捉えるのに対し、重要度はより複雑な関係を捉えることができます。

このように、重要度と相関の両方は、ハイパーパラメーターがモデルのパフォーマンスにどのように影響するかを理解するための強力なツールです。