Evaluations で動的な Leaderboards を作成する

Dynamic Leaderboards を使用すると、評価（evaluation）から直接 Leaderboard ビューを構成、カスタマイズ、保存、および更新できます。

Weave Evaluations を使用すると、Experiment の結果を Leaderboard として可視化し、カスタマイズすることができます。

保存された Leaderboard ビューは動的です。

• 新しい評価の run が追加されたとき
• 保存されたフィルターに結果が一致したとき

Leaderboard は手動で再設定することなく、自動的にこれらを反映して更新されます。

これにより、Experiment の進行に合わせて進化する永続的な Leaderboard としてビューを活用できます。

​

Evaluation の結果を Leaderboard で可視化する

プロジェクトに Weave Evaluation のデータが含まれている場合、評価テーブルを使用して、フィルタリングされた結果の サブセット に基づく Weave Leaderboard ビューを素早く作成できます。

Weave Leaderboard を作成するには：

1. wandb.ai にアクセスします。
2. Weave のサイドバーメニューで Evaluations をクリックします。
3. 評価テーブルにフィルターを適用し、比較したい Models 、 Datasets 、または run にデータを絞り込みます。
4. 評価テーブルのツールバー で、 Visualize をクリックします。 Weave は、現在テーブルでフィルタリングされているデータのみを使用して、自動的に Leaderboard パネルを作成します。
5. Leaderboard パネルのヘッダーで Configure をクリックし、 Edit Leaderboard パネルを開きます。 Edit Leaderboard パネルでは、 Models 、 Datasets 、 Scorers 、および メトリクス の表示方法を細かく制御できます。

以下は、フィルタリングされた評価テーブルがどのように Leaderboard として可視化されるか、および作成された Leaderboard をどこで設定するかを示しています。

​

Leaderboard 要素の表示設定とカスタム名

以下は、Models、Datasets、Scorers、Metrics の 4 つの設定タブを備えた Edit Leaderboard パネルを示しています。

Edit Leaderboard パネルでは、以下のことが行えます。

• 表示の有効化/無効化 チェックボックスをオンまたはオフにすることで、Leaderboard に表示する Models 、 Datasets 、 Scorers 、および メトリクス を選択します。

• Models 、 Datasets 、 Scorers の名前変更 表示に適した名前を割り当てます（例：モデルの run を GPT-4 に、 Dataset を JokesV1 に変更するなど）。

  名前を変更したアイテムは以下のようになります：

  • Leaderboard ですぐに更新されます。
  • クリック可能な状態が維持されるため、サイドパネルで元のリファレンスを開くことができます。
  • その Leaderboard ビューが使用されているすべての場所に自動的に伝播します。

これにより、基盤となる オブジェクト を変更することなく、人間が読みやすい意味のある名前を使用して Experiment を簡単に比較できるようになります。

​

Leaderboard メトリクスの振る舞いと色の設定

Edit Leaderboard パネルでは、各メトリクスに対して以下のいずれかを指定できます。

• 値が高いほど良い (Higher values are better)
• 値が低いほど良い (Lower values are better)

この 設定 は Leaderboard の色付けに直接影響します。

• 緑色は より良い 値をハイライトします。
• 赤色は より悪い 値をハイライトします。
• 「高いほど良い」と「低いほど良い」を切り替えると、色は自動的に反転します。

これにより、異なる種類のメトリクス（例：精度 vs レイテンシやエラー率）をまたいでも、視覚的な手がかりが正確に保たれます。

​

Leaderboard ビューの保存と再利用

Edit Leaderboard パネルで、 Save をクリックすることで、カスタマイズした Leaderboard を再利用可能なビューとして保存できます。

保存された Leaderboard ビューには以下の内容が含まれます。

• 選択された Models 、 Datasets 、 Scorers 、および メトリクス
• 変更後の表示名
• メトリクスの方向設定（高いほど良い、または低いほど良い）
• 適用されたフィルター

​

保存されたビューの切り替え

Evaluations ページのタイトルの横にある メニューアイコン (☰) をクリックして、保存されたビューを開きます。以下の操作が可能です。

• デフォルト ビューに戻り、すべてのデータセットを確認する。
• 保存されたビューを再度開き、すべてのカスタマイズを即座に復元する。

保存されたビューを再度開くと、すべての名前変更やメトリクスの設定が保持されています。