Weave Trace ビューの操作

LLM や エージェント アプリケーションにおける複雑な実行パスを理解するために、 Weave の Trace ビューを活用しましょう。

Weave Trace ビューは、LLM やエージェント形式のアプリケーションにおける複雑な実行パスを理解しやすくするために設計されています。数十のネストされたコールを持つエージェントアプリをデバッグする場合でも、単一のモデル prediction のフローを追跡する場合でも、Trace ビューは何が起きたかを明確に可視化します。また、アプリケーションのフローを表示し理解するための代替手段も提供します。

このガイドでは、トレーススタックの移動、コードによって呼び出された関数のフィルタリングと検索、表示形式の切り替え方法などについて説明します。

​

はじめる

Trace ビューに入るには：

1. https://wandb.ai にアクセスし、プロジェクトを選択します。
2. サイドバーメニューで Traces を選択し、プロジェクトに保存されているすべてのトレースを表示します。
3. トレースを選択して Trace Details ビューを開きます。Trace Details ビューには、トレース実行の階層的な内訳を示す追加のパネルが表示されます。

​

Traces ページの概要

Traces ページは、主に 3 つのパネルで構成されています：

• 左パネル: プロジェクトのすべてのトレース run をソートおよびページネーション可能なリストで表示します。
  • このトレーステーブルには、トークン、コスト、レイテンシなどの追加データが含まれます。
• 中央パネル: 選択したトレースのインタラクティブなトレースビューです。トレースツリーは、トレース内で追跡されたすべてのメソッドの階層を表示します。
  • トレースツリーには、トレース中に呼び出された @weave.op() デコレータ付きの関数である ops が表示されます。
• 右パネル: 選択したトレース内で選択された op の詳細を表示します。

​

トレース内のフィルタリング

• 名前（正規表現）によるフィルタリング: トレースツリーの上部にあるテキストフィールドを使用して、tool や openai.response.create などの名前やタイプで ops をフィルタリングします。
• メトリクス: 利用可能な場合に、コスト、トークン、レイテンシなどのデータメトリクスを表示するかどうかを制御します。

​

トレースのナビゲート

トレースツリーは、トレース内で追跡されたすべてのメソッドの階層を示します。ツリーを上下に移動するには、Cmd (macOS) または Alt (Windows/Linux) + 上矢印 (↑) / 下矢印 (↓) を使用します。

トレースツリーの下には、ツリー内の状態を素早くナビゲートするための複数のスクラバー（スライダー）があります。これらを使用して、トレース内を戦略的に移動できます。

パネルを展開して、利用可能なすべてのスクラバーを表示します：

• Timeline: トレース内のイベントの時系列順。
• Peers: 同じタイプを共有する ops。例えば、predict という名前の関数の詳細を調べている場合、このスクラバーを使用してトレース内の次の predict 実行に即座にジャンプできます。
• Siblings: 同じ親を持つ ops。親関数コールの下にネストされた ops を反復処理するために使用します。
• Stack: コールスタックを上下に トラバース します。
• Path: (コードコンポジションビューでのみ利用可能) 選択したコールと同じコードパスを持つすべてのコールを反復処理します。

​

代替のトレースツリービュー

パネルの上部で、ニーズに応じてトレースツリーの複数の視覚的表現を切り替えることができます。デバッグの目的に合わせてビューを選択してください。コールロジックを理解するには code composition view、時間の経過に伴うパフォーマンスを理解するには flame graph view、構造を理解するには graph view を使用します。

​

Traces (デフォルト)

トレースツリーのデフォルトビューでは、スタック階層、op ごとのコスト（利用可能な場合）、実行時間、およびステータスインジケーターが表示されます。

​

Code composition view

code composition view では、ボックスが ops とそのネストされたコールを表します。これは関数コールのフローを 可視化 するのに役立ちます。このビューでは、ボックスを選択してその op を掘り下げたり、コールパスをフィルタリングしたりできます。

​

Flame graph

flame graph ビューは、実行の深さと期間をタイムラインベースで 可視化 します。これは、時間の経過に伴うパフォーマンス診断を理解しようとする際に役立ちます。フレームを選択してサブトレースを分離できます。

​

Graph view

graph view は、ops 間の階層関係を示します。これは、親子関係を理解するのに便利です。

​

トレース op の詳細を表示する

トレースツリーで op を選択すると、その op の詳細が次のパネルに表示されます。これらの詳細は以下のタブにグループ化されています：

• Call: op 実行への入力と出力。
• Code: コールが行われたときに使用された コード。
• Feedback: その op に対して利用可能なすべての feedback。Weave 内で直接、または API を通じてフィードバックを提供できます。
• Scores: その op に対して利用可能なすべての scores。コールは Evaluations を実行することでスコア付けされます。
• Summary: op に関する一般的な情報。
• Use: プログラムでコールを取得したり、リアクション、ノート、フィードバックを追加したりするために使用できる コードスニペット。