本文へスキップ
統制とセキュリティ・評価・トレーシング

品質スコアと
回答の生成過程を確認します

評価モデルが回答品質・忠実度・検索品質を採点します。トレースは、検索・モデル呼び出し・ツール実行の過程を所要時間とトークン使用量とともに記録し、OpenTelemetryでエクスポートできます。

モニタリングの使用量分析と活動時間帯
モニタリングの使用量分析と活動時間帯実際の製品画面
評価・トレーシング

品質スコアと
回答の生成過程を確認します

評価モデルが回答品質、忠実性、検索品質を採点します。トレースは検索・モデル呼び出し・ツール実行を時間とトークン単位で記録し、OpenTelemetryでエクスポートできます。

トレース実行 7 · 445ms · 2,599トークン
ツリータイムライントークン

質問:有給休暇は何日前までに申請すればいいですか? · サンプルデータ

リーダーボードブラインド評価を含む
2位1,004Gemini 3 Flash
1位1,083Claude Opus 4.6
3位962gpt-5.6-luna
0%
回答品質91%
忠実性88%
検索品質82%

自動評価の平均スコア · サンプルデータ

7種類トレースのスパンElo方式のリーダーボードモデル名を伏せたアリーナOpenTelemetryエクスポート

会話だけでなく、スケジュールタスク、文書のインデックス作成、コーディングツールの呼び出しまで同じ画面でトレースします。使用量や推定コスト、監査ログも管理者パネルでまとめて確認できます。

実際の製品画面
スパンごとの入力と出力の原文を確認
導入効果

導入前後の比較

導入前

業務に合うモデルを、根拠なく選んでいます。

導入後

リーダーボードと、モデル名を伏せたアリーナでモデルを比較して選びます。

導入前

回答が遅いときや誤っているときに、どこに問題があるのかわかりません。

導入後

トレースが、検索・モデル呼び出し・ツール実行をスパンごとに表示します。

導入前

問題が起きても、気づくのが遅れます。

導入後

アラート条件を設定し、メール・Webhookで通知を受け取ります。

仕組み

4ステップの流れ

01自動評価の設定

エージェントごとに自動評価をオンにし、評価モデルを選びます。

自動評価ダッシュボード
主な機能

評価・トレーシングの詳細機能

自動評価

回答品質・忠実度・検索品質を採点します。

フィードバック

回答ごとにユーザーの評価とコメントを集め、エクスポートします。

リーダーボード

モデルとエージェントのスコアを比較します。

アリーナ

モデル名を伏せた状態で2つの回答を受け取り、より良いほうを選びます。

トレース

処理の過程をツリーとタイムラインで表示し、トークン使用量を確認します。

OpenTelemetryエクスポート

トレースを自社のモニタリングツールに送信します。

アラート

設定した条件に該当すると、メール・Webhookで通知します。

使用量・コスト

モデル・ユーザーごとの使用量と推定コストを確認します。

管理設定

企業ごとの設定項目

  • 評価モデルと評価対象を設定します。
  • アラート条件と通知チャネルを設定します。
  • トレースをOpenTelemetryでエクスポートするかどうかを設定します。
7種類トレースのスパンの種類
モデル名を伏せたアリーナ
OpenTelemetryエクスポート

数値は2026年10月時点の製品にもとづいています。

よくある質問

評価・トレーシングに関するよくある質問

評価にもモデルのコストがかかりますか?

はい。評価モデルが採点するため、呼び出しのコストがかかります。評価の対象とモデルは管理者が設定します。

会話以外の処理もトレースしますか?

はい。予約タスク、文書のインデックス作成、コーディングツールの呼び出しまで、同じ画面でトレースします。

社内のモニタリングツールと連携できますか?

はい。トレースはOpenTelemetryで、監査ログはsyslogで送信します。

自社の文書で
実際にお試しください

導入のご相談では、社内文書の一部を連携して実際の回答品質をご確認いただけます。ご質問をお寄せいただければ、担当者よりご連絡いたします。

機能紹介動画実際の製品画面 · サンプル企業 ACME物流 · 16本