retrieval の eval セットを1週間で構築する方法。

RAG システムに eval セットがないなら、プロンプト変更はすべて雰囲気ベースのリリースです。良いニュース: 役に立つ eval セットは1週間で構築できます。完璧なものではなく、役に立つ ものを。完璧さこそが、チームに evals をまったく持たせない罠です。

クライアントが初日 evals 0〜5本、週末までに200本必要、というエンゲージメントで我々が使うレシピを紹介します。

形

必要なものは3つです。

ホールドアウトセットは最も重要で、最も省略されがちな部分です。後で戻ってきます。

「ユーザーは何を尋ねるだろう?」というワークショップはスキップしてください。実ユーザーが一度も尋ねたことのない質問が量産されます。情報源に行きましょう。

生の質問を250本目指します。重複を排除し、表現を正規化し、明らかにスコープ外のものを捨てます。約200本に着地します。

各質問をバケツに入れます。

ミックスが必要です。trivial が90%のスイートは、システムが素晴らしいと告げてくれますが、medium と hard が壊れたままリグレッションをデプロイすることになります。

各質問に必要なもの:

ここが遅い部分です。1問あたり約3分、200問で約10時間と見積もりましょう。2人並行で半週間。ドメイン専門家を使ってください。

価値があります。これが「LLM がもっともらしいことを言った」を「LLM が正しいソースを引用し、正しい答えを出した」に変える部分です。

現在の システム（なければスタブ）を、表に出している170問に対して走らせます。記録するもの:

Retrieval@k: top-k で検索されたチャンクに、期待される裏付けパッセージが含まれていたか?
回答の正確性: LLM judge が期待回答に対して評価、ホールドアウトの参照と照合。judge が単なるラバースタンプにならないよう、人手評価約30件でキャリブレーションすること。
引用の精度: 返された引用のうち、実際に主張を裏付けているのは何割か?

これでベースラインが手に入りました。今後のプロンプトや retrieval の変更は、ここからの差分として現れます。

ホールドアウトの30問が存在する理由はただ1つ。自分を捕まえるためです。

eval セットを構築するチームはみな、いずれ eval セット に対して システムをチューニングし始めます。新しいプロンプト改訂、evals 実行、スコア上昇、出荷。3か月後、スイート内スコアは95%、ユーザー満足度は不変。オーバーフィットしていたわけです。

ホールドアウトの30問は、四半期ごと のヘルスチェックでのみ走らせます。スイートの残りが改善している間にホールドアウトがリグレッションするなら、それはオーバーフィットの煙感知器です。チェックに対するチェックです。

見ないでください。追加しないでください。等価物で置き換えないでください。金庫に入れて鍵をかけてください。

v1 を1週間で構築。質問は月次でイテレート。ホールドアウトセットは年1回入れ替え。

完璧な eval セットを構築する時間は永遠にありません。役に立つ eval セットを構築する時間は確実にあります。