ハイブリッドインデックス
密 embeddings + BM25 を学習済み reranker で融合。Corpus が増えても recall は健全。
ソースリンク付き回答
すべての主張は出典スパンを引用。Faithfulness と grounding の evals は夜間実行。
Drift 検知
Embedding 分布と検索ヒット率を監視。回答が劣化する前にアラートが鳴ります。
02 · Reference architecture
What we actually ship.
Every system we build follows this shape. Client at the edge, tools in a sandbox, traces everywhere, evaluators gating output. No black boxes, no "it works on my machine."
EDGE
Client
web · mobile · API
Gateway
auth · rate-limit · PII redact
オーケストレーション
Orchestrator
planner · router · memory
エージェント & ツール
Retrieval
ハイブリッド · rerank · cite
Tool calls
sandboxed · timeboxed
Evaluator
gates · rubrics · LLM-judge
データ & 信頼
Vector + BM25
tenant-isolated
Traces / logs
OTel · replayable
署名された出力
auditable · rollback
04 · Run
Watch an agent do the job.
Three real production scenarios, replayed at observed latency. Every box is a span; every span has tokens, cost, and an eval gate. This is what shows up in your traces, not a marketing animation.
POST/api/v1/agent/run7分のアンビエント診察 → 出典付きで臨床医向けノート。
trace · clinicalspan_id 7c1f…
orchestrator.run
PLANorchestrator.plan
Plan rationale
スクライブ: 医療ASR、患者コンテキスト+テンプレ、SOAP下書き、安全ゲート。
Subtasks
tool.asrretrieval.contextreasonerevaluator
0ms/3.07s
LATENCY0msbudget 3.00s
TOKENS0in + out
COST$0.0000budget $0.025
EVAL GATE—deterministic + LLM-judge
準備完了 · 臨床医レビュー
SOAP下書き。14引用を解決。低信頼の主張2件を臨床医向けに提示。
latency3.12scost$0.022tokens3,104evals9/9
09 · STACK
Modern tools, composed cleanly.
モデル
Claude, GPT-4, Llama 3
検索
pgvector, Qdrant, BM25
Eval
Promptfoo, Braintrust
Observability
OpenTelemetry, Langfuse
ベクトルインデックス
Embeddings · ハイブリッド
ストレージ
Postgres, S3, R2
09 · FAQ
FAQ · RAG パイプライン
固定価格、2 週間にスコープ。ご要望に応じてレートシートを共有します — 目的は、当社と続けるかどうかに関係なく、具体的なもの (アーキテクチャ + spike) と共に帰ることです。
Faithfulness (回答は引用された文書から導かれているか?)、grounding (引用は実在するか?)、recall (正しい文書を見つけたか?)。すべてのリリースで suite を実行。