Jev:文章を書かず、判断だけをする AI
TypeSafe AI が Jev を発表。テキストを生成せず、型付きの判断と確率だけを返すモデルです。その仕組みと、オープンソースの代替を紹介します。
2022 年以降の「新しい AI」は、ほぼすべてが LLM の変種です。つまり、テキストを 1 トークンずつ生成します。文章を書くには強力ですが、ソフトウェアが必要としているのが一つの判断だけのときは、無駄が多く遅いのです。このメッセージは返金依頼か、このチケットはどの部署の担当か、このバグはどれくらい深刻か。
2026 年 9 月 15 日、TypeSafe AI(創業者は Diogo Almeida。OpenAI で RLHF/ChatGPT/GPT-4 に携わった元エンジニア)が Jev を発表しました。彼らが「System One Model」と呼ぶクラスの最初のモデルで、DCVC がリードした 4,000 万ドルのシードラウンドも同時に発表されました。Jev は文章を書きません。答えの集合があらかじめ決まっている質問にだけ、確率付きで答えます。
仕組み
一番イメージしやすいのは、Jev は 賢い if だということです。答えになりうる空間(ラベルの集合、スケール、または yes/no)を先にすべて定義し、Jev はその中からだけ選びます。つまり、間違ったデータ型で答えることは決してありません。
普通の LLM: 入力テキスト → 自由なテキストを生成 → コードでパースし直す
Jev: state + 型付きの質問 → 正しい型の値 + 確率
自己回帰ではなく、並列サンプリング
これが最も重要なアーキテクチャ上の違いです。普通の LLM は 1 トークンずつ 生成し、次のトークンは前のトークンに依存します。N トークンの答えには、N 回の逐次的な推論が必要です。Jev は 並列サンプラー を使い、答え全体を 1 回のパス で生成します。一つの state を共有する 13 個の質問を送れば、Jev は 13 個すべてに並列で答え、ある答えが別の答えのコンテキストになることはありません。TypeSafe の計測では、13 回の逐次呼び出しに比べて 10 倍速く、12.2 倍安い そうです。
RLHF ではなく RLCD
普通の LLM は RLHF で学習され、人にとってもっともらしく聞こえる 答えに最適化されます。Jev は RLCD(Reinforcement Learning for Calibrated Decisions) で学習され、統計的に正しい 確率に最適化されます。Jev が「90% の確信で正しい」と言うなら、90% と付いた大量の予測のうち、約 90% が実際に正しくなければなりません。
これが製品全体の核となる考え方です。それ以外のすべて(3 種類の質問、確信度によるルーティング、限界)は、「答えが良く聞こえること」ではなく「確率の数字が信頼できること」から導かれます。
3 種類の質問
| 種類 | 返すもの | 例 |
|---|---|---|
| Noul(yes/no) | 0〜1 の確率 1 つ | {"type":"noul","instructions":"お客様は返金を求めていますか?"} → {"noul": 0.93} |
| Choice(N 個から 1 つ) | ラベル + 確率分布 + 確信度 | {"type":"choice","criteria":{"billing":"支払い","technical":"技術的な問題"}} → {"choice":"billing","confidence":0.84} |
| Score(順序付きスケール) | スケール上の位置(加重平均) | {"type":"score","criteria":["Cosmetic","Broken with workaround","Blocking"]} → {"score":1.43,"confidence":0.35} |
const { answers } = await client.systemOne({
state: userMessage,
questions: {
category: choice('このメッセージを分類してください', {
bug: 'バグ報告',
billing: '支払いの問題'
})
}
})
if (answers.category.confidence < 0.5) {
routeToHuman(userMessage)
} else if (answers.category.choice === 'bug') {
handleBugReport()
}
よく使うパターン:複数の Score をコードの中で組み合わせて総合的な優先度にします。AI の呼び出しは増えません:
const priority =
0.6 * normalized(answers, 'severity') +
0.3 * normalized(answers, 'frustration')
性能、コスト、ユースケース
- レイテンシ: エンドツーエンドで 70〜500ms、平均約 100ms
- 価格: 入力 100 万トークンあたり $0.042。出力は無料
- レート制限: 毎秒 250,000 トークン、毎分 1,200 リクエスト
- 同等の LLM との比較: 分類タスクで 40〜200 倍速く、5〜240 倍安い
注目すべき実際のユースケース:チケットのルーティング/トリアージ、コンテンツモデレーション、大規模なデータラベリング(研究論文 1,018 本のラベル付けが $0.08)、検証(Jev を「審判」にして別の LLM の出力をチェック)、検索のリランキング、不正スコアリング、そしてコーディングエージェントを作っている人に一番面白いのが ガードレール です。エージェントがシェルコマンドを実行する前に、それが read-only / reversible / destructive のどれかを分類します。
Jev が意図的に弱いところ
自由なテキスト生成を手放して速度とキャリブレーションを得たため、Jev は次のことが苦手です:数学や出現回数の数え上げ、形式が混在した日付、二重否定、ノイズの多い長いコンテキスト、操作的(敵対的)なコンテンツ。公式の推奨:「X を抽出したい」ときは、「X の候補はこれら。どれが正しい?」と聞き直すこと。常に有限の集合から選ぶ問題に戻します。
わずか数日でオープンソースの代替が続々登場
一番面白いのは Jev そのものではなく、オープンソースコミュニティの反応の速さです。発表から 2 週間も経たないうちに、同じこと(「1 回のフォワードパスで型付き・キャリブレーション済みの判断」)をするウェイト公開プロジェクトが十数個現れ、有料 API にする必要もありませんでした。
| プロジェクト | サイズ | ホストに必要な構成 | 特徴 |
|---|---|---|---|
| Laya | 322M〜421M | CPU のみでも快適に動作。GPU なら CUDA/Apple MPS/Intel XPU のどれでも可。軽量で大きな VRAM は不要。pip install laya でインストール | ModernBERT-large + mmBERT、100 以上の言語 |
| Kev | 0.8B〜27B | 0.8B:約 4GB VRAM(L4 GPU か任意の Mac)。4B/9B:約 17GB(L40S、H100、または 32GB の Mac)。27B:ウェイト 55〜66GB、80GB の GPU(H100/H200/B200)が必要 | Qwen + LoRA + pointer head。/v1/systemone を直接実装し、TypeSafe SDK と互換 |
| Nimble | 9B | BF16 で約 18GB VRAM。BF16 対応の CUDA GPU か、Apple Silicon の Mac(MLX)が必要。アダプターのマージは CPU で動くので RAM は多いほど良い(64GB 以上推奨) | Qwen3.5-9B + rank-16 LoRA。生成せずに候補トークンのロジットを読む |
| NanoJev | 0.6B | CUDA 環境が必要(README では CPU のみでの動作は未確認)。ただし 0.6B なので一般的な GPU で十分 | Qwen3-0.6B + decision heads。自分で再学習できる学習パイプライン付き |
| SemIf | ベースモデル次第 | 固定ではない。Qwen3.5-4B のベースラインなら約 8GB VRAM(BF16)。または GGUF チェックポイント(Q8_0/Q4_K_M)で llama.cpp により CPU のみで動作 | 既存のオープンウェイト LLM からロジットを直接読む。ファインチューニング不要 |
| Von | 約 395M | リストで最も軽量。CPU(OpenVINO 経由)でも実用的(p50 約 0.36 秒/リクエスト)。A10G のような安い GPU なら約 23ms。CUDA、ROCm、Apple MPS にも対応 | ModernBERT + OptionMarker。--device auto でデバイスを自動選択 |
| Rizzo Flow | 1.7B〜4B | 4B の Q8_0(デフォルト):約 5.6GB VRAM。Q4_K_M:約 3.9GB。llama.cpp で動くので GPU ツールキットの別途インストールは不要。Metal/CUDA/Vulkan/ROCm/CPU を自動選択 | Spark-X2.5、ローカルファースト、質問間で state をキャッシュ |
中でも注目は open-alternative-jev(Apache-2.0)です。Python ライブラリ so1 で、仕組みは Jev とほぼ同じですが、任意のオープンウェイトモデル(Qwen2.5/3.5/3.6、HF Transformers か vLLM 経由)で動きます:
- 各質問を 1 つのチャットターンとしてレンダリング
- 複数の質問を 1 つのトークン列にまとめ、質問の間にプレースホルダーの答えを挟む
- 1 回だけのフォワードパス を実行し、答えの位置のロジットだけを読む
- ラベル(A、B、C…)のロジットを softmax で正規化。確率は常に自分で定義した集合の中に収まる
- 確率を補正するための温度スケーリング(任意)
so1 のホストに必要な構成: 選んだベースモデルに完全に依存します。ライブラリはロジットを読むだけで、目立ったオーバーヘッドはありません。下のベンチマークでは Qwen3.6-27B を load_in_8bit=True(bitsandbytes 経由)で使っており、約 27GB の VRAM が必要で、32GB の GPU 1 枚に収まります。もっと軽くしたいなら Qwen2.5-1.5B や 3B に替えれば、CPU(遅め)や一般的な 8〜12GB の GPU でも動きます。
from so1 import Decider, Choice, yes_no
decider = Decider.from_pretrained("Qwen/Qwen3.6-27B", backend="hf", load_in_8bit=True)
decisions = decider.decide(
state="Support ticket describing an issue...",
questions=[
Choice("Category", ["bug", "feature", "billing", "question"]),
Choice("Urgency", ["low", "medium", "high"]),
yes_no("Escalate?"),
],
)
作者が typed-decisions セット(400 ケース、2,000 判断)で公開したベンチマークはさらに興味深いものです。このライブラリ経由の Qwen3.6-27B は 正解率 73.7%、KL-to-gold 0.27、ECE 0.020、582ms/ケース。対して Jev 1.13.0 は 正解率 72.7%、KL 1.44、ECE 0.144、710ms/ケース でした。つまり、ゼロショットで特別なファインチューニングもしていないオープンソース版が、正解率と確率のキャリブレーション(ECE が低いほど確率の見積もりが信頼できる)の両方でわずかに上回り、しかも速かったのです。
私の見解
覚えておくべき核心の概念:Jev は「小さく速い LLM」ではありません。学習の目的がまったく違う、別のクラスのモデルです。LLM は もっともらしく聞こえる ように最適化され、Jev は 統計的に正しい確率 に最適化されます。その代償として、自由なテキスト生成を完全に手放しています。
しかし核となる仕組み(1 回のフォワードパス、答えの位置でのロジットの読み取り、固定ラベル集合での softmax)には何の秘密もなく、ゼロから学習した専用モデルも要りません。既存のオープンウェイト LLM から 正しいロジットを読む だけです。だから複製の技術的なハードルはほぼゼロです。「TypeSafe が独自製品を発表」から「コミュニティが正解率でもキャリブレーションでも上回るオープンソース版を持つ」まで、2 週間もかからなかったのはそのためです。
実際のプロジェクトでは:もしシステムが GPT-4/Claude を、答えの集合が決まっているタスク(スパムかどうか、チケットがどの部署か、バグの深刻度)のためだけに使っているなら、分類器の仕事のために文章生成マシンにお金を払っていることになります。今は有料 API(Jev)と、無料でセルフホストできるライブラリ(open-alternative-jev など)の両方があり、その部分を独立した、ずっと安く速い層に切り出せます。「重い」LLM 層の前で動かし、本当にコンテンツを生成する必要があるときだけ LLM を呼べばいいのです。
関連記事
オフィスワークでの AI の使い方:コード不要、今日からできる 7 つのこと
ChatGPT、Gemini、Claude、Copilot をオフィスで使う方法。メール、資料の要約、Excel の数式、議事録。コピーできるプロンプト付き。
2026-05-07RAG とは:LLM だけでは足りないとき
RAG とは何か、なぜ必要か、そして実際に作るときの問題:チャンク戦略、埋め込みのドリフト、モデル交換、レイテンシ。チュートリアルではなく経験談です。