とりあえず Jev を GPQA とかで検証した

TypeSafe AI の Jev は、同社が System One Model と呼ぶモデルで、最近やたら TL で見るので科学系の多肢選択ベンチで検証しました。公式ドキュメント曰く "System One models are built to make fast, structured decisions that software can use directly. No text generation, no parsing." で、"Decisions, not strings" らしいです。state (状況を表す任意の JSON) に対して choice / noul / score の型を持つ question を評価し、選択肢ごとの確率と confidence を返します。

追記: ChemBench と JMLE2026 を条件を変えて計測し直した結果を、記事の末尾に追記しました。

呼び出し方

API は公式 endpoint の POST https://api.typesafe.ai/v1/systemone に state と questions を投げる形です。OpenRouter のようなサービスは経由せず、直接叩いています。公式の Python SDK typesafe-sdk (ドキュメント、GitHub) を使うと次のようになります。

from typesafe_sdk import AsyncTypeSafeClient, Choice

client = AsyncTypeSafeClient()  # TYPESAFE_API_KEY

response = await client.system_one(
    state={
        "question": "In a parallel universe where a magnet can have an "
                    "isolated North or South pole, Maxwell's equations "
                    "look different. But, specifically, which of those "
                    "equations are different?",
        "options": {
            "A": "The one related to the circulation of the magnetic "
                 "field and the flux of the electric field.",
            "B": "The ones related to the divergence and the curl of "
                 "the magnetic field.",
            "C": "The one related to the divergence of the magnetic field.",
            "D": "The ones related to the circulation of the electric "
                 "field and the divergence of the magnetic field.",
        },
    },
    questions={
        "answer": Choice(
            instructions=(
                "`question` is a graduate-level science question and "
                "`options` contains the candidate answers A, B, C and D. "
                "Which option is the correct answer to `question`?"
            ),
            criteria={"A": ..., "B": ..., "C": ..., "D": ...},
        ),
    },
    model="jev-latest",
)

answer = response.answers["answer"]
# answer.choice        -> "D"
# answer.probabilities -> {"D": 0.79, "C": 0.15, "B": 0.06, "A": 0.0}
# answer.confidence    -> 0.72

問題文と選択肢は加工せずそのまま state に入れ、criteria にも同じ選択肢の dict を渡します。応答の probabilities の argmax を回答とし、複数選択問題では確率の上位 N 個を選んで正解集合との完全一致で採点しました (部分点なし)。二値分類には Choice ではなく Noul を使っています。

Jev はテキストのみに対応するため、画像が必須の問題はロード時に除外しました。モデルは jev-latest を指定し、応答の model フィールドは jev-1.13.0 でした。計測日は 2026-09-19 です。

評価したベンチマーク

表 1. 投入したベンチマークと問題数。n は除外後に Jev へ送った数。

結果

図 1. ベンチマークごとの accuracy。バー上の縦線は chance level で、問題ごとの選択肢数 $k$ から $1/k$ (N 個選ぶ複数選択では $1/\binom{k}{N}$) を求めて平均した値。

80% 台に医学系と一般知識系、60% 台に化学・実験プロトコル・配列操作、50% 台後半に分野横断の SuperGPQA が並びます。最下位の IgakuQA と CloningScenarios でも、chance level の 2 倍以上には達しています。

12 ベンチマーク・46,236 問で、合計コストは $1.52 でした。

他モデルとの比較

表 2. GPQA-Diamond と MMLU-Pro の公開スコア。Jev 以外は Vals AI のミラー (GPQA-Diamond、MMLU-Pro) の 2026-09-01 スナップショットの値です。GPT-6 Astra だけはこのミラーに載っていないため Artificial Analysis の値で、MMLU-Pro の公開値は見つかりませんでした。reasoning effort は出典側で指定のあるモデルとないモデルが混在していて全モデル分を揃えられないため、表には書いていません。出典によって桁数が違うので、値は小数第 1 位に丸めました。

まとめ

思ったよりも高かった。

追記

条件を 2 点変えて、ChemBench と JMLE2026 を計測し直しました。

• ChemBench: 本文では、複数選択問題に正解の個数 N を与えて、確率の上位 N 個を選ぶ条件で評価しました。公式の評価ハーネス (lamalab-org/chembench) は個数をモデルに伝えない条件なので、その条件でも計測しました。Choice の確率は合計がほぼ 1 になり、しきい値では複数を選べないため、選択肢ごとに Noul で「この選択肢は正しいか」を聞き、P(yes) ≥ 0.5 のものをすべて選んでいます。
• JMLE2026: 本文の計測では、連問 35 問に共通の症例文を含めず、設問だけを送っていました。公式の評価ハーネス (benchmark.py) と同じく、症例文を設問の前に付けて計測し直しました。公式ハーネスも「正解を n つ選んでください」と個数を伝えるので、複数選択は上位 N 個のままです。

表 3. 条件を変えて計測し直した結果。

ChemBench の個数を与えない条件では、2,541 問中 490 問でどの選択肢も P(yes) ≥ 0.5 にならず、何も選ばないまま不正解になりました。

ほかの 10 ベンチマークも条件を変えずに計測し直したところ、差は ±0〜3.7 ポイントでした (GPQA-Diamond 79.8 → 78.8、MMLU-Pro 84.6 → 84.5)。入力は同じなので、Jev の出力には実行ごとのばらつきがあるようです。図 1 と表 2 は本文の計測値のままです。