Strata ベンチ 結果Strata bench resultsStrata 基准测试 结果

部門Division部门: プレーン(ハーネスなし)Plain (no harness)纯模型(无 harness) — モデルとエンジンそのものの性能。エージェント用のハーネスは通さず、strata launch で立てたエンジンの OpenAI 互換 API(/v1/chat/completions)をランナーが直接呼ぶ。tool call は使わない。The models and the engine themselves. No agent harness: the runner calls the OpenAI-compatible API (/v1/chat/completions) of the engine started by strata launch directly. No tool calls.模型与引擎本身的性能。不经过智能体 harness:由 runner 直接调用 strata launch 启动的引擎的 OpenAI 兼容 API(/v1/chat/completions)。不使用 tool call。 部門の一覧(エージェント部門は予定)All divisions (the agentic ones are planned)部门一览(智能体部门在计划中)

Strata で18モデルを同じ条件で測った結果。ハードウェア構成(GPU と RAM の組み合わせ)ごとに「環境」として分け、下のボタンで切り替える。2つ以上の環境に結果があると「環境の比較」が出る。ケースごとの条件と生データはケース一覧、全ケースの数値は summary.csv。18 models measured with Strata under the same conditions, kept apart per hardware set-up (a GPU and an amount of RAM: an “environment”); switch with the buttons below. With results in two or more environments, “Across environments” compares them. Each case's conditions and raw data: the case lists; every case's numbers: summary.csv. 用 Strata 以相同条件测量 18 个模型的结果,按硬件配置(GPU 与 RAM 的组合,即“环境”)分开,用下方按钮切换。两个以上环境有结果时会显示“环境比较”。各用例的条件与原始数据见用例一览,全部用例的数值见 summary.csv。

Strata のデスクトップアプリは使っていない。CLI の strata launch --no-tui でエンジンを専用ポート(18600)に起動し、OpenAI 互換の HTTP API(POST /v1/chat/completions、ストリーミング)を scripts/bench_runner.py から直接呼んで測る。Tier 2 だけは Strata 同梱のベンチ strata bench run --suite standard-v1 を同じエンジンに向けて実行する。The Strata desktop app is not used. The CLI (strata launch --no-tui) starts the engine on a dedicated port (18600), and scripts/bench_runner.py calls its OpenAI-compatible HTTP API (POST /v1/chat/completions, streaming) directly. Only Tier 2 runs Strata's bundled benchmark, strata bench run --suite standard-v1, against the same engine.未使用 Strata 桌面应用。用 CLI strata launch --no-tui 在专用端口(18600)启动引擎,由 scripts/bench_runner.py 直接调用其 OpenAI 兼容的 HTTP API(POST /v1/chat/completions,流式)进行测量。只有 Tier 2 是对同一引擎运行 Strata 自带的基准测试 strata bench run --suite standard-v1。

生成: 2026-11-05 14:21 JST(scripts/build_results.py)Generated 2026-11-05 14:21 JST (scripts/build_results.py)生成于 2026-11-05 14:21 JST(scripts/build_results.py)

環境Environment环境

実行環境Test system运行环境

GPU
NVIDIA GeForce RTX 5090 (32 GB, PCIe 5.0 x16) · driver 580.178.04 / CUDA 13.0 · 電力上限 500 W(既定 575 W)power limit 500 W (default 575 W)功耗上限 500 W(默认 575 W)
CPU
Intel Core i7-14700 · 20 コア / 28 スレッド、最大 5.4 GHz20 cores / 28 threads, up to 5.4 GHz20 核 / 28 线程,最高 5.4 GHz · governor powersave
メモリMemory内存
128 GB(DDR5-5600 64 GB × 2128 GB (DDR5-5600 64 GB × 2128 GB(DDR5-5600 64 GB × 2、2 チャネル, 2 channels,2 通道。OS から見えるのは 123.2 GiB); 123.2 GiB visible to the OS);操作系统可见 123.2 GiB)
マザーボードMotherboard主板
MSI Z790 GAMING PLUS WIFI (MS-7E06)
モデルの置き場所Model storage模型存放
Fanxiang S880E 2TB (NVMe)
OS
Ubuntu 26.10 (Linux 7.3.0-10-generic)
Strata
strata 0.2.10 (build 0.1.56)

環境environment环境 rtx5090-128g · RUN_ID 2026-11-04-q8-t3 の記録(machine.json)as recorded for RUN_ID 2026-11-04-q8-t3 (machine.json)RUN_ID 2026-11-04-q8-t3 的记录(machine.json)

モデル別の速度(Tier 1)Speed by model (Tier 1)各模型速度(Tier 1)

全モデル同じ条件: コンテキスト 128K、thinking off、drafter は MTP に固定(DFlash2 は下の drafter のグラフだけ)、各ケース3回(seed 1/2/3)。値は3回の中央値、細い線は3回の範囲。The same conditions for every model: context 128K, thinking off, the drafter pinned to MTP (DFlash2 only in the drafter chart below), each case 3 times (seed 1/2/3). Values are the median of the 3; thin lines show their range.所有模型条件相同:上下文 128K,thinking off,drafter 固定为 MTP(DFlash2 只在下方的 drafter 图表中),每个用例 3 次(seed 1/2/3)。数值为 3 次的中位数,细线为 3 次的范围。

入力の長さと待ち時間(Tier 1)Input length and waiting (Tier 1)输入长度与等待时间(Tier 1)

入力が長いほど、最初の文字が出るまで(TTFT)が伸び、その後の decode も遅くなりうる。全モデルを、コンテキスト 128K で起動して、Tier 1 の固定プロンプト(4K・32K・128K)で測った。128K より長い入力は後の「長文の読解」。The longer the input, the longer until the first character (TTFT), and the decode after it may slow down too. Every model, launched with a 128K context, on the Tier 1 prompts (4K, 32K, 128K). Inputs beyond 128K: “Long documents” below.输入越长,到出现第一个字(TTFT)的时间越长,之后的 decode 也可能变慢。全部模型以 128K 上下文启动,用 Tier 1 的固定提示(4K・32K・128K)测量。超过 128K 的输入见下方“长文阅读”。

公式 standard-v1(Tier 2)The official standard-v1 (Tier 2)官方 standard-v1(Tier 2)

Strata 同梱のベンチ(thinking xhigh、temperature 1.0)をスイートごと3回。実用に近い条件での速さと sanity の正答。The benchmark bundled with Strata (thinking xhigh, temperature 1.0), the whole suite 3 times: speed under realistic conditions, and the sanity answers.Strata 自带的基准测试(thinking xhigh,temperature 1.0),整个套件 3 次。接近实际使用条件下的速度与 sanity 正确率。

thinking の有無(Tier 3)With and without thinking (Tier 3)有无 thinking(Tier 3)

同じ問題を effort none / high で解かせ、回答が終わるまでの時間と正答を比べる(全モデル)。The same tasks at effort none / high, comparing the time until the answer ends and whether it is correct (every model).用 effort none / high 解答相同的题目,比较到回答结束的时间和正确率(全部模型)。

コンテキスト長の確保コスト(Tier 4a)The cost of reserving context (Tier 4a)预留上下文长度的代价(Tier 4a)

同じ 4K の入力で、起動時に確保するコンテキストだけを 128K / 256K / 1M に変える。The same 4K input; only the context reserved at launch changes: 128K / 256K / 1M.相同的 4K 输入,只把启动时预留的上下文改为 128K / 256K / 1M。

長文の読解(Tier 4b・4c)Long documents (Tiers 4b, 4c)长文阅读(Tier 4b・4c)

青空文庫と Project Gutenberg の日英10作品を交互に並べた長文(32K〜1M token)を読ませ、文書の 10 / 50 / 90% に置いた架空の事実を問う。代表モデルだけ(1M はさらに一部)。コンテキストは入力が入る大きさで起動(256K までの文書は 256K、512K と 1M はその長さ)。待ち時間と速さは、文書を最初に読む問い(10% の位置)の値。同じ文書への2問目以降は、文書の部分を prefix cache から読む。A long document (32K–1M tokens) of ten Japanese and English works from Aozora Bunko and Project Gutenberg, in turns, with made-up facts placed at 10 / 50 / 90% of it to ask about. Representative models only (fewer at 1M). Launched with a context the input fits in (256K for documents up to 256K, 512K and 1M for those). Waiting and speed are from the question that reads the document first (the 10% one); later questions on the same document read it from the prefix cache.让模型阅读由青空文库与 Project Gutenberg 的日英 10 部作品交替排列而成的长文(32K〜1M token),并询问放在文档 10 / 50 / 90% 处的虚构事实。仅代表模型(1M 更少)。以能容纳输入的上下文启动(256K 以内的文档为 256K,512K 与 1M 为相应长度)。等待时间与速度取首次读取文档的问题(10% 处)的值;同一文档的后续问题从 prefix cache 读取文档部分。

YaRN の影響(Tier 4d)The effect of YaRN (Tier 4d)YaRN 的影响(Tier 4d)

学習時の長さ(256K)を超える容量では Strata が YaRN を使う(factor = 容量 ÷ 256K)。同じ文書・同じ問いで、設定だけを変えて比べる: 約 300K の文書を容量 384K で YaRN あり(×1.5)となし、約 200K の文書を容量 256K(YaRN なし)と 1M(×4、普段から 1M にしておくと損をするか)。Above the trained length (256K) Strata uses YaRN (factor = context ÷ 256K). The same document and questions, only the setting changes: a ~300K document at 384K with YaRN (×1.5) and without, and a ~200K document at 256K (no YaRN) and at 1M (×4: does always reserving 1M cost anything?).超过训练长度(256K)的容量下 Strata 使用 YaRN(factor = 容量 ÷ 256K)。相同的文档和问题,只改设置:约 300K 的文档在 384K 下有 YaRN(×1.5)与无 YaRN,约 200K 的文档在 256K(无 YaRN)与 1M(×4,平时一直设为 1M 是否吃亏)下比较。

起動オプション(Tier 5)Launch options (Tier 5)启动选项(Tier 5)

代表3モデルで起動オプションを1つずつ変え、既定(baseline)からの変化を見る。One launch option changed at a time on 3 representative models, against the default (baseline).在 3 个代表模型上每次只改一个启动选项,观察相对默认(baseline)的变化。

計測時の環境Conditions during the measurements测量时的环境

各モデルの Tier 1 を測っていた間の温度・電力・メモリ。CPU が熱で抑えられていたモデルは、その分だけ遅く出ている可能性がある。Temperature, power and memory while each model's Tier 1 ran. A model measured while the CPU was held back by heat may show as slower by that much.测量各模型 Tier 1 期间的温度、功耗和内存。测量时 CPU 因过热降频的模型,结果可能相应偏慢。

モデル別の一覧All models各模型一览

上のグラフの数値をまとめた表。列の見出しで並べ替え。decode は上の絞り込み(temperature・文章)に従う。The numbers from the charts above in one table. Sort by clicking a heading. decode follows the filters above (temperature, text).汇总上方图表数值的表格。点击列标题排序。decode 随上方筛选(temperature、文章)变化。