Strata ベンチ 結果Strata bench resultsStrata 基准测试 结果
部門Division部门: プレーン(ハーネスなし)Plain (no harness)纯模型(无 harness) — モデルとエンジンそのものの性能。エージェント用のハーネスは通さず、strata launch で立てたエンジンの OpenAI 互換 API(/v1/chat/completions)をランナーが直接呼ぶ。tool call は使わない。The models and the engine themselves. No agent harness: the runner calls the OpenAI-compatible API (/v1/chat/completions) of the engine started by strata launch directly. No tool calls.模型与引擎本身的性能。不经过智能体 harness:由 runner 直接调用 strata launch 启动的引擎的 OpenAI 兼容 API(/v1/chat/completions)。不使用 tool call。 部門の一覧(エージェント部門は予定)All divisions (the agentic ones are planned)部门一览(智能体部门在计划中)
Strata で18モデルを同じ条件で測った結果。ハードウェア構成(GPU と RAM の組み合わせ)ごとに「環境」として分け、下のボタンで切り替える。2つ以上の環境に結果があると「環境の比較」が出る。ケースごとの条件と生データはケース一覧、全ケースの数値は summary.csv。18 models measured with Strata under the same conditions, kept apart per hardware set-up (a GPU and an amount of RAM: an “environment”); switch with the buttons below. With results in two or more environments, “Across environments” compares them. Each case's conditions and raw data: the case lists; every case's numbers: summary.csv. 用 Strata 以相同条件测量 18 个模型的结果,按硬件配置(GPU 与 RAM 的组合,即“环境”)分开,用下方按钮切换。两个以上环境有结果时会显示“环境比较”。各用例的条件与原始数据见用例一览,全部用例的数值见 summary.csv。
Strata のデスクトップアプリは使っていない。CLI の strata launch --no-tui でエンジンを専用ポート(18600)に起動し、OpenAI 互換の HTTP API(POST /v1/chat/completions、ストリーミング)を scripts/bench_runner.py から直接呼んで測る。Tier 2 だけは Strata 同梱のベンチ strata bench run --suite standard-v1 を同じエンジンに向けて実行する。The Strata desktop app is not used. The CLI (strata launch --no-tui) starts the engine on a dedicated port (18600), and scripts/bench_runner.py calls its OpenAI-compatible HTTP API (POST /v1/chat/completions, streaming) directly. Only Tier 2 runs Strata's bundled benchmark, strata bench run --suite standard-v1, against the same engine.未使用 Strata 桌面应用。用 CLI strata launch --no-tui 在专用端口(18600)启动引擎,由 scripts/bench_runner.py 直接调用其 OpenAI 兼容的 HTTP API(POST /v1/chat/completions,流式)进行测量。只有 Tier 2 是对同一引擎运行 Strata 自带的基准测试 strata bench run --suite standard-v1。
生成: 2026-11-05 14:21 JST(scripts/build_results.py)Generated 2026-11-05 14:21 JST (scripts/build_results.py)生成于 2026-11-05 14:21 JST(scripts/build_results.py)
実行環境Test system运行环境
- GPU
- NVIDIA GeForce RTX 5090 (32 GB, PCIe 5.0 x16) · driver 580.178.04 / CUDA 13.0 · 電力上限 500 W(既定 575 W)power limit 500 W (default 575 W)功耗上限 500 W(默认 575 W)
- CPU
- Intel Core i7-14700 · 20 コア / 28 スレッド、最大 5.4 GHz20 cores / 28 threads, up to 5.4 GHz20 核 / 28 线程,最高 5.4 GHz · governor powersave
- メモリMemory内存
- 128 GB(DDR5-5600 64 GB × 2128 GB (DDR5-5600 64 GB × 2128 GB(DDR5-5600 64 GB × 2、2 チャネル, 2 channels,2 通道。OS から見えるのは 123.2 GiB); 123.2 GiB visible to the OS);操作系统可见 123.2 GiB)
- マザーボードMotherboard主板
- MSI Z790 GAMING PLUS WIFI (MS-7E06)
- モデルの置き場所Model storage模型存放
- Fanxiang S880E 2TB (NVMe)
- OS
- Ubuntu 26.10 (Linux 7.3.0-10-generic)
- Strata
- strata 0.2.10 (build 0.1.56)
環境environment环境 rtx5090-128g · RUN_ID 2026-11-04-q8-t3 の記録(machine.json)as recorded for RUN_ID 2026-11-04-q8-t3 (machine.json)RUN_ID 2026-11-04-q8-t3 的记录(machine.json)
環境の比較(Tier 1)Across environments (Tier 1)环境比较(Tier 1)
同じモデル・同じ条件(コンテキスト 128K、thinking off、drafter は MTP)のケースを、結果のある環境どうしで並べる。色は環境ごとに決まっていて、切り替えても変わらない。上の絞り込み(モデル・temperature・文章)に従う。The same models under the same conditions (context 128K, thinking off, MTP drafter), side by side for every environment with results. Each environment keeps its color. Follows the filters above (models, temperature, text).把相同模型、相同条件(上下文 128K,thinking off,drafter 为 MTP)的用例,在有结果的各环境之间并排比较。每个环境的颜色固定不变。随上方筛选(模型、temperature、文章)变化。
モデル別の速度(Tier 1)Speed by model (Tier 1)各模型速度(Tier 1)
全モデル同じ条件: コンテキスト 128K、thinking off、drafter は MTP に固定(DFlash2 は下の drafter のグラフだけ)、各ケース3回(seed 1/2/3)。値は3回の中央値、細い線は3回の範囲。The same conditions for every model: context 128K, thinking off, the drafter pinned to MTP (DFlash2 only in the drafter chart below), each case 3 times (seed 1/2/3). Values are the median of the 3; thin lines show their range.所有模型条件相同:上下文 128K,thinking off,drafter 固定为 MTP(DFlash2 只在下方的 drafter 图表中),每个用例 3 次(seed 1/2/3)。数值为 3 次的中位数,细线为 3 次的范围。
入力の長さと待ち時間(Tier 1)Input length and waiting (Tier 1)输入长度与等待时间(Tier 1)
入力が長いほど、最初の文字が出るまで(TTFT)が伸び、その後の decode も遅くなりうる。全モデルを、コンテキスト 128K で起動して、Tier 1 の固定プロンプト(4K・32K・128K)で測った。128K より長い入力は後の「長文の読解」。The longer the input, the longer until the first character (TTFT), and the decode after it may slow down too. Every model, launched with a 128K context, on the Tier 1 prompts (4K, 32K, 128K). Inputs beyond 128K: “Long documents” below.输入越长,到出现第一个字(TTFT)的时间越长,之后的 decode 也可能变慢。全部模型以 128K 上下文启动,用 Tier 1 的固定提示(4K・32K・128K)测量。超过 128K 的输入见下方“长文阅读”。
公式 standard-v1(Tier 2)The official standard-v1 (Tier 2)官方 standard-v1(Tier 2)
Strata 同梱のベンチ(thinking xhigh、temperature 1.0)をスイートごと3回。実用に近い条件での速さと sanity の正答。The benchmark bundled with Strata (thinking xhigh, temperature 1.0), the whole suite 3 times: speed under realistic conditions, and the sanity answers.Strata 自带的基准测试(thinking xhigh,temperature 1.0),整个套件 3 次。接近实际使用条件下的速度与 sanity 正确率。
thinking の有無(Tier 3)With and without thinking (Tier 3)有无 thinking(Tier 3)
同じ問題を effort none / high で解かせ、回答が終わるまでの時間と正答を比べる(全モデル)。The same tasks at effort none / high, comparing the time until the answer ends and whether it is correct (every model).用 effort none / high 解答相同的题目,比较到回答结束的时间和正确率(全部模型)。
コンテキスト長の確保コスト(Tier 4a)The cost of reserving context (Tier 4a)预留上下文长度的代价(Tier 4a)
同じ 4K の入力で、起動時に確保するコンテキストだけを 128K / 256K / 1M に変える。The same 4K input; only the context reserved at launch changes: 128K / 256K / 1M.相同的 4K 输入,只把启动时预留的上下文改为 128K / 256K / 1M。
長文の読解(Tier 4b・4c)Long documents (Tiers 4b, 4c)长文阅读(Tier 4b・4c)
青空文庫と Project Gutenberg の日英10作品を交互に並べた長文(32K〜1M token)を読ませ、文書の 10 / 50 / 90% に置いた架空の事実を問う。代表モデルだけ(1M はさらに一部)。コンテキストは入力が入る大きさで起動(256K までの文書は 256K、512K と 1M はその長さ)。待ち時間と速さは、文書を最初に読む問い(10% の位置)の値。同じ文書への2問目以降は、文書の部分を prefix cache から読む。A long document (32K–1M tokens) of ten Japanese and English works from Aozora Bunko and Project Gutenberg, in turns, with made-up facts placed at 10 / 50 / 90% of it to ask about. Representative models only (fewer at 1M). Launched with a context the input fits in (256K for documents up to 256K, 512K and 1M for those). Waiting and speed are from the question that reads the document first (the 10% one); later questions on the same document read it from the prefix cache.让模型阅读由青空文库与 Project Gutenberg 的日英 10 部作品交替排列而成的长文(32K〜1M token),并询问放在文档 10 / 50 / 90% 处的虚构事实。仅代表模型(1M 更少)。以能容纳输入的上下文启动(256K 以内的文档为 256K,512K 与 1M 为相应长度)。等待时间与速度取首次读取文档的问题(10% 处)的值;同一文档的后续问题从 prefix cache 读取文档部分。
YaRN の影響(Tier 4d)The effect of YaRN (Tier 4d)YaRN 的影响(Tier 4d)
学習時の長さ(256K)を超える容量では Strata が YaRN を使う(factor = 容量 ÷ 256K)。同じ文書・同じ問いで、設定だけを変えて比べる: 約 300K の文書を容量 384K で YaRN あり(×1.5)となし、約 200K の文書を容量 256K(YaRN なし)と 1M(×4、普段から 1M にしておくと損をするか)。Above the trained length (256K) Strata uses YaRN (factor = context ÷ 256K). The same document and questions, only the setting changes: a ~300K document at 384K with YaRN (×1.5) and without, and a ~200K document at 256K (no YaRN) and at 1M (×4: does always reserving 1M cost anything?).超过训练长度(256K)的容量下 Strata 使用 YaRN(factor = 容量 ÷ 256K)。相同的文档和问题,只改设置:约 300K 的文档在 384K 下有 YaRN(×1.5)与无 YaRN,约 200K 的文档在 256K(无 YaRN)与 1M(×4,平时一直设为 1M 是否吃亏)下比较。
起動オプション(Tier 5)Launch options (Tier 5)启动选项(Tier 5)
代表3モデルで起動オプションを1つずつ変え、既定(baseline)からの変化を見る。One launch option changed at a time on 3 representative models, against the default (baseline).在 3 个代表模型上每次只改一个启动选项,观察相对默认(baseline)的变化。
計測時の環境Conditions during the measurements测量时的环境
各モデルの Tier 1 を測っていた間の温度・電力・メモリ。CPU が熱で抑えられていたモデルは、その分だけ遅く出ている可能性がある。Temperature, power and memory while each model's Tier 1 ran. A model measured while the CPU was held back by heat may show as slower by that much.测量各模型 Tier 1 期间的温度、功耗和内存。测量时 CPU 因过热降频的模型,结果可能相应偏慢。
モデル別の一覧All models各模型一览
上のグラフの数値をまとめた表。列の見出しで並べ替え。decode は上の絞り込み(temperature・文章)に従う。The numbers from the charts above in one table. Sort by clicking a heading. decode follows the filters above (temperature, text).汇总上方图表数值的表格。点击列标题排序。decode 随上方筛选(temperature、文章)变化。