Inkling 2 Mini 是什么?
Inkling 2 Mini 是拥有 264 亿总参数的循环式混合专家模型,开放权重,内存占用约 20GB,在编程与智能体类基准上表现突出。
最近更新 ·
Inkling 2 Mini:循环式 MoE 开放权重模型
资料对应公告日期:
Inkling 2 Mini 是 Thinking Machines Lab 推出的开放权重混合专家(MoE)语言模型,其核心特点是复用中间层:每个 token 都会让中间层运行三次。模型总参数为 264 亿,但激活参数仅 34 亿,总内存占用约 20GB,因此面向消费级笔记本和桌面 AI 电脑等本地设备。它已在 Tinker 上提供推理与定制,并在 DeepSWE v1.1(48.2%)和 Vals Index v2.2(46.5%)上领先所有总参数低于 1000 亿的开放权重模型。

Inkling 2 Mini 是什么
Inkling 2 Mini 是一个循环式 Transformer:它不会让每个 token 只经过每层一次,而是让模型的中间层对每个 token 运行三次。模型共 24 层,分为四个六层块;中间两个块运行三次,首尾两个块各运行一次。
它同时是混合专家模型,总参数 264 亿,激活参数 34 亿,并因循环机制而达到每 token 54 亿权重激活量。正是这种组合让模型小到可以本地部署,同时获得更高的有效深度。
- 循环式 Transformer:中间层对每个 token 运行三次
- 24 层分为四个六层块,首尾块各运行一次
- 总参数 264 亿,激活参数 34 亿,每 token 权重激活量 54 亿
- 混合专家(MoE)架构
架构与训练流程如何配合
模型形态部分来自剪枝。在中期训练的一个节点上,三分之二的专家被剪掉,每层只保留使用最多的 128 个专家,以降低总参数规模。剪枝后,模型在从更大的内部 Inkling 模型蒸馏出的 1T token 上训练,以恢复剪枝前的表现。
后训练强化学习共 2.2T token、2000 步。Thinking Machines 还训练了一个独立的可变循环研究模型 TML-d24-varloop-research,循环次数在 1 到 5 次之间,并已在 Hugging Face 公开发布;如果你想研究循环次数对行为的影响,它比生产模型更合适。
- 中期训练时剪掉三分之二专家,每层保留使用最多的 128 个
- 剪枝后用 1T 蒸馏 token 恢复性能
- 后训练 RL:2.2T token,2000 步
- 独立可变循环研究模型(1–5 次循环)已发布于 Hugging Face
内存占用与原生量化
总内存占用约 20GB,这是最实用的数字:它小到可以运行在消费级笔记本和桌面 AI 电脑上,而不需要多 GPU 服务器。
大部分权重以 NVFP4 原生训练并部署,最后四层使用 MXFP8。由于低精度格式是原生的而非事后量化,约 20GB 反映的是模型实际发布形态,而不是激进的后处理压缩。
- 总内存占用约 20GB
- 可运行于消费级笔记本和桌面 AI 电脑
- 大部分权重原生 NVFP4
- 最后四层为 MXFP8
领先之处与落后之处
在总参数低于 1000 亿的开放权重模型中,Inkling 2 Mini 在 DeepSWE v1.1 上以 48.2% 领先,在 Vals Index v2.2 上以 46.5% 领先。这些结果说明编程以及智能体或索引类评测是它的相对强项。
它不是多轮对话或大量约束指令场景下最强的小模型。它在 MultiChallenge 上得分 50.0%,在 ComplexConstraints v1.1 上得分 33.4%,两项均落后于 Qwen3.8-27B。如果你的工作负载是长对话线程或密集约束列表,在将其定为标准模型前值得权衡这一差距。
- 在总参数低于 1000 亿的开放权重模型中,DeepSWE v1.1 领先(48.2%)
- 同一范围内 Vals Index v2.2 领先(46.5%)
- MultiChallenge:50.0%,落后于 Qwen3.8-27B
- ComplexConstraints v1.1:33.4%,落后于 Qwen3.8-27B
获取方式与上手建议
Inkling 2 Mini 以开放权重发布,并已在 Tinker 上提供推理与定制。一个实用的起步顺序是先在 Tinker 上用自己的提示词评估输出质量,如果约 20GB 的占用适合你的硬件,再转向本地部署。
如果计划本地运行,请在下载前确认运行时支持 NVFP4 和 MXFP8 权重,因为模型大部分以这些格式发布。若想研究循环行为,Hugging Face 上的可变循环模型比生产检查点更合适。
- 开放权重发布
- 已在 Tinker 上提供推理与定制
- 本地运行时需确认支持 NVFP4 与 MXFP8
- 循环次数实验请使用可变循环研究模型
价格状态
来源材料说明 Inkling 2 Mini 为开放权重并可在 Tinker 上使用,但未给出 Tinker 推理或定制的价格,也未说明许可证条款或商业使用条件。在直接向提供方确认之前,应将成本与授权视为未知。
- 已确认开放权重
- 已确认 Tinker 可用
- 来源未说明 Tinker 价格
- 来源未说明许可证与商业使用条款
常见问题
Inkling 2 Mini 的循环机制具体如何工作?
模型共 24 层,分为四个六层块。中间两个块对每个 token 运行三次,首尾两个块各运行一次。这种中间层复用就是“循环式 Transformer”的含义,也是模型在激活参数为 34 亿的情况下仍报告每 token 54 亿权重激活量的原因。
Inkling 2 Mini 能在笔记本上运行吗?
总内存占用约 20GB,来源描述其可运行在消费级笔记本和桌面 AI 电脑等本地设备上。实际使用中,你还需要支持其原生 NVFP4 权重和 MXFP8 末层的运行时。
Inkling 2 Mini 比 Qwen3.8-27B 更好吗?
取决于任务。Inkling 2 Mini 在 DeepSWE v1.1 和 Vals Index v2.2 上领先总参数低于 1000 亿的开放权重模型,但在 MultiChallenge(50.0%)和 ComplexConstraints v1.1(33.4%)上落后于 Qwen3.8-27B。可根据工作负载更接近编程与智能体评测,还是多轮对话与约束密集指令来选择。
原始资料
工具信息
工具信息有变化? 帮助我们更新
Inkling 2 Mini 的评价
正在加载评价…