Edge0-145B 是什么?
Edge0-145B 是一款开源 145B 参数模型,主打在笔记本和台式机上本地运行,官方称峰值内存约 29GB、解码速度 80+ tokens/s,支持 128K–256K 上下文。
最近更新 ·
Edge0-145B:开源 145B 端侧 AI 模型
资料对应公告日期:
Edge0-145B 被描述为全球首个开源的 145B 参数端侧 AI 模型。它的核心卖点在架构:模型总参数为 145B,但每次推理只有约 10B 参数参与计算,因此官方称它能在兼容笔记本上本地运行,峰值内存约 29GB,解码速度超过 80 tokens/s。本文介绍这款模型是什么、适合哪些任务、如何开始使用、已知限制,以及发布时公布的基准测试和部署信息。

Edge0-145B 是什么
Edge0-145B 是一款开源大语言模型,总参数 145B,定位为端侧模型,而不是只能在数据中心运行的系统。发布方称它是首个达到这一参数规模的开源端侧模型。
它的设计目标是把接近前沿模型的能力放到个人电脑上。公布的数据包括:兼容笔记本上峰值内存约 29GB、解码速度超过 80 tokens/s、prefill 超过 1,100 tokens/s、典型功耗约 120W。这些均为发布方公布的数字,并非独立验证结果。
- 总参数 145B,开源发布
- 定位为可在本地运行的端侧模型
- 官方称峰值内存约 29GB、解码 80+ tokens/s
- 官方称 prefill 1,100+ tokens/s、典型功耗约 120W
为什么 145B 模型能跑在笔记本上
关键在于稀疏计算。模型总参数为 145B,但每次推理只有约 10B 参数参与计算,因此每个 token 的计算开销远低于稠密 145B 模型。
内存则通过共享和分层来管理。每 64 个专家为一组,共享两个大矩阵,每个专家只保留一小部分体现自身差异的参数。约 40GB 的专家库放在系统内存中,按需调入 GPU 显存;约 48GB 的词表数据存放在 SSD 上,按需读取。
这解释了它为何能装进消费级硬件,也说明它依赖较快的内存、SSD 和 GPU 传输通道。公布的速度基于兼容机型,存储或内存子系统较弱的设备表现可能不同。
- 145B 参数中每步仅约 10B 参与计算
- 64 专家一组共享两个大矩阵,专家保留少量差异参数
- 约 40GB 专家库驻留系统内存,按需调入 GPU 显存
- 约 48GB 词表数据放在 SSD 上按需读取
适用任务与上下文能力
由于面向本地执行,它适合数据需要留在本机、或不希望频繁往返云端的工作流。公布的基准测试集中在编程、推理、指令遵循和终端类智能体任务,这些可以作为优先评估的方向。
模型支持 128K–256K 上下文窗口,官方称在长输入下速度基本保持不变,这对阅读大型代码库、长文档或多步智能体会话等长时间工作很重要。长上下文速度的说法属于官方公布,并非每种配置都能保证。
- 本地编程辅助与代码库阅读
- 推理与问答任务
- 指令遵循与结构化输出
- 终端与智能体式多步任务
- 在支持窗口内的长文档、长上下文会话
公布的基准测试成绩
发布方公布 DeepSWE 1.1 得分为 64.6,高于 Qwen3.8-Flash-Next 的 58.7 和 DeepSeek-V4-Flash-0731 的 54.4。同时公布 GPQA-Diamond 90.4、IFBench 80.6、Terminal-Bench 2.1 86.52。
在 GPQA-Diamond 上,公告称其接近 DeepSeek-V4-Flash-0731 的 90.8 和 Claude-Opus-4.6(Max)的 91.3。这些对比来自同一份公告,应视为发布方提供的背景信息,而非中立的第三方评测。
- DeepSWE 1.1:64.6
- GPQA-Diamond:90.4
- IFBench:80.6
- Terminal-Bench 2.1:86.52
如何开始使用与平台支持
首发支持 macOS、Windows 和 Linux,覆盖 Apple M 系列芯片,以及 NVIDIA 的 RTX Spark、RTX 4090、RTX 5090 等平台。发布内容包含一键部署工具和硬件指南,模型权重发布在 Hugging Face,推理框架发布在 GitHub。
实际开始时,建议先对照硬件指南确认自己的机器,因为内存分层同时依赖系统内存、GPU 显存和 SSD 速度。如果设备明显低于支持档位,应改用更小的模型或云端接口。
- 支持系统:macOS、Windows、Linux
- 支持硬件包括 Apple M 系列与 NVIDIA RTX Spark、RTX 4090、RTX 5090
- 提供一键部署工具和硬件指南
- 权重在 Hugging Face,推理框架在 GitHub
已知限制与定价情况
最明确的限制是硬件。算力很低的设备目前无法本地运行 145B 模型,需要改用更小的模型或云端访问。公布的 29GB 峰值内存和 80+ tokens/s 适用于兼容笔记本,并非任意设备。
托管访问或商业条款的价格在现有发布信息中没有说明,此处应视为未知。模型本身被描述为开源,权重发布在 Hugging Face,框架发布在 GitHub。
- 算力很低的设备目前无法本地运行
- 性能数据基于兼容硬件
- 现有信息未说明托管或商业定价
- 开源权重与框架已发布
常见问题
Edge0-145B 本地运行需要什么硬件和内存?
发布方称可在兼容笔记本上运行,峰值内存约 29GB;首发支持 macOS、Windows 和 Linux,覆盖 Apple M 系列芯片以及 NVIDIA RTX Spark、RTX 4090、RTX 5090 等平台。约 40GB 专家库驻留系统内存,约 48GB 词表数据按需从 SSD 读取,因此系统内存、GPU 显存和存储速度都很关键。
Edge0-145B 的速度和功耗如何?
公布数据为解码速度超过 80 tokens/s、prefill 超过 1,100 tokens/s、典型功耗约 120W。官方还称在 128K–256K 上下文窗口内,长输入下速度基本保持不变。这些是发布方针对兼容硬件公布的数字。
为什么 145B 模型每次只计算约 10B 参数?
因为采用稀疏架构:145B 总参数中,每次推理只有约 10B 参与计算。每 64 个专家为一组共享两个大矩阵,每个专家保留少量差异参数,专家按需调入 GPU 显存。这样单 token 计算量较低,同时完整参数集仍然可用。
原始资料
工具信息
工具信息有变化? 帮助我们更新
Edge0-145B 的评价
正在加载评价…