推荐:MeloLab– 使用 AI 创作歌曲和背景音乐。

Edge0-145B

打开官方网站

Edge0-145B 是一款开源 145B 参数模型,主打在笔记本和台式机上本地运行,官方称峰值内存约 29GB、解码速度 80+ tokens/s,支持 128K–256K 上下文。

类型:
AI 工具
Edge0-145B 产品预览
本页目录

Edge0-145B 是什么?

Edge0-145B 是一款开源 145B 参数模型,主打在笔记本和台式机上本地运行,官方称峰值内存约 29GB、解码速度 80+ tokens/s,支持 128K–256K 上下文。

最近更新 ·

Edge0-145B:开源 145B 端侧 AI 模型

资料对应公告日期:

Edge0-145B 被描述为全球首个开源的 145B 参数端侧 AI 模型。它的核心卖点在架构:模型总参数为 145B,但每次推理只有约 10B 参数参与计算,因此官方称它能在兼容笔记本上本地运行,峰值内存约 29GB,解码速度超过 80 tokens/s。本文介绍这款模型是什么、适合哪些任务、如何开始使用、已知限制,以及发布时公布的基准测试和部署信息。

Edge0-145B 社交发布图,文字为“Frontier AI Capabilities on Your Own Computer”
产品方发布配图,非产品界面截图。

Edge0-145B 是什么

Edge0-145B 是一款开源大语言模型,总参数 145B,定位为端侧模型,而不是只能在数据中心运行的系统。发布方称它是首个达到这一参数规模的开源端侧模型。

它的设计目标是把接近前沿模型的能力放到个人电脑上。公布的数据包括:兼容笔记本上峰值内存约 29GB、解码速度超过 80 tokens/s、prefill 超过 1,100 tokens/s、典型功耗约 120W。这些均为发布方公布的数字,并非独立验证结果。

  • 总参数 145B,开源发布
  • 定位为可在本地运行的端侧模型
  • 官方称峰值内存约 29GB、解码 80+ tokens/s
  • 官方称 prefill 1,100+ tokens/s、典型功耗约 120W

为什么 145B 模型能跑在笔记本上

关键在于稀疏计算。模型总参数为 145B,但每次推理只有约 10B 参数参与计算,因此每个 token 的计算开销远低于稠密 145B 模型。

内存则通过共享和分层来管理。每 64 个专家为一组,共享两个大矩阵,每个专家只保留一小部分体现自身差异的参数。约 40GB 的专家库放在系统内存中,按需调入 GPU 显存;约 48GB 的词表数据存放在 SSD 上,按需读取。

这解释了它为何能装进消费级硬件,也说明它依赖较快的内存、SSD 和 GPU 传输通道。公布的速度基于兼容机型,存储或内存子系统较弱的设备表现可能不同。

  • 145B 参数中每步仅约 10B 参与计算
  • 64 专家一组共享两个大矩阵,专家保留少量差异参数
  • 约 40GB 专家库驻留系统内存,按需调入 GPU 显存
  • 约 48GB 词表数据放在 SSD 上按需读取

适用任务与上下文能力

由于面向本地执行,它适合数据需要留在本机、或不希望频繁往返云端的工作流。公布的基准测试集中在编程、推理、指令遵循和终端类智能体任务,这些可以作为优先评估的方向。

模型支持 128K–256K 上下文窗口,官方称在长输入下速度基本保持不变,这对阅读大型代码库、长文档或多步智能体会话等长时间工作很重要。长上下文速度的说法属于官方公布,并非每种配置都能保证。

  • 本地编程辅助与代码库阅读
  • 推理与问答任务
  • 指令遵循与结构化输出
  • 终端与智能体式多步任务
  • 在支持窗口内的长文档、长上下文会话

公布的基准测试成绩

发布方公布 DeepSWE 1.1 得分为 64.6,高于 Qwen3.8-Flash-Next 的 58.7 和 DeepSeek-V4-Flash-0731 的 54.4。同时公布 GPQA-Diamond 90.4、IFBench 80.6、Terminal-Bench 2.1 86.52。

在 GPQA-Diamond 上,公告称其接近 DeepSeek-V4-Flash-0731 的 90.8 和 Claude-Opus-4.6(Max)的 91.3。这些对比来自同一份公告,应视为发布方提供的背景信息,而非中立的第三方评测。

  • DeepSWE 1.1:64.6
  • GPQA-Diamond:90.4
  • IFBench:80.6
  • Terminal-Bench 2.1:86.52

如何开始使用与平台支持

首发支持 macOS、Windows 和 Linux,覆盖 Apple M 系列芯片,以及 NVIDIA 的 RTX Spark、RTX 4090、RTX 5090 等平台。发布内容包含一键部署工具和硬件指南,模型权重发布在 Hugging Face,推理框架发布在 GitHub。

实际开始时,建议先对照硬件指南确认自己的机器,因为内存分层同时依赖系统内存、GPU 显存和 SSD 速度。如果设备明显低于支持档位,应改用更小的模型或云端接口。

  • 支持系统:macOS、Windows、Linux
  • 支持硬件包括 Apple M 系列与 NVIDIA RTX Spark、RTX 4090、RTX 5090
  • 提供一键部署工具和硬件指南
  • 权重在 Hugging Face,推理框架在 GitHub

已知限制与定价情况

最明确的限制是硬件。算力很低的设备目前无法本地运行 145B 模型,需要改用更小的模型或云端访问。公布的 29GB 峰值内存和 80+ tokens/s 适用于兼容笔记本,并非任意设备。

托管访问或商业条款的价格在现有发布信息中没有说明,此处应视为未知。模型本身被描述为开源,权重发布在 Hugging Face,框架发布在 GitHub。

  • 算力很低的设备目前无法本地运行
  • 性能数据基于兼容硬件
  • 现有信息未说明托管或商业定价
  • 开源权重与框架已发布

常见问题

Edge0-145B 本地运行需要什么硬件和内存?

发布方称可在兼容笔记本上运行,峰值内存约 29GB;首发支持 macOS、Windows 和 Linux,覆盖 Apple M 系列芯片以及 NVIDIA RTX Spark、RTX 4090、RTX 5090 等平台。约 40GB 专家库驻留系统内存,约 48GB 词表数据按需从 SSD 读取,因此系统内存、GPU 显存和存储速度都很关键。

Edge0-145B 的速度和功耗如何?

公布数据为解码速度超过 80 tokens/s、prefill 超过 1,100 tokens/s、典型功耗约 120W。官方还称在 128K–256K 上下文窗口内,长输入下速度基本保持不变。这些是发布方针对兼容硬件公布的数字。

为什么 145B 模型每次只计算约 10B 参数?

因为采用稀疏架构:145B 总参数中,每次推理只有约 10B 参与计算。每 64 个专家为一组共享两个大矩阵,每个专家保留少量差异参数,专家按需调入 GPU 显存。这样单 token 计算量较低,同时完整参数集仍然可用。

低算力设备能在本地运行 Edge0-145B 吗?

不能。算力很低的设备目前无法本地运行 145B 模型,需要改用更小的模型或云端访问。公布的本地性能基于支持硬件档位内的兼容笔记本或台式机。

原始资料

  1. edge0.ai — 原始资料 1 ↗

工具信息

工具信息有变化? 帮助我们更新

相关工具与指南

加载评价…

Edge0-145B 的评价

暂无评分0 条真实用户评价

你推荐 Edge0-145B 吗?在下面分享使用体验!

评分
0 / 2000

正在加载评价…

所属分类

为产品创造者

做了一个好产品?让更多人发现它。

从官网开始,整理 Logo、截图和产品介绍,建立可持续维护的工具页面。

免费收录需核验官网 Badge