Ai小编 发表于 昨天 08:08

端侧AI的拐点:145B模型装进笔记本,这次不是PPT

一句话结论:端侧 AI 长期"听起来很美"的困局,正在被"能在个人电脑上流畅运行的百亿级开源模型"这一件事打破。

过去几年,端侧 AI 一直是个尴尬的话题。厂商发布会讲得热血沸腾,用户实际用起来发现:本地能跑的多半是十亿参数出头的小模型,写个通知、改个错别字还行,一旦要让它写代码、做多步推理,就开始胡说八道。为什么?因为云端前沿模型的参数动辄千亿,端侧芯片和内存根本放不下。

2026年11月,这件事出现了实质转折。Edge0 发布并开源了 Edge0-145B 和 Edge0-120B 两个模型,以及配套的统一推理框架与部署工具。其中 Edge0-145B 号称是全球首个可在个人电脑本地流畅运行的1450亿参数开源模型,同时内存占用还省了约60%。它把编程、推理和智能体能力直接搬到笔记本上,这是一个从"演示"到"可用"的跨越。

省60%内存这件事,比"145B"更值得说。为什么?因为在端侧,真正的瓶颈从来不是算力,而是内存带宽和容量。一台常见的高端笔记本,可用显存加统一内存大概在32到64GB区间。145B参数如果按16位浮点存,需要接近290GB;按4位量化,也需要七十多GB——还是装不下。要把60%省下来,意味着必须在量化、专家稀疏、分层卸载、KV Cache 管理这几层同时下手。

从公开信息看,这次突破的路径是组合拳:MoE 稀疏激活让每次推理只唤起一部分专家,量化把权重压到极低位宽,再把不活跃的部分分层卸载到内存或者说硬盘,推理框架负责调度。这套思路并不新鲜,难的是把它工程化到"普通人装完就能用"的程度。这也是为什么配套那个统一推理框架比模型本身更关键——没有它,145B就是一个躺在 Hugging Face 上的文件。

这条路的铺垫同样有迹可循。2026年8月,DeepSeek 发布 V4-Flash-Vision-Exp 的多模态版本,官方提到输入图片会按尺寸换算成 token,每张图片消耗的 token 有384个上限——这类精细的 token 预算控制在云端是优化,在端侧就是生死线。再往前,高通在其白皮书里已经明确判断:得益于蒸馏等技术,小模型正在接近前沿大模型的质量,超过75%的新发布大模型参数已在千亿规模以下,模型参数规模正在快速缩小。

那么,端侧模型真能替代云端吗?我的判断是:短期不能,但会把使用结构彻底改写。

先说不行的部分。第一,多模态的高清视频理解、超长文档的深度推理,端侧的算力储备还是不够,尤其是电池和散热这两条物理红线。第二,云端模型在持续更新,端侧模型的版本迭代节奏天然慢半拍,一次发布用半年的模式很难追上云端每月一更。第三,企业级的数据治理、审计、多人协同,仍然依赖中心化部署。

再说行的地方,而且这块比大家想的更大。

一是隐私。法律、医疗、财务这类场景,数据出不了本地是硬要求。一个能本地跑145B模型的笔记本,意味着"AI 助手"第一次可以在不联网的前提下处理敏感文档。这是合规上的质变,不是体验上的小改进。

二是延迟。一次云端请求的往返可能几百毫秒,端侧可能几十毫秒。对于代码补全、实时翻译、会议字幕这种高频交互,几百毫秒的差别就是"能用"和"不想用"的差别。

三是成本结构。云端按 token 计费,用得越多付得越多;端侧是一次性硬件投入,边际成本接近零。当一个团队每天要跑几十万次推理,算下来差别巨大。这也解释了为什么 Silicon Data 的统计里,Token 单价能一路从2.05美元降到0.97美元——云端在主动降价防守。

对普通人来说,最实际的变化可能是这两年内,你的下一台电脑在购买决策里会多一项指标:"能跑多大的本地模型"。就像十年前大家开始问"这机器能不能剪4K视频"一样,这会变成一个新的消费认知。

对开发者来说,端侧意味着一种全新的产品形态。以前做 AI 产品必须联网、必须有服务器、必须算 token 成本;以后可能是一个本地安装包,装完就能用,不需要账号,不需要订阅。这类产品的分发方式和商业模式都会不一样——更像软件,而不是更像 SaaS。

但我要泼一盆冷水。端侧模型的"可用"和"好用"之间,还隔着很长的距离。第一是稳定性,量化之后的模型在长链推理上容易崩,一个环节错了后面全错。第二是工具生态,云端模型可以放心调用各种 API,端侧模型能调的工具很有限。第三是安全,本地模型没有服务端的内容过滤,滥用风险会转移到用户侧。

所以真正的答案可能是混合:高频、隐私敏感、低延迟的任务放端侧;复杂推理、多模态理解、需要最新知识的任务放云端;中间由一个调度层决定走哪条路。这听起来不酷,但这才是会真实发生的架构。

2026年11月这个节点值得记住的地方在于:端侧 AI 第一次不再是"等芯片更强再说",而是"现在的硬件已经能跑一个真正有用的模型"。接下来拼的不是参数,是谁能把体验打磨到用户忘了它在本地跑。
页: [1]
查看完整版本: 端侧AI的拐点:145B模型装进笔记本,这次不是PPT