51-k8凯发

核心内容摘要

51-每日大赛娜娜老师最新消息-一个 27b 参数的模型，原生存在于你的电脑里，关掉 wi-fi，它照样可以读取本地文件、翻数据库、处理 excel、写 ppt，连续跑一个过去通常需要调用云端大模型的复杂任务。公司的财务数据不用上传，自己的知识经验留在本地，跑得再多，也不用盯着一个随着 agent 工作时间不断上涨的 token 账单。电脑买了，电费交了，剩下的 token 随便用。这简直完美。这个想法并不新奇，但过去端侧 ai 唯一麻烦的地方就是，模型不太行。把 1b、3b 的模型装进手机已经不稀奇，修图、总结文字、陪人聊天都能做；可一旦让它读几千条银行流水，自己找文件、写脚本、调工具、检查结果，最后交出一份能用的报告，小模型很快就会露馅。最近一年，这个边界开始往前推。一个北大背景的创业公司就正在死磕这个方向，并且已经取得了一些进展。9 月 3 日，北大系背景的元空智能和惠普一起公布了一套端侧 ai 方案。元空发布了 boxer 系列模型，以及 ai work、ai science 两套 agent，这些一起进入惠普的机器，从笔记本、基于 nvidia gb10 的桌面算力盒子，再到工作站，模型和 agent 直接预装，并一起推动后面的企业部署和服务。发布会现场 demo 环节，展示者做的第一件事就是关掉机器的 wi-fi 。随后，元空 ai work 在完全离线的情况下扫描本地文件夹里的几十张发票，完成解析、分类和归档，最后生成 excel；另一个 demo 则是在离线情况下读完数千条银行流水，寻找短时间资金快进快出这样的异常特征。从模型推理到文件处理，数据没有离开本地。过去我们习惯于这些任务由一个存在于几千公里外的数据中心里的 ai 解决，现在电脑不再只负责打开一个网页，而是可以直接本地处理这些任务。这是元空想要让大家 " 改变 " 的认知。1很多人第一次知道元空，是因为 chatexcel。2023 年 2 月 28 日，chatexcel 测试版上线。用户把 excel 扔进去，不用记函数，也不用自己写公式，直接告诉它 " 把销售额按地区汇总 " 或者 " 找出异常数据 "，它替你操作表格。半个月后，公测网页日活峰值已经达到 15 万，累计独立 ip 访问超过千万。那时豆包和 kimi 都还没有出现，国内甚至没有多少人想清楚一个 " 大模型应用 " 到底应该长什么样。最早做这件事的是北京大学的宁鲲鹏和姚佳雨。两人在 chatgpt 爆火之前就研究 ai 处理 excel 和数据，后来在导师袁粒指导下用 transformer 重做技术路线，逄大嵬随后加入团队，把实验室里的项目往产品和商业化上推。今天元空的正式员工依然只有十人左右，它连着北大的实验室、学生和实习生；团队过去几年却从语言、视觉一路做到多模态和不同尺寸的模型。chatexcel 后来也没有一直停在 excel。从表格扩到数据库、数据清洗和分析，再往后变成完整的 data agent。元空自己披露，目前产品已经积累了数百万用户。发布会交流时逄大嵬还开玩笑，大厂们一直声量很高，他们则在 " 偷偷地赚钱 "。这几年留下来的东西，不只是一批用户。一个人处理 excel 时先找哪张表，看到异常之后往哪里查，一项工作中间调用多少次工具，什么时候会失败，最后交付什么结果，这些真实的操作轨迹全留了下来。以前它们更像产品日志，但现在当 agent 开始真正替人干活以后，这批数据的意义完全变了。模型公司现在最缺的，恰恰就是这些互联网上找不到的工作过程。当这些数据资源和元空团队过往一直积累的模型经验开始结合，元空的 boxer 系列模型就诞生了。2过去几年，端侧 ai 长期卡在一个很尴尬的位置：小模型装得进去，重活干不了；大模型足够聪明，本地又装不下。元空的模型则在中间这一层。这次发布的 boxer 包括 27b 稠密模型和 35b-a3b 稀疏模型，团队给自己划出的范围大约在 20b 到 100b。按照逄大嵬的说法，3b 以下适合 chatbot，写东西、陪聊天已经不错，但长链路生产力任务对上下文理解、planning 和工具调用的要求很快会把它压垮；千亿参数以上的大模型能力更强，放到个人设备上的成本又太高。几十 b 参数刚好开始进入一个 " 能干活，也装得下 " 的区域。元空内部很喜欢用 " 智能密度 " 解释这种变化。同样几十 b 参数，今天能装进去的能力比一年前多得多。他们判断，目前 35b 这一档已经能够覆盖不少一年前还要交给更大云端模型的生产力任务。这个趋势当然不只属于元空：模型架构、moe、量化、算子优化不断往下压，pc 这一头的 gpu、npu、内存带宽继续往上长，两条曲线今天开始交汇。这次 boxer 已经可以从十几 gb 内存的个人电脑，一路部署到桌面算力盒子和工作站。官方披露的工程数据里，经过针对硬件的优化后，prefill 达到数百 token/s，decode 达到数十 token/s，交互延迟压到了百毫秒乃至更低。这些数字没有 frontier model 跑 benchmark 那么性感，但它决定了另一件很实际的事：一个几十 b 的模型坐在桌边，已经不会因为慢到无法忍受而失去使用意义。而生产力任务对模型提出的要求，还远不止 " 聪明 "。一个 agent 连续工作两小时，中间断掉了怎么办？昨天做到一半的任务，今天回来还能不能接着做？调用十几个工具以后出了错，能不能知道应该从哪里退回去？元空 ai work 为此做了一套 harness 和长期 memory，把执行过程结构化保存下来，任务可以从检查点恢复。姚佳雨在发布会上形容它有点像版本控制，他们保存的是一项工作真正走过的轨迹。这也是元空为什么没有急着去和手机里的小模型抢聊天、修图。3b 模型写一首诗已经足够好了，让它替财务部门干一个下午，那完全是另一种任务和技术路线。3模型终于能装进去以后，端侧 ai 可以很清楚的算清楚成本的账。过去几年，我们逐渐习惯了一种很奇怪的计算机消费方式：电脑已经买了，真正干活的算力还得按 token 付钱。chatbot 时代这笔钱没那么扎眼，一个人每天问几十个问题，订阅费也就几十美元；agent 一来，账本迅速变厚。一次任务可能连续跑几个小时，反复读取文件、搜索、调用模型、写代码、验证结果，用户越愿意把工作交给 ai，token 就烧得越快。" 组织是永远在算账的。" 逄大嵬说。惠普和元空给出的办法也很传统，把原来持续发生的 opex，重新换成一次 capex。企业先买机器，模型以后都跑在自己的 cpu、gpu 和 npu 上，本地推理增加一次任务，除了电费，几乎不会再产生一张新的 api 账单。这笔账当然不适合所有人。普通用户一天聊几十轮，直接用云端模型仍然最方便；真正敏感的是投行、律所、药企、制造企业和科研机构，因为它们通常同时满足两个条件：ai 用得足够多，手里的数据又足够贵。审计底稿、律师文件、实验数据、公司财务和工厂工艺参数，有一些甚至从制度上就不能进入公有云。本地模型刚好同时处理这两件事。算力买断，数据留下。但这也带来另一个老问题：谁来把模型装进每家公司？元空正式员工十人左右，如果每卖一套产品都要工程师飞过去调机器，这家公司很快就不用训模型了，天天交付就行。所以，他们的最重要k8凯发赢家一触即发的合作伙伴，就是惠普这样的设备厂商。据了解，双方已经合作两年，惠普有现成的工作站产品、企业销售体系、fde 和全球渠道，元空只需要继续把模型和 agent 做好。软件公司不用自己卖电脑，电脑公司也终于多了一个理由，让企业再买一台性能更好的电脑。4在这次发布前后我们有机会和元空的团队深入交流，而在交流中，你会发现这支十来人的团队，其实多少有一点今天所谓 neo lab 的味道。他们当然会谈推理速度、硬件适配和客户，但聊到后半程，真正兴奋的话题却总会回到模型上。今天模型公司到底还缺什么？他们的答案是数据，它们已经很难再从互联网里找。wikipedia、书籍、网页、论坛、github，这些过去几十年人类公开留下来的知识，已经被一轮又一轮模型抓下来训练。预训练当然远没有消失，但继续从公开互联网里多找一些文本，已经越来越难带来过去那种能力跃迁。他们认为下一阶段最贵的那批数据，大量存在于人真实工作的过程里。一个分析师看到一份财报，为什么突然去查另一张表；一个老师傅听见机器声音不对，下一步会看哪个参数；一个实验员做完上一轮反应，为什么把下一次的试剂从 3ml 改成 2.7ml。这些知识很少有人专门写进网页，很多时候当事人自己都不会觉得这是 " 数据 "。但它们恰好记录了人怎么完成复杂任务，而越来越多的新模型能力，正在从这种过程里长出来。而这和过去一年模型训练方法的变化也撞在了一起。预训练先让模型获得语言、知识和继续学习的能力，之后的 coding、computer use、长链路 agent，则越来越依赖后训练：给模型一个可以行动的地方，让它尝试，然后告诉它事情有没有做对。代码环境很简单，一段程序写完，跑十个 test case，过几个就拿几分；网络安全也可以做成环境，放一台服务器进去，攻破就是成功；到了实验室，模型调整实验参数，仪器跑完以后把真实结果送回来，反馈同样成立。元空认为围棋是最好理解的例子。棋盘没有十万亿 token，只有一套规则、每一步落子和最后的输赢；有了这样一个可以不断尝试、不断获得反馈的环境，模型就能自己生成几乎无穷的数据。沿着这个逻辑看今天的办公室和实验室，excel 是环境，浏览器是环境，erp 是环境，机械臂、显微镜和离心机也是环境。一个 agent 真正在这些设备上工作，会自然留下一整条 trajectory：它看了什么、做了什么、哪里失败、怎样修正，最后事情有没有完成。互联网上最难获得的那批数据，在这里每天都有人免费生产。在当天的分享里，最让我关注的也是这一个判断：" 设备即环境 "。元空一直强调 model、agent 和 device 要放在一起看，都和这个判断有关。模型负责理解和决策，agent 提供 memory、工具调用以及维持长任务的 harness，设备则把前两者接进真实工作。现实里的任务很少像 chatbot 一样，以一次 prompt 开始、几十秒以后结束：财务工作可能持续几天，科研项目持续几个月，工厂甚至永远不会停。context window 再长，也装不下这样一条无限往前走的时间线，所以 agent 必须记住之前发生过什么，再回到设备上继续操作。这也解释了为什么元空很在意 " 原生端侧模型 "。他们并不满足于把云端模型量化、压小，再搬进 pc。在他们看来，模型如果最终要在设备上处理长期、复杂、真实的任务，训练时就应该接触这样的环境。" 首先要有一个端侧环境，才能训出原生的端侧模型。" 他们在交流里反复强调这一点。这条路线最有意思的地方，在于它和模型变小的趋势刚好会合。frontier model 仍然可以留在规模巨大的数据中心里，用昂贵算力继续探索能力边界；可一旦某种能力被证明可行，对应的环境、反馈机制和训练方法成熟，它就会不断向更小的模型迁移。一年前需要大模型才能完成的任务，今年几十 b 开始能做，再过一代还可能继续往下走。小模型进入设备之后，又拿到了云端模型最缺的真实任务环境和轨迹数据，于是下一轮后训练可以继续发生。今天各个模型团队都在四处寻找新的 " 环境 " 数据：coding、金融、安全、科研，每一类任务都得有人搭出一套能够反复尝试并且给出可靠反馈的世界。而在元空的选择里，像惠普这样的设备就是最好的环境。过去二十年，pc 和手机把几十亿人接进互联网。人类在这些设备上搜索、聊天、工作、写代码，最后留下的数据喂出了今天的大模型。现在 ai 开始反过来住进设备里，它第一次可以长期看到人怎么工作，也可以自己动手、犯错、拿到真实结果，再继续下一次。这些都是元空想要让大家知道的，他们的 " 赌注 "：省掉 token 和数据不出本地，都已经足以卖一台电脑；但如果