『我训了个模型』到底训了什么?
饭局上总有人举着酒杯说「我最近训了个模型」。这句话的水分可以从零到百分之九十九,这一页帮你听出他到底干了什么,顺便学会三句能让全桌安静的追问。
在 AI 圈,训练指的是改变模型本身的参数,成本从几十万到上亿。而绝大多数人说的「训了个模型」,实际是写了段提示词,或者挂了个知识库,那是五分钟和五千万的区别。
大模型里面装着几百亿到上万亿个参数。参数说白了就是一大堆数字,你可以把它们想象成调音台上密密麻麻的旋钮——模型的每一分本事,全都存在这些旋钮拧到了哪个位置上。
训练就是把这几百亿个旋钮一个个拧对,而办法笨得出奇:遮住后半句,让模型猜下一个词。比如给它「今天天气真」,它蒙了个「香」,原文却是「好」——猜错了,就把参与这次判断的旋钮各自拧回来一丁点。一次只挪极小一格,然后换下一句,再来一遍。这个动作要重复上万亿次。冲刷完,旋钮的位置里就沉淀下了「天气后面更可能跟『好』,不太可能跟『香』」这件事。所谓「学会」,全部内容就是这个。
这件事费电、费卡、费钱,跟供一个孩子读完二十年书差不多,属于重资产工程。
而你平时对 AI 说「你是一位资深编辑,帮我润色」,或者给它上传一份公司资料,这些操作一个参数都没动。打个比方:前者是重新培养一个大学生,后者是给现成的大学生递一张便签、发一本手册。便签很有用,但你不能说自己「培养了一个大学生」。
所以下次听到「训了个模型」,第一反应可以是:他动没动参数?动了多少?下面这把梯子帮你把所有情况分成四层。
从下往上,每爬一层,成本和门槛都指数级上升。点击每一层,展开看它的耗时、成本和门槛。饭局上九成的「训了个模型」,都发生在最下面两层。
改提示词
挂知识库(RAG)
微调
从头预训练
来玩个小测:下面五句都是社交场合的高频发言。你来猜猜,每句话说的事大概率发生在哪一层。点选项揭晓答案。
分不清对方在哪一层?不用猜,直接问。这三个问题分别卡住成本、数据、底座三个要害,答不上来的人自己会往下滑层。
「花了多少算力?」
训练是真金白银烧出来的。L3 起步就要租显卡,L4 要烧掉数千万到上亿。说不出成本量级的「训练」,多半没发生过。
「多少条数据?跑了几轮?」
别问「数据从哪来」——挂知识库和微调都会答「公司文档、业务数据」,这一问听不出差别。要问的是量级:几百份文档丢进检索库是 L2,几千上万条标好的问答对、还得跑上几轮才是 L3。说得出条数和轮数的,才是真动了参数。
「底座是什么模型?」
L1 到 L3 都站在别人的底座上,这毫不丢人,但值得说清楚。含糊其辞说「核心技术不便透露」的,可以默认是 L1。
✅ 这一页想和你分享的
- 训练 = 改模型参数:写提示词、挂知识库都没动参数,严格说都算「用模型」
- 四层梯子:改提示词、挂知识库、微调、从头预训练,每上一层,门槛指数级上升
- 听到「训了个模型」先问成本和数据:答不上来的,自己会往下滑层
- 改提示词毫不丢人:九成需求它就够了,丢人的是站在 L1 说自己在 L4