我们需要明确下这次的技术浪潮的核心是什么、当我们抛开自媒体的各种概念之后我们会发现本次的于 GPT3 开始的技术浪潮从技术本身来看是一个以文本生成任务为核心的通过语言来实现的 Multi-Task 任务,这使得深度学习算法中的 Pretrained Model 得到了史诗级的加强,让 Few-shot / Zero-shot 的这个领域得到了前所未有的突破。同时这种方式似乎可以大一统除文本外的更多的交互模式,如语音图片等。而对于普通人而言这是一个实打实摸得着看得见的一种新的交互方式,OpenAI 用一己之力让所有的 C 端用户接受了一种“慢” “贵” “幻觉” 但似乎“知识渊博”的对话机器人。
但随着时间的推进,舆论慢慢的泛 AI 化,所谓的“大模型”纳入了以 Stable Diffusion 为核心框架的 text to image 的模型;TTS,STT 的语音相关模型。当然后者是前者正统 LLM 的百分之一不到的模型参数大小,推理和训练和上一个 AI 浪潮下的模型训练推理所需要的算力消耗相若。
这时候应该需要先问一个问题?这个技术是一个「突破」吗?我觉得是也不是,为什么这么说。我说不是的原因是因为大模型在各种垂类任务下,以相近的等级的算法工程师,配置以相近等级的工程师,但论一个任务以 Bert 为核心的算法架构能够在绝大多数任务下以极低的成本完成甚至超越 LLM 的效果(比如,垂类的 NER 任务,CLS 任务等等),同时不论是推理的时延还是所需要的算力都远小于 LLM。
那么,既然这样子,为什么又是一个突破呢?那是因为这个技术需要「相近等级」的算法工程师,和「相近等级」的工程师,可能一直在大厂的朋友并不能很快意识到这个「相近等级」 的含金量。我们习以为常的算法/后段/前端/产品,习以为常的规范的开发流程,习以为常的各种中间件,对于绝大多数的企业(包含大量的国企/央企),这些完全是遥不可及的存在,甚至连「产品化思维」都没有,甚至因为各种原因领导的思路还停留在「项目制」。那我们为什么能期待这样子一个班底能玩转一个会因为用户的交互,数据的变化而变化的算法系统呢?而 LLM 的存在,这个即大量任务训练(Post-Trainig 和 RL 的部分你可以认为就是一个大量的预训练任务)为一体的大一统模型就提供了这个便利。你不懂各种算法架构,各种算法框架,各种模型的限制和特长,没关系。你会打字写 prompt 就行,调调 API 就可以随便拥有 70%甚至更高的准确度。这使得一个曾经非常「昂贵」的能力变得标准化,变得「便宜」起来。也正是这个原因让 Prompt 工程一下子流行起来。
那么这个风口是怎么来的?在过去大家放弃这条大力飞砖的路线往往是因为「成本」的考量,没人愿意投入天价的算力去做一个没有任何保证的科研。需要明确的是深度学习是一门实验科学,而不是像数理化一样的 1 就是 1,2 就是 2,这里面有太多的不确定因素。虽然我们能做很多数学推导来给出一个实现方向,但实验结果往往是令人捉摸不透的(这点写过相关论文的朋友应该都清楚)。在这种情况下 OpenAI 打着「非盈利组织」的名号,以相当廉价且情怀的方式聚集了全球最顶尖科学家搞出来了我们当下热议的 Demo、ChatGPT。其所展现的能力形成了前所未有的舆论效果,人们唤起了 AI 跨越极点的想法,这个兴奋和恐惧完全超过了当年微软的小冰等机器人带来的冲击。所有相关玩家都不敢赌这个可能性,所以形成了一场大规模的军备竞赛。在竞赛中诞生了各种各样的玩法,也诞生了大量的蹭热度的玩家(不论是不是 GPT 架构的算法,不论模型大还是小我都是端到端大模型)。虽然我相信绝大多数都未曾盈利,甚至大额亏损,但有梦就会继续,于是这次的风口就诞生了。
风口会形成一个新的模式吗?我觉得是会的,从当前大量的相关类 GPT 产品的用户来看,这个势头大概率是不会回头了,用户已经形成了全新的检索习惯,形成了巨量的有针对性的流量。这无异是一个巨大的机会,我们也看到大玩家们在做商业化的前期基建准备(比如 OpenAI 的支付链路)。与此同时我也观察到一个不可逆转的飞轮,网上低质量垃圾的 AI 文、视频越来越多,免费高质量的辨别成本和所需要的能力越来越高,这使得「免费」搜索资源更难获得。除此之外,高质量的社区也建起了翻爬高墙。如果类 GPT 产品能够利用更高质量的「数据 or 信息源」去提供更好的检索质量,那么完全可以继续吃掉更多的流量市场。与此同时后来者,则完全无法像新进入者一样拥有更干净更易获得的数据,这使得其不仅仅要付出大量的基建成本,还需要付出远高于先发玩家的数据成本(简单的例子,你现在想爬雪球文章,就比一年前难特别多)。但到这里完全不能形成一个新的模式,因为我们仍未看到谁将为这个昂贵的模型付费。这里我的猜测是会分为两种。其一、提效性质,这相当于是集合各个行业中的程序员、UI、设计师等员工成本,或打破一些专家壁垒,然后付费给对应的 API。其二、继续羊毛出在狗身上。以推广搜为核心,以更精准的推荐为卖点。目前来看第一个是存在很强的提效效果的,但是存在强者恒强的特点。以程序员为例,如果你们的项目的程序员是一个高阶程序员,能够设计非常好的架构设计,同时他还有身处一线的技术能力,那么一个 AI-Coding 可以大幅加速项目的推进速度。反之,一个 AI 只能让屎山更加令人迷惑,或者项目止步于 Demo。然而一个弱的程序员,过去的学习路径则被 AI 给截断了,他需要付出更多的努力才能被接纳,而绝大多数公司是没心思培养员工的。谁来付费呢?如果行情不好的很可能会让员工来付费(比如,我们公司这些都是我自掏腰包在干活,毕竟你不干有的是人干),好一点的也许公司会配备一些初级的(比如我老婆公司就是给员工配了 OpenAI 的 Plus 账号)。这个模式在已有存量市场下就是内卷的逻辑,在也许有些新型的市场中则是增量逻辑,比如心理咨询。这一个类别中当下并未看到真正能够稳定赚钱的玩家,只看到了一些本身就有技术能力和商业优势地位的大厂在拼刺刀,结果尚未可知。
第二个其实就没有太多的说法了,其实就是原来的推广搜逻辑。大家用 AI 搜索的时候,大概率是一个目的性很强的行为,借机隐含的去推荐用户更能接受的商品去种草是一个很自然的逻辑。这也是百度和 Google 收到影响的原因。不论金矿是否存在,卖铲子的永远不会亏钱,“但不能有过度的资本开支”。AI 的应用前景我看不清楚,我只知道当下卖铲子的过的非常开心,尤其是老黄现在 Web3 双了一轮,现在又在 AI 浪潮中成了时代的宠儿。再叠加国产替代化的战略投资,这个赛道可以说是很爽了。但万一金矿没有那么大的时候会发生什么呢?这个是导致我几乎踏空整个行情的疑问。要知道显卡其实不需要更新换代这么快的,当年实验室 2080Ti 实验室用了三年,公司的 V100 也用了非常久,显卡不是一个需要快速更换的消耗品,我想不明白这种高增长能维持多久。我能搞得清楚的是显卡 + AI 是一个很吃生态的产业,我觉得即便泡沫,长远来看,只要 AI 需求还在 Nvda 就不会衰落。因为他的 Cuda 生态,学术生态已经形成了一种「产学研」一体的独特壁垒。就像当年 TF 和 Torch 打了一架,最后 TF 在技术领先的前提下败北一样,Nvda 暂时除了国内强推的华为生态,想不出谁能撼动这个地位。但现在的价格我还是下不去手,所以不愿意给 AI 付太多溢价的我还是只能坐板凳。