博海拾贝

Google不只挑战OpenAI,还有英伟达

1.jpg

没有精心准备的发布会,没有声势浩大的宣传,凭借一篇博客文章、一份技术报告,全球大模型的格局可能又一次被改变。

当地时间 12 月 6 日,Google 发布三个版本的多模态大模型 Gemini(双子座),其中的 Gemini Ultra 版本对标最强大模型 GPT-4。Google CEO 桑达尔·皮查伊(Sundar Pichai)说:“这是我们迄今为止功能最强大、最通用的模型,在许多领先的基准测试中都领先。”

Gemini Ultra,参数规模最大、效果最好。Google 没有透露具体参数量,业内人士估计超过了万亿。性能对标 GPT-4 的大模型。

Gemini Pro,参数比 Ultra 版本少,优化推理成本,是 Google 在内部部署、对外提供服务的主力版本。现在已经应用于 Google 聊天机器人 Bard。

Gemini Nano,专门为移动设备训练的模型。针对不同内存的设备,训练了两个版本,参数量分别是 18 亿和 32.5 亿。

相比新模型在一些评测指标上追平甚至超过 GPT-4,Google 训练这个大模型的过程和方法,也许对整个大模型行业的影响更大。

作为由 Google 自研 TPU v4 和 TPU v5e 训练出来的大模型,三个版本的 Gemini 各有侧重,共同打破了之前的局限 —— 挑战 OpenAI 的同时,还有可能撼动英伟达在 AI 芯片的垄断地位。

Gemini Ultra 让 Google 进入大模型第一梯队

按照 Google 的说法,Gemini Ultra 在 30 项大模型能力测试中超过此前最强的大模型 GPT-4,在检验大模型数学、历史、物理、法律等 57 个学科知识水平的 MMLU 测试中评分达到 90%,是第一个超过人类专家的模型。

Gemini Ultra 在多项测评中超过了 GPT-4。左图是文本能力,右图是图片、视频、音频能力。图片来自 Google。

Google CEO 皮查伊用一段绘画视频展示了 Gemini Ultra 不同维度下的理解能力。当真人一边画鸭子一边与之说话时,大模型可以理解人类的每一步在做什么,并精确地说出来。

比如给鸭子涂蓝色的时候,大模型会说 “鸭子看上去是蓝色的”,接着在没有接受新提示指令的情况下,指出蓝色鸭子不常见。

但这个最强版本的 Gemini 要到明年才会向公众开放,它的真实效果能否超过 GPT-4 还有待验证。桑达尔·皮查伊在接受采访时解释,花更多时间是为了严格的安全测试,并挖掘它真正的功能。此前 OpenAI 训练完 GPT-4 后,花了半年时间做类似的事情。

另外两个参数更小版本的大模型已经以不同形式发给用户和开发者。Android 开发者已经能在 Google 的手机 Pixel 8 Pro 上使用 Gemini Nano 开发应用;Pixel 8 Pro 用户也可以用它总结录音纪要等。

同时,Google 把自己聊天机器人 Bard 背后的模型从原来的 PaLM 2 换成了 Gemini Pro。一些开发者测试后发现,效果虽然比原来的版本更好,但与 GPT-4 相比有不小的差距,甚至一些人说它只是 GPT-3.5 的水平。

看着 Google 的最新成果,人工智能领域专业人士和局外的华尔街多少有些淡漠。一些人工智能专家都没有像看到 GPT-4 时那样,感叹技术有了如此大的进步,而只是说 Google 回来了。在他们看来 Google 早该做到这些。

这似乎可以用来解释为什么 Google 盘后股价跌幅(0.74%)超过了纳斯达克指数。不过,这已经比它们年初发布聊天机器人 Bard 时好了 —— 那一次 Google 股价重挫 7.4%。

在人工智能浪潮中,Google 一直处于独特的位置。它是最早研究人工智能、也是技术实力最强的公司之一,拥有许多人工智能底层技术的专利。在 Google 的技术报告中,署名的 Gemini 贡献者有 837 人,比 OpenAI 整个公司的人(770)都多。

它也是世界上最大的互联网公司,每天服务数十亿人。它拥有的 Andriod 能直接影响全球 30 多亿人使用的手机。它比其他公司都更有能力收集海量的数据,不仅是文本,还有视频(YouTube)。

在基础设施层面,它已经研发人工智能芯片八年,很快将拥有世界上最多的人工智能算力。OpenAI 成立的原因之一,就是为了阻拦强大的人工智能只落在 Google 手中 —— 联合微软、英伟达,OpenAI 阶段性实现了这一目标。

Google 在云计算之后,再一次起了个大早、赶了个晚集。不过,它现在也有机会展示人工智能芯片的新选择:不用顶级 GPU,也可以训练出顶尖的大模型。

用自研 TPU 训练出顶级大模型,挑战英伟达

这次发布会上,Google 还带来新款 AI 芯片 TPU v5p,据称训练效果是上一代产品 TPU v4 的两倍。

只看单颗芯片性能,Google 训练出 Gemini Ultra 的芯片 TPU v4、TPU v5e,比不上英伟达的旗舰芯片 H100,各项性能指标最多只有英伟达三年前发布的 A100 的六成。

而且仅凭单个芯片或几十个芯片,已经很难训练参数规模动辄数十亿、上千亿甚至万亿的人工智能模型。据芯片研究机构 Semianalys 的首席分析师迪伦·帕特尔(Dylan Patel)估算,OpenAI 去年训练 GPT-4 动用了 2.5 万颗 A100 芯片,耗时三个多月。

Google 擅长把上千块 AI 芯片连接在一起,组成一个强大的算力平台。它 2015 年开始自研芯片,两年后就发布了 TPU 组建的训练集群(Pod),供庞大的内部业务(YouTube、Gmail、Google Map、Android)使用,一直迭代到现在。

“对于人工智能基础设施而言,系统能力比微架构更加重要。” 帕特尔说。Google 并没有公布训练 Gemini 动用了多少 TPU,只是强调动用了不只一个集群,甚至不止一个数据中心。

一个 TPU v4 集群最多有 4096 块芯片。帕特尔估计,Gemini 的 1.0 版本使用了 14 个 TPU v4 集群,耗费算力已经超过 GPT-4;而基于 TPU v5p 集群的 Gemini 的迭代版本(预计今年底完成预训练),消耗的算力可能是 GPT-4 的 5 倍。

原本受芯片、训练集群之间数据传输的带宽、甚至是宇宙射线影响(高能粒子穿透大气层,会影响芯片性能),利用大量芯片训练单个模型会提高故障率,硬件利用率也会大打折扣。但 Google 可以靠着更强的基础软件研发能力,尽可能让每个芯片都发挥作用。

Google 在技术报告中介绍如何训练 Gemini 时,一段话提及了三个训练框架——TensorFlow(其中的 XLA)、JAX、Pathways,都是 Google 自研的。

今年 11 月,腾讯机器学习平台部总监陶阳宇在一场技术交流会上透露,主流的开源框架动用大量芯片训练大模型时,硬件利用率只有 26%。同样的条件下,基于腾讯自研的 AngelPTM 框架训练大模型,利用率可以提高到 53%。

虽说英伟达一直自称软件公司,并投入数千名工程师优化 CUDA 等基础软件,但在大模型领域,Google 围绕 TPU 软硬件集成能力,可能更胜一筹。毕竟大模型的基础技术,如 Transformer,也是出自 Google。

Google 新发布的 TPU v5p ,算力性能大约是 H100 的一半,内存略高,带宽略低,单个集群容纳芯片的规模,达到 8960 块。“直到最近,许多组织训练大模型、用它提供大规模服务,仍然过于复杂、昂贵。”Google 云高管阿明·瓦赫达(Amin Vahdat)说,“借助 TPU v5p,可以让他们更划算地利用人工智能。”

短时间内,Google 想在单颗芯片性能上超过英伟达可能不太现实。但对于 Goolge 来说,通过软硬件高度集成能力,做出来一个能替代英伟达、不再给它交税的方案,已经就算成功。

当竞争对手们苦于买不到足够多的英伟达 GPU 时,Google 通过自研带来的算力资源不仅能让它更快地迭代大模型,还有机会通过出售硬件获取更多收入。它们宣称 Salesforce 和 Lightrick 等客户已经在使用 Google Cloud 的 TPU v5p 超级计算机来训练大模型。

多年来 Google 人工智能产品的研发和上线,要比小公司更多考虑法律和社会舆论风险,所以看起来异常保守,这也是不少 Google 员工认为 OpenAI 能抢先推出 ChatGPT 的原因之一。

面对着 OpenAI 和微软联盟的强劲攻势,Google 快速行动,整合习惯单打独斗的 Google AI 和 DeepMind,并开始推迟对外公开最新的研究成果,试图把原本失去的优势补回来——错失了云计算时代的 Google,已经很难接受自己在人工智能时代落后。

在 Gemini 技术文档中和公开发言中,Google 高管多次强调目前只是 1.0 版本,明年还会发布更先进的大模型。

今年早些时候,皮查伊被问到 “没抢在 ChatGPT 前发布 Bard,你错过什么”。他给了个大公司 CEO 的标准回答,Google 不是第一个做出搜索引擎,也不是第一个做出浏览器,“有时候成为第一很重要,但有时候无关紧要。” 他认为,只要不断改进产品,实现更好的功能,后发也能先至。

现在,皮查伊接受采访时,问题变成了 “你们通过 GPT-4 学到了什么?” 他的回答是:“现在远不是零和游戏,人工智能影响巨大,我们还处于很早期的阶段。前方充满机遇。”

来源:晚点LatePost (ID:postlate),作者:贺乾明、邱豪,编辑:龚方毅

退出移动版