OpenAI的首席科学家ILya Sutskever解答了很多关于大语言模型的疑问

@阑夕:OpenAI的首席科学家/联合创始人ILya Sutskever前段时间参加了一场播客访谈，用非常通俗的表达方式解答了很多关于LLM（大语言模型）的疑问：

– 「机器能否自主学习」曾是人工智能长期以来难以突破的天堑，即使是在1997年深蓝打败国际象棋冠军之后，那也只不过是执行程序的自动化结果，不代表真实的智能；

– 2017年，谷歌发表Transformer论文的第二天，OpenAI的研发团队就豁然开朗了，意识到Transformer可以完全解决机器不断预测文本的问题，这最终造就了GPT-3以及迄今为止的一切；

– ChatGPT会胡说八道，是因为它产生了幻觉，因为如果我们认为它说错了什么，则意味着它在另一些时候说对了什么，但实际上它没有对错概念，所有的生成都来自于对于这个世界的投影理解和规律统计，所以当它开始捏造事实时，这是因为当前的训练规模哪怕到了天文数字级别但仍然远远不够；

– 多模态学习固然有助于改善AI产生幻觉的现象，但也不认为多模态是不可或缺的，Yann LeCun的批评总是不在点子上，OpenAI有信心解决所有看似艰难的问题，比如自生成的准确度，或是对高于文本维度的转换，从长期来看，这些都不是事儿；

– AI和使用者之间的关系将会形成飞轮，AI帮助使用者提高生产效率，同时使用者也为AI贡献数据养料，相互促成正向激励，在这个意义上，AI是人类的助理，而人类是AI的老师；

– OpenAI需要的资本是没有上限的，但是与其计较成本，不如更多在意付出这些成本之后所能创造的价值是否值得，最后每个用户所能使用的AI能力将让他们变成拥有高带宽的人类，这会深远改变社会运作的逻辑，也超出了现在任何单一个体的理解范畴。

访谈翻译可见：kunchengblog.com/essay/ilya