编译：IEEE

每年，人工智能指数都会以更大的虚拟冲击力登陆虚拟桌面——今年，它的 393 页证明了人工智能将在 2023 年迎来一个真正重要的一年。在过去的三年里，IEEE Spectrum阅读了整个该死的事情，并拿出了一系列总结人工智能当前状态的图表。今年的报告由斯坦福以人为中心的人工智能研究所 (HAI)发布，增加了有关负责任人工智能的扩展章节和有关科学和医学领域人工智能的新章节，以及通常对研发、技术性能、经济的综述、教育、政策和治理、多样性和公众舆论。由于这是一个非常长的报告，我们不能完整翻译，但笔者就感兴趣的部分，做了一些摘译：AI，一些数据
在前沿AI研究章节中，报告表示，Epoch AI 是一群致力于研究和预测先进人工智能演变的研究人员。他们维护着 20 世纪 50 年代以来发布的人工智能和机器学习模型的数据库，根据最新进展、历史意义或高引用率等标准选择条目。分析这些模型可以全面概述机器学习领域近年来和过去几十年的演变。4数据集中可能缺少某些模型，然而，数据集可以揭示相对趋势。直到 2014 年，学术界主导了机器学习模型的发布。从那时起，工业就占据了主导地位。2023 年，工业界产生了 51 个著名的机器学习模型，而学术界只有 15 个（图 1.3.1）。值得注意的是，2023 年产学合作产生了 21 个著名模型，再创新高。
为了说明人工智能不断发展的地缘政治格局，人工智能指数研究团队分析了著名模型的原产国。
图 1.3.2 显示了研究人员所属机构所在地的著名机器学习模型总数。2023 年，美国以 61 个著名机器学习模型领先，其次是中国（15 个）和法国（8 个）。自 2019 年以来，欧盟和英国在著名人工智能模型数量上首次超过中国产生（图1.3.3）。自2003年以来，美国生产的模型数量超过了英国、中国和加拿大等其他主要地理区域（图1.3.4）。
报告表示，人工智能模型中的术语“计算”表示训练和操作机器学习模型所需的计算资源。一般来说，模型的复杂性和训练数据集的大小直接影响所需的计算量。模型越复杂，底层训练数据越大，训练所需的计算量就越大。
图 1.3.6 直观地展示了过去 20 年著名机器学习模型所需的训练计算。最近，著名人工智能模型的计算使用量呈指数级增长。6这种趋势在过去五年中尤为明显。计算需求的快速增长具有至关重要的影响。例如，需要更多计算的模型通常具有更大的环境足迹，并且公司通常可以比学术机构更多地访问计算资源。
图 1.3.7 突出显示了 2012 年以来著名机器学习模型的训练计算情况。例如，AlexNet 是推广使用 GPU 改进 AI 模型的标准实践的论文之一，估计需要 470 petaFLOP 进行训练。最初的 Transformer 于 2017 年发布，需要大约 7,400 petaFLOPs。谷歌的 Gemini Ultra 是当前最先进的基础模型之一，需要 500 亿petaFLOPs。
训练模型，到底有多耗钱
关于基础模型的讨论中的一个突出话题是它们的推测成本。尽管人工智能公司很少透露训练模型的费用，但人们普遍认为这些成本已达数百万美元，并且还在不断上升。例如，OpenAI 的首席执行官 Sam Altman 提到，GPT-4 的训练成本超过 1 亿美元。训练费用的增加实际上使传统上人工智能研究中心的大学无法开发自己的前沿基础模型。作为回应，例如拜登总统关于人工智能的行政命令，试图通过创建国家人工智能研究资源来平衡工业界和学术界之间的竞争环境，该资源将向非工业参与者提供进行更高水平人工智能所需的计算和数据。了解训练人工智能模型的成本很重要，但有关这些成本的详细信息仍然很少。在去年的出版物中，人工智能指数是最早对基础模型的训练成本进行估算的指数之一。今年，AI Index 与人工智能研究机构 Epoch AI 合作，大幅增强和巩固了 AI 训练成本估算的稳健性。为了估算前沿模型的成本，Epoch 团队还分析了训练时长,使用与模型相关的出版物、新闻稿或技术报告中的信息，如训练硬件的类型、数量和利用率。图 1.3.21 根据云计算租赁价格直观地显示了与选定 AI 模型相关的估计培训成本。AI Index的估计证实了人们的怀疑，即近年来模型训练成本大幅增加。例如，2017 年，最初的 Transformer 模型引入了几乎所有现代LLM的架构，训练成本约为 900 美元。RoBERTa Large 于 2019 年发布，在许多规范理解上取得了最先进的结果 SQuAD 和 GLUE 等基准测试的训练成本约为 160,000 美元。快进到 2023 年，OpenAI 的 GPT-4 和谷歌的 Gemini Ultra 的训练成本估计分别约为 7800 万美元和 1.91 亿美元。
正如之前的AI Index报告所确定的那样，人工智能模型的训练成本与其计算要求之间存在直接相关性。如图 1.3.23 所示，具有更多计算训练的模型需要更高的训练成本。
最后IEEE通过15张图，总结人工智能现状。
15张图，总结人工智能现状
1. 生成式人工智能投资猛增尽管去年企业投资总体下降，但对生成式人工智能的投资却大幅增长。今年报告的主编Nestor Maslej告诉IEEE Spectrum，这种繁荣预示着 2023 年的更广泛趋势，因为世界正在努力应对ChatGPT和图像生成DALL-E 2等生成人工智能系统的新功能和风险。 “去年的故事是关于人们对生成人工智能的反应，”Maslej 说，“无论是在政策方面，无论是在公众舆论中，还是在拥有更多投资的行业中。”报告中的另一张图表显示，生成式人工智能的私人投资大部分发生在美国。”
上图揭示了另一个方面：在许多常用的基准测试中，封闭模型的表现优于开放模型。Maslej 表示，关于开放式与封闭式的争论“通常围绕风险担忧，但很少讨论是否存在有意义的性能权衡”。4. 基础模型变得超级昂贵这就是为什么工业界在基础模型领域占据主导地位：培训一个大模型需要大量资金。但具体有多深呢？人工智能公司很少透露训练模型所涉及的费用，但人工智能指数通过与人工智能研究组织Epoch AI合作，超出了典型的猜测。报告解释说，为了做出成本估算，Epoch 团队利用从出版物、新闻稿和技术报告中收集的信息“分析了培训持续时间以及培训硬件的类型、数量和利用率”。
有趣的是，谷歌2017 年的 Transformer 模型引入了支撑当今几乎所有大型语言模型的架构，训练费用仅为 930 美元。
虽然其中一些闲聊可能只是首席执行官们闲聊流行语，但报告中的另一张图表显示，麦肯锡调查中 55% 的公司已经在至少一个业务部门实施了人工智能。
原文链接：https://aiindex.stanford.edu/report/#individual-chapters
（完）
更多精彩：博鳌释放教育强音 | CIE2023第五届中国IT教育博鳌论坛暨《计算机教育》杂志创刊20周年大会圆满收官2024年中国高校计算机教育大会（CCEC2024）征文通知校长专访｜推动学科交叉融合 培养新时代创新型人才——香港科技大学(广州)创校校长倪明选教授专访第七届编委会新年寄语计算学科课程思政教学指南陈国良院士｜计算机课程思政虚拟教研室文化建设南大陈道蓄教授｜变与不变：学习过程中的辩证法言十│关于高校青年教师的“困境”思考及建议徐晓飞等｜元宇宙教育及其服务生态体系【目录】《计算机教育》2024年第2期【目录】《计算机教育》2024年第1期【编委寄语】北京大学李晓明教授：由“课堂教学改进元年”想到的……南大陈道蓄教授：教学生提问和教学生答问，哪个更重要？【言十系列】：计算机学科发展趋势及其对计算机教育的影响北大李晓明教授：从趣味数学到趣味算法到趣味编程——非专业学习者体会计算思维的一条途径？一流计算机学科建设的几个问题思考新工科与大数据专业建设他山之石可以攻玉——中外计算机教育研究文章汇编