吕建成：人工智能大模型时代的机遇与理论挑战

近日，在2022昇腾AI开发者创享日·成都站上，四川大学计算机学院院长吕建成进行了主题为《人工智能大模型时代的机遇与理论挑战》的精彩演讲。

随着人工智能技术不断赋能社会，促进新一轮科技革命和产业变革。而大模型是深度神经网络发展至今的一个重要成果，对此，吕建成从三个方面进行了洞察与解读，即，深度神经网络的发展、大模型发展与应用、大模型的机遇与挑战。

深度神经网络的发展

吕建成表示，从人工智能诞生以来，神经网络就伴随着人工智能的发展，经历了两次繁荣与低谷。从人工智能的发展史来看，我们可以说，深度神经网络是人工智能的核心技术之一，目前也是最成功的人工智能方法之一。

关于神经网络的研究，大致可以分成四个重点研究内容：网络学习相关的问题、特征提取相关的问题、网络规模选择的问题以及硬件实现和基础理论研究的问题。

目前来看，网络学习和特征提取的相关工作已趋于成熟，网络规模的选择是一个研究的重点，一方面是设计规模越来越大的网络;而另一方面，是网络的轻量化，以便于部署在终端设备上。

硬件实现和基础理论的研究也是神经网络的深度研究重点，硬件方面一个是加速芯片，一个是AI类脑芯片;基础理论方面，有著名的万有逼近定理，也许多学者在研究其他的一些理论;但至今，神经网络还没有完善的理论基础体系。

大模型发展与应用

谈到大模型的发展与应用时，吕建成表示，从2012-2018年神经网络模型的发展来看，神经网络的模型是越来越大，同时也获得更高的准确率以及处理更多的数据。那么，为什么需要大模型?大模型是怎么发展来的呢?

我们不难发现，大模型的发展有三个重要的驱动力：第一个是处理大数据的需要。根据国际权威机构Statista的统计和预测，2035年全球数据产生量预计达到47ZB，我们需要数据处理能力更强的人工智能技术;第二个是应用的需要。根据实验数据，模型参数量越大，模型在应用中的精度越高，能力越强;第三个算力快速发展的推动。例如，刚刚上线的成都智算中心，AI算力规模达到300PFLOPS，采用基于昇腾AI基础软硬件的国产化AI集群，能够为大模型提供大算力的支持。

吕建成介绍了在大模型的发展过程中的几个重要工作：

1、预训练微调思想。2012年，AlexKrizhevsky在他的“ImageNetClassificationwithDeepConvolutionalNeuralNetworks”论文中用“pre-training+fine-tuning”命名了一种神经网络参数初始化和训练的方式，提出了“预训练+任务迁移”的研究范式。

2、2018年，OpenAI提出了单向生成语言模型GPT。同一年，谷歌提出了双向编码器BERT，在下游任务上取得极大的效果提升，语言大模型问世。与此同时，“预训练+微调”成为大规模训练数据的主要方法。人工智能进入大模型时代。

在过去的3年内，语言大模型得到飞速发展，继而从自然语言快速渗透到视觉领域，并有面向行业应用的大模型发展趋势。比如，华为在2021年提出的盘古CV大模型超过30亿参数，是当时业界最大，首次兼顾图像判别与生成能力。大模型刷新ImageNet1%、10%数据集上的小样本分类最高准确率。展现了强大的小样本数据上的迁移能力。

除了单一模态数据(文本或者图像)，研究者将模型学习的数据来源扩展至多模态。这将帮助大模型拥有更广泛的“知识”来源，并应用于更广阔的下游任务。

回顾大模型的发展，吕建成认为大模型的成功离不开3大基础设施：大规模数据、可大规模扩展的算法与大规模算力。高质量的数据决定了大模型的性能;数据收集、处理已经成为了需要专门团队负责的复杂流程。基于昇腾AI的鹏程.盘古大模型就拥有了复杂的数据收集流程，包括数据清理、过滤、去重，向我们体现了专业的数据收集能力。

大模型的成功也离不开算法的发展。例如，残差网络能有效解决模型变大后梯度消失的问题，Transformer则解决了序列模型并行高效计算的问题。

目前，“大模型”已在实际经济生活得到应用，并有面向行业大模型发展的趋势。华为昇腾构建的大模型产业生态，帮助广大开发者共同探索大模型应用落地，比如基于华为昇思打造“紫东.太初”多模态大模型被应用于纺织生产的声音质检。

大模型的机遇与挑战

演讲的最后，吕建成对大模型的未来机遇与挑战进行了阐述。他表示，大模型虽然取得了巨大成功，但仍然面临各种理论挑战。他提出了几个疑问，大模型是否过拟合?是否鲁棒?是否真正拥有知识?大模型能取代知识图谱吗?大模型的未来真是越大越好吗?究竟做多大才够?我们最终能负担多大的模型?

吕建成表示，我们研究发现，目前大模型还存在这些不足：现有大模型通常面对特定领域、难以达到人脑连接规模、以及全网络运行方式能耗高。最近，研究人员开始探索一些新的大模型构建方法。基于人脑启发，我们提出了类脑超大规模系统，它基于脑区关系进行构建，是一种多层级的网络结构，不同脑区相互配合，互相促进。使用功能和脑区的分析数据，我们借鉴脑区划分和脑区功能机制为启发，构建类脑功能区，模块化构建大规模神经网络模型。

随后，吕建成以视觉功能为例介绍构建过程，视觉功能有33个脑区，可以分为4个二级功能，分别是动作、颜色、形状、其他，我们对应设计的视觉类脑功能区也有对应的4个子功能区。

在构建好类脑功能区之后，类脑功能区如何协同工作，在特定任务场景下，根据脑功能相关脑区协作关系来指导类脑功能区的协同工作。目前，该平台在单模态，和两个模态的任务上，可以灵活构建网络通路，来实现相应的任务，并达到我们的目标要求。基于平台，我们开发了一些应用，如核工业缺陷检测、反应堆运维监测等。

最后吕建成表示，人工智能进入大模型时代，存在前所未有的机遇与挑战。大模型的构建方式，必须要有新的思路。我也相信一定会有新的思路来指导大模型的发展和落地应用。