规模是做好生成式人工智能的撒手锏，大数据、大模型和大算力对于生成式人工智能缺一不可。”在近日举行的第七届数字中国峰会之中国移动人工智能生态大会上，中国工程院院士、鹏城实验室主任、北京大学博雅讲习教授高文表示。高文院士回顾了人工智能发展的三次浪潮，并对影响当下生成式人工智能发展的关键因素进行了分析。
01
历经三次浪潮
1956年夏天，美国达特茅斯学院举行了一场研讨会，在会上麦卡锡首提“人工智能”，标志着人工智能元年的到来。追忆历史，高文表示，从1956年开始人工智能经历了三次浪潮：以推理研究为主的第一次浪潮，持续20年左右时间；以专家系统为主的第二次浪潮，持续30年左右时间；以及从2006年开始的第三次浪潮。其中第三次浪潮又包括两大技术进展：从2009年开始的判别式人工智能，从2018年开始的生成式人工智能。
2009年，华裔科学家李飞飞和李凯教授提出imagenet（图像网络），一石激起千层浪，业界八仙过海各显神通，纷纷基于imagenet提出各自的判别式人工智能算法，直到2012年深度神经元网络出现，以绝对优势令其他算法黯然失色，将百花齐放的格局进行收敛。2015年微软研究院何凯明、孙剑等联合提出resnet（残差网络），又将判别式人工智能带到了新高度。此后，从深度神经网络dnn到卷积神经网络cnn再到循环神经网络rnn，深度网络快速迭代，不断走向新的技术高度。
“判别式人工智能以模式识别见长，如图像分类、人脸识别、智能监测等，如今广泛应用的人脸识别正是判别式人工智能的应用。判别式人工智能与人的对象认知学习接近，可以根据学习速度、记忆规模、判别准确度判断其结果好坏。”高文分析。
02
大语言模型破解
长语言序列难题
不过，判别式人工智能通过在神经网络中输入大量数据进行快速判别，擅长图像和矩阵识别，对于长语言序列则力不从心。在这样的形势下，大语言模型应运而生，致力于解决长语言序列问题，而生成式人工智能则是大语言模型的最主要突破。
高文表示，自2018年开始生成式人工智能快速迭代，从大语言模型llm到chatgpt再到sora多模态，万变不离其宗的是底层关键技术gpt（生成式预训练模型）。gpt引入注意力机制，使得一个长串中无论相隔多远的两个相关数据都能连接在一起，并训练出关联度。“gpt的核心算法是用大量序列做大模型预训练，关键是注意力机制。由于gpt算法对业界并无差别，因此具体应用效果取决于学习速度、记忆规模、表达准确度等。”高文认为。
虽然如今chatgpt如火如荼，但是gpt起初并没有激起太多涟漪。这是因为gpt使用起来问题较多：给出的答案要么过于简单，要么过于复杂，要么不合规，存在意识形态、文化习惯、行业差别等方面的问题。
chatgpt的出现改变了这一现象，使得业界对于人工智能的印象和投入力度大为改观。不过从底层技术看，从gpt到chatgpt并没有改变，其不同在于：一是chatgpt增加了instructiongpt指令，通过微调、对齐和抑制，使得回答更加“人模人样”；二是引入基于人类反馈的增强学习rlhf，解决合规问题和垂应用适配等。
03
大数据、大模型和大算力
缺一不可
在中国移动人工智能生态大会上，中国移动发布了“万千百”智能基座，其中，“万”指“万”卡互联并行加速算力供给，中国移动年内将投产3个近两万卡超大规模单体智算中心和12个区域智算中心，广泛升级1500个边缘节点，为全社会提供澎湃算力。
中国移动在智算中心方面的规模投入并非个例，随着生成式人工智能的发展，全国各地多个智算中心如雨后春笋不断出现，而这背后的原因是人工智能的发展需要算力支撑。
“生成式人工智能做得好不好，规模是决性定因素。”高文一语道出其中关键。
高文表示，gpt和sora等人工智能生成技术并没有提出理论革新，与20年前的人工智能神经网络理论本质上并无差异。生成式人工智能的突破得益于大数据、大模型和大算力，这三个“大”缺一不可。特别是算力，如今千卡是入门级规模，要想做大模型必须有万卡级。
对于规模，openai等公司也有深刻见解：如果能用规模解决问题，就无需动用新的算法。不仅如此，openai还提出了“假设性三公理”，已被ai领域奉为圭臬。
第一条公理，苦涩的教训。多年来人工智能的研究者们一直试着将人类已知的知识构建到他们的智能体中，但是屡战屡败。成功的极少数案例都是使用规模计算，通过搜索和机器学习完成的。大规模、大算力和大数据是通用人工智能的必要条件。
第二条公理，规模即所需。一旦选择了良好且通用的数据标注、算法，就能够找到一套通用的规律，数据越多，模型越大，效果就越好，而且这个规律在训练之前就可以预知效果。大规模是通用人工智能agi的充分条件，大就是好。
第三条公理，涌现需规模。随着规模的扩大、数据的增加，大模型一定会涌现出前所未有的能力，这个能力可以被所有人看到。
最后，高文总结表示，判别式人工智能方兴未艾，生成式人工智能如火如荼，关于下一波浪潮业界也有很多预测，如无人驾驶、具身智能、人形机器等，但总体而言仍不得而知。未来充满想象，值得我们期待，也需要业界有所作为。高文特别提到，中国的人工智能需要自己的大模型底座，只有这样才能实现以中文语料和中国历史为基础的文明传承。