【摘要】 首先是要关注训练数据的质量，目前一些模型具有的偏见其实都是由于训练数据本身所引发的。第二，要加强对算法本身及模型内部运作机制的
首先是要关注训练数据的质量，目前一些模型具有的偏见其实都是由于训练数据本身所引发的。第二，要加强对算法本身及模型内部运作机制的研究。此外，模型的训练过程中，要加入多模态的数据，通过多模态信息内在的多重关联性降低大模型偏执的概率。
黄铁军北京智源人工智能研究院院长
近日，美国斯坦福大学李飞飞等百余位学者联名发布《基础模型的机遇与挑战》一文，论述在人工智能基础模型成为趋势的环境下，其发展面临的机遇与挑战。文章指出，基础模型的应用使得自监督学习+预训练模型微调适配方案逐渐成为主流，并带来了智能体认知能力的进步。但同时由于基础模型的任何一点改进会迅速覆盖整个AI社区，其隐患在于基础模型的缺陷也会被所有下游模型所继承。
斯坦福大学学者谈到的基础模型，国际上也称预训练模型，也被国内研究者称为大模型。那么，什么是人工智能大模型，与小模型相比有哪些优势？为何大模型会成为趋势，在行业中有哪些应用？未来又面临怎样的机遇和挑战？
像发电厂一样不断供应智力源
大模型成了最近AI产学界刷屏率颇高的词汇。需要更大算力、更大数据集的大模型，为何可能是未来AI最好的伙伴？这要从AI开发者们的一次次挫败与碰壁说起。
深度学习技术兴起的近10年间，AI模型基本上是针对特定应用场景需求进行训练的小模型。小模型用特定领域有标注的数据训练，通用性差，换到另外一个应用场景中往往不适用，需要重新训练。另外，小模型的训练方式基本是手工作坊式，调参、调优的手动工作太多，需要大量的AI工程专业人员来完成。同时，传统模型训练需要大规模的标注数据，如果某些应用场景的数据量少，训练出的模型精度就会不理想。
小模型的这些问题，导致当前AI研发整体成本较高，效率偏低。由于AI人才短缺以及成本昂贵，对于中小行业用户来说，小模型的这些问题阻碍了行业用户采用人工智能技术的脚步，成为AI普惠的障碍。北京智源人工智能研究院院长黄铁军在接受科技日报记者采访时指出。
虽然，之前全球呈现千村万户大炼模型的热闹场面，但这种自家炼钢自己用的作坊方式显然不符合现代产业发展规律。
黄铁军进一步解释道：大模型可以解决这些问题，其泛化能力强，可以做到&lsquo；举一反三&rsquo；，同一模型利用少量数据进行微调或不进行微调就能完成多个场景的任务，中小企业可以直接调用，不需要招聘很多AI算法专业人员就能进行应用开发，显著降低中小企业的研发门槛，促进AI技术落地。
得益于这些优势，人工智能的发展已经从大炼模型逐步迈向炼大模型的阶段。以美国OpenAI、谷歌、微软、脸书等机构为代表，布局大规模智能模型已成为全球引领性趋势，并形成了GPT&mdash；3、SwitchTransformer等千亿或万亿参数量的大模型。可以说，人工智能大模型时代正在到来！
人工智能大模型是&lsquo；大数据+大算力+强算法&rsquo；结合的产物，是集成大数据内在精华的&lsquo；隐式知识库&rsquo；，也是实现人工智能应用的载体。大模型是连接人工智能技术生态和产业生态的桥梁，向下带动基础软硬件发展，向上支撑了智能应用百花齐放，是整个人工智能生态的核心。黄铁军表示。
北京智源人工智能研究院理事长张宏江博士指出：未来，大模型会形成类似电网的智能基础平台，像发电厂一样为全社会源源不断地供应&lsquo；智力源&rsquo；。
通用智能应用前景广阔
类比人的教育培养，大模型所完成的培训就如同基础性、通识性的大学本科培养，学成后的大模型具备处理一般事物的能力。如果要完成更专业、更高级的任务，大模型还需要研究生阶段的专业培养。
黄铁军进一步指出：AI大模型通常是在大规模无标注数据上进行训练，学习数据中蕴含的特征、结构和知识。
在这一趋势下，北京智源人工智能研究院2021年3月发布悟道1。0，是中国首个人工智能大模型，取得多项国际领先的AI技术突破；2021年6月发布的悟道2。0，参数规模达到1。75万亿，是OpenAI的GPT&mdash；3模型的10倍，一跃成为世界最大模型。
北京智源人工智能研究院学术副院长、清华大学教授唐杰表示，大模型可以包含更多数据，表示更多信息，模型往超大规模发展是一个必然的趋势。
超大规模预训练模型的出现，很可能改变信息产业格局，即基于数据的互联网时代、基于算力的云计算时代之后，接下来可能将进入基于大模型的AI时代。唐杰认为。
据介绍，超大规模智能模型的通用智能能力在医疗、金融、新闻传播等行业应用前景广阔。例如，在医疗健康领域，大模型在医疗数据格式化、病历自动解读与分析、自动问诊系统等方面都可以发挥巨大效用。在金融、法律、财务、人力资源、零售等传统行业领域，大模型能提供高性能的智能信息解析和提取、智能数据整合、自动机器翻译、辅助决策等功能，提升业务流程效率和水平。在新闻传播领域，基于模型可实现智能新闻线索收集、机器写作、辅助编辑、虚拟主播等应用。目前，智源悟道大模型，也在为北京冬奥会提供新场景下的人工智能服务应用；并正在通过大模型开启手机AI语音技术新路径，赋能智能终端新一轮AI体验革新。
同质化和涌现特性带来机遇与挑战
最近，斯坦福大学数十位研究者联名发表《基础模型的机遇和风险》综述文章，认为大模型的特点之一是同质化，好处在于大模型的任何一点改进就可以迅速覆盖整个AI社区。但同时，它也带来一些隐患，大模型的缺陷会被所有下游模型所继承。特点之二是海量数据训练出的基础模型具有涌现特性，也就是产生未曾预先设想的新能力，这种特性有望让AI具备处理语言、视觉、机器人、推理、人际互动等各类相关任务的能力。因此这类模型将赋能各行各业，加快行业的智能化转型，在法律、医疗、教育等领域都会带来具有社会价值的影响。
但同时，如何应对大模型下游的传播问题，进一步提高信息的精准性与适用性，以人工智能大模型技术激活各行各业？
黄铁军回答道：这是学界现在所面临的共同难题，未来应该从几个方面来减轻甚至消除这类影响：首先就是要关注训练数据的质量，目前一些模型具有的偏见其实都是由训练数据本身所引发的，因此我们要在数据源头上做好保障，既要量大，也要质高。第二，要加强对算法本身及模型内部运作机制的研究，目前深度学习算法的可解释性等理论还在探讨阶段，对大模型的理论分析和缺陷查找能力提出了更大挑战，这就需要加强基础研究，以支撑大模型在那些可靠性要求更高行业中的应用。此外，模型的训练过程中，要加入多模态的数据，比如文本、图片、视频等类型的输入，通过多模态信息内在的多重关联性降低大模型&lsquo；偏执&rsquo；的概率。我们常说人要&lsquo；行万里路，读万卷书&rsquo；，大模型也一样，会随着算法的改进和&lsquo；阅历&rsquo；的增加越来越智能。
首先是要关注训练数据的质量，目前一些模型具有的偏见其实都是由于训练数据本身所引发的。第二，要加强对算法本身及模型内部运作机制的研究。此外，模型的训练过程中，要加入多模态的数据，通过多模态信息内在的多重关联性降低大模型偏执的概率。
黄铁军北京智源人工智能研究院院长
近日，美国斯坦福大学李飞飞等百余位学者联名发布《基础模型的机遇与挑战》一文，论述在人工智能基础模型成为趋势的环境下，其发展面临的机遇与挑战。文章指出，基础模型的应用使得自监督学习+预训练模型微调适配方案逐渐成为主流，并带来了智能体认知能力的进步。但同时由于基础模型的任何一点改进会迅速覆盖整个AI社区，其隐患在于基础模型的缺陷也会被所有下游模型所继承。
斯坦福大学学者谈到的基础模型，国际上也称预训练模型，也被国内研究者称为大模型。那么，什么是人工智能大模型，与小模型相比有哪些优势？为何大模型会成为趋势，在行业中有哪些应用？未来又面临怎样的机遇和挑战？
像发电厂一样不断供应智力源
大模型成了最近AI产学界刷屏率颇高的词汇。需要更大算力、更大数据集的大模型，为何可能是未来AI最好的伙伴？这要从AI开发者们的一次次挫败与碰壁说起。
深度学习技术兴起的近10年间，AI模型基本上是针对特定应用场景需求进行训练的小模型。小模型用特定领域有标注的数据训练，通用性差，换到另外一个应用场景中往往不适用，需要重新训练。另外，小模型的训练方式基本是手工作坊式，调参、调优的手动工作太多，需要大量的AI工程专业人员来完成。同时，传统模型训练需要大规模的标注数据，如果某些应用场景的数据量少，训练出的模型精度就会不理想。
小模型的这些问题，导致当前AI研发整体成本较高，效率偏低。由于AI人才短缺以及成本昂贵，对于中小行业用户来说，小模型的这些问题阻碍了行业用户采用人工智能技术的脚步，成为AI普惠的障碍。北京智源人工智能研究院院长黄铁军在接受科技日报记者采访时指出。
虽然，之前全球呈现千村万户大炼模型的热闹场面，但这种自家炼钢自己用的作坊方式显然不符合现代产业发展规律。
黄铁军进一步解释道：大模型可以解决这些问题，其泛化能力强，可以做到&lsquo；举一反三&rsquo；，同一模型利用少量数据进行微调或不进行微调就能完成多个场景的任务，中小企业可以直接调用，不需要招聘很多AI算法专业人员就能进行应用开发，显著降低中小企业的研发门槛，促进AI技术落地。
得益于这些优势，人工智能的发展已经从大炼模型逐步迈向炼大模型的阶段。以美国OpenAI、谷歌、微软、脸书等机构为代表，布局大规模智能模型已成为全球引领性趋势，并形成了GPT&mdash；3、SwitchTransformer等千亿或万亿参数量的大模型。可以说，人工智能大模型时代正在到来！
人工智能大模型是&lsquo；大数据+大算力+强算法&rsquo；结合的产物，是集成大数据内在精华的&lsquo；隐式知识库&rsquo；，也是实现人工智能应用的载体。大模型是连接人工智能技术生态和产业生态的桥梁，向下带动基础软硬件发展，向上支撑了智能应用百花齐放，是整个人工智能生态的核心。黄铁军表示。
北京智源人工智能研究院理事长张宏江博士指出：未来，大模型会形成类似电网的智能基础平台，像发电厂一样为全社会源源不断地供应&lsquo；智力源&rsquo；。
通用智能应用前景广阔
类比人的教育培养，大模型所完成的培训就如同基础性、通识性的大学本科培养，学成后的大模型具备处理一般事物的能力。如果要完成更专业、更高级的任务，大模型还需要研究生阶段的专业培养。
黄铁军进一步指出：AI大模型通常是在大规模无标注数据上进行训练，学习数据中蕴含的特征、结构和知识。
在这一趋势下，北京智源人工智能研究院2021年3月发布悟道1。0，是中国首个人工智能大模型，取得多项国际领先的AI技术突破；2021年6月发布的悟道2。0，参数规模达到1。75万亿，是OpenAI的GPT&mdash；3模型的10倍，一跃成为世界最大模型。
北京智源人工智能研究院学术副院长、清华大学教授唐杰表示，大模型可以包含更多数据，表示更多信息，模型往超大规模发展是一个必然的趋势。
超大规模预训练模型的出现，很可能改变信息产业格局，即基于数据的互联网时代、基于算力的云计算时代之后，接下来可能将进入基于大模型的AI时代。唐杰认为。
据介绍，超大规模智能模型的通用智能能力在医疗、金融、新闻传播等行业应用前景广阔。例如，在医疗健康领域，大模型在医疗数据格式化、病历自动解读与分析、自动问诊系统等方面都可以发挥巨大效用。在金融、法律、财务、人力资源、零售等传统行业领域，大模型能提供高性能的智能信息解析和提取、智能数据整合、自动机器翻译、辅助决策等功能，提升业务流程效率和水平。在新闻传播领域，基于模型可实现智能新闻线索收集、机器写作、辅助编辑、虚拟主播等应用。目前，智源悟道大模型，也在为北京冬奥会提供新场景下的人工智能服务应用；并正在通过大模型开启手机AI语音技术新路径，赋能智能终端新一轮AI体验革新。
同质化和涌现特性带来机遇与挑战
最近，斯坦福大学数十位研究者联名发表《基础模型的机遇和风险》综述文章，认为大模型的特点之一是同质化，好处在于大模型的任何一点改进就可以迅速覆盖整个AI社区。但同时，它也带来一些隐患，大模型的缺陷会被所有下游模型所继承。特点之二是海量数据训练出的基础模型具有涌现特性，也就是产生未曾预先设想的新能力，这种特性有望让AI具备处理语言、视觉、机器人、推理、人际互动等各类相关任务的能力。因此这类模型将赋能各行各业，加快行业的智能化转型，在法律、医疗、教育等领域都会带来具有社会价值的影响。
但同时，如何应对大模型下游的传播问题，进一步提高信息的精准性与适用性，以人工智能大模型技术激活各行各业？
黄铁军回答道：这是学界现在所面临的共同难题，未来应该从几个方面来减轻甚至消除这类影响：首先就是要关注训练数据的质量，目前一些模型具有的偏见其实都是由训练数据本身所引发的，因此我们要在数据源头上做好保障，既要量大，也要质高。第二，要加强对算法本身及模型内部运作机制的研究，目前深度学习算法的可解释性等理论还在探讨阶段，对大模型的理论分析和缺陷查找能力提出了更大挑战，这就需要加强基础研究，以支撑大模型在那些可靠性要求更高行业中的应用。此外，模型的训练过程中，要加入多模态的数据，比如文本、图片、视频等类型的输入，通过多模态信息内在的多重关联性降低大模型&lsquo；偏执&rsquo；的概率。我们常说人要&lsquo；行万里路，读万卷书&rsquo；，大模型也一样，会随着算法的改进和&lsquo；阅历&rsquo；的增加越来越智能。