从前沿技术到应用场景,百度披露大模型落地关键路径

核心提示自深度学习之后,人工智能已经很长时间没有令人惊叹的重大突破,当然,这指的是学术界。在产业界看来,当一项底层技术进入了平缓增长期,恰恰是工程化和商业化的最佳阶段。若失败,则意味着内外部条件不成熟,就像之前数十年的人工智能浪潮,都没有诞生大规模

从深度学习开始,人工智能已经很久没有惊人的突破了。当然,这里指的是学术界。在业内人士看来,当一项低级技术进入缓慢增长期时,恰恰是工程化和商业化的最佳阶段。

如果失败了,说明内外部条件不成熟,就像前几十年的人工智能浪潮,没有诞生大规模的AI应用;如果成功的话,典型的特点就是门槛足够低,普及程度足够高,产生类似于历次工业革命的效果。

“降低AI应用门槛”是嘴里出现频率最高的词。无论是人工智能技术的泛化,还是深度学习平台的标准化、自动化、模块化,以及AI生态的构建,都是众所周知的。现在把注意力转向AI大模型。

在日前举行的WAVE SUMMIT 2022深度学习开发者峰会上,发布了飞桨文心大模型和飞桨深度学习行业级开源平台的最新成果和重要升级,并分享了支撑AI大模型产业落地的关键路径。

不落地的AI都是空说的。

三年来,人工智能技术一步步向更深更广的状态发展,这与AI应用的阶段有很大关系。

集团副总裁、深度学习技术与应用国家工程研究中心副主任吴天

集团副总裁、深度学习技术与应用国家工程研究中心副主任吴添在去年5月的浪潮峰会上表示,企业AI应用可以分为三个阶段:一是少数先行者将新技术引入企业做探索和原型验证,称为“先行者寻路阶段”;二是很多企业逐渐组建小团队引进技术,进入“车间应用阶段”;第三,是企业内多人、大规模资源合作研发人工智能的“工业量产阶段”。

在这个过程中,AI应用与场景和行业的结合越来越深入,进而塑造了深度学习平台的标准化、自动化和模块化。比如深度学习框架和芯片的适配越来越标准化,软硬件适配的标准化程度显著提高,大规模分布式训练的很多环节由人工变为自动,开发门槛大大降低。

飞桨深度学习平台集成了训练推理框架、基础模型库、端到端开发套件和丰富的工具组件,大大降低了AI应用开发的门槛,而大模型则更进一步。大规模的预训练扩展了模型的泛化能力,在一定程度上解决了通用性问题。一些人工智能专家将其命名为“基础模型”。

如果打个比方很好理解,深度学习平台让AI开发像用傻瓜式相机一样好用,而大模型就像设置了更多的相机模式,比如人像模式、风景模式等。开发者只需要在各种模式下进行他们的下一次创新。

AI模型这两三年一直是行业热点。2020年,GPT-3横空诞生,刷新了业界的认知。2021年大量大机型出现,引发了大机型是否过剩的讨论。不过,2022年似乎是大模型产业落地的关键一年。

吴添表示,大模式经历了前几年的探索期和突破期,一定程度上已经到了推广期。大模型面临的是如何落地,如何在真实应用场景中产生价值的问题。从应用落地的角度,大模型落地要解决前沿技术与各种真实应用场景的差距,匹配应用落地的全方位需求。这是今年大模特需要解决的核心问题。

大模型如何落地?

从多年的技术和业务经验来看,认为推广大模式需要三个方面:

首先是建立一个大的模型系统,这个系统可以和应用场景对接。

第二,支持平台和工具,降低应用门槛,可以全流程、端到端的支持整个落地应用。

第三,我们需要依靠生态来推动创新。

飞桨心全景

相应的,在本次发布会上,飞桨文新全景全面升级。

●模型层,一次性发布10个大模型,形成覆盖基础大模型、任务大模型、行业大模型的三级体系,充分满足行业应用需求;

●支持工具和平台层,发布大模型开发工具包、API和EasyDL以及文信内置大模型能力的BML开发平台,全方位降低应用门槛;

●打造共享的飞桨生态,同时构建大模型思路,探索社群的山谷,让更多人零距离接触最前沿的AI大模型技术。

可以看出,这个思路并不是一个大模型就能包揽所有问题,而是构建一个更适合应用场景的模型体系。oar文心模型最基本的模型是通用基本模型,具有学习数据量大、知识量大、参数规模大的特点,通用性最高。但基础模型的直接使用与场景中苛刻的应用需求往往存在一定差距,因此在通用模型中加入了两类模型:任务模型和行业模型。

大任务模型主要是针对特定的任务,比如NLP领域的信息抽取、对话和搜索,视觉领域的商品图形搜索和文档图像理解。

行业大模型是基于文心通用大模型对相关行业数据进行挖掘,再融合行业专项大数据和知识,进一步增强大模型对行业应用的适应性。大行业模型的重点在于引入行业的专门知识和数据,与行业专家知识深厚的专家一起为行业设计相应的前期培训任务,真正把通用模型变成对行业更适用的模型。

文新实业的这种大模式是行业首创。在能源、电力、金融领域,联合国家电网和浦发银行开发的Feipaddle文新模型,分别是电力行业的NLP大模型“国家电网-文新”和金融行业的NLP大模型“浦发银行-文新”。通过引入行业特色数据和知识,在电力、金融等相关领域取得了显著提升。

三层模型的结合,使得文心大模型既有强大的基础大模型,又有任务问题的专有大模型,还有更适合行业场景的行业大模型,具备了可与场景结合的综合模型能力。

据了解,飞欧尔文新的大模型已经应用于工业、能源、金融、通信、传媒、教育等各个行业。通过Feioar开源平台和智能云,以及超过6万的个人和企业开发者。

大模型练习

从内部来看,文心大模型已经被广泛实践,包括搜索、信息推荐、对话系统、智能音箱、自动驾驶等场景,并得到了验证。

“大模型已经能够充分发挥其应用价值。而且应用大模型后,效果比原来的技术方案要好。我们也有数据证明,对于同样的大模型技术,当模型的体积和规模增大时,效果是提高的。”吴添说道。

大模型训练的挑战主要来自于“大”,模型参数规模巨大,不同模型和计算平台的特点不同,给大模型训练带来了实际挑战。飞螺分布式架构将这些差异作为一个整体来考虑,实现了一个端到端的自适应分布式架构。它根据模型和计算平台的特点,自动选择并行策略并自动优化,既通用又高效。

在推理层面,大模型面临更大的挑战。通过对大模型的压缩、推理、服务的全流程部署方案,飞桨帮助大模型更好的落地。总体方案具有通用性和可扩展性,能够广泛支持不同种类的模型结构,实现高速推理。目前已经支持自然语言理解、对话、跨模态生成等大型模型的实时在线应用。

此外,“工业水平”和“知识提升”也是飞桨大模型的两大特点。

新大模型的训练数据来源于实际的工业场景,积累了大量的知识规则,在应用上构建了一系列的支撑能力,比如如何设计数据标签,建议多少数据,以及相应的迁移学习方法等。,提高了大模型实际应用的可行性。在实际应用中,为了弥补一些涉及逻辑推理和认知的任务表现不佳,将大规模知识引入文心大规模模型,通过“知识增强”的方法对数据和知识进行整合,提高了文心大规模模型的通用性。

国网-文新提高了传统电力专项模型的精度,大幅降低了RD门槛,实现了计算能力、数据、技术等资源的整体优化。浦发文信在金融行业的各种智能场景中也得到了验证。

由此可见,构建AI大模型体系的思路与飞桨降低AI应用门槛如出一辙,AI大模型的进一步普及将加速AI产业的“产业化”。

 
友情链接
鄂ICP备19019357号-22