百度CTO王海峰详解“文心一言”背后技术特性

3月16日，百度在北京总部召开发布会，主题为模型和文心一关于新一代大语言。百度首席技术现在王海峰警官已经详细解释了演讲背后的文心一和技术的特点。

文心一 Yan是新一代知识增强宏语言模型，也是继百度 lattice之后的生成式AI产品，具有对话交互、内容创建、知识推理、多模态生成等能力。

王海峰表示，新一代知识增强语言模型文心一是在厄尼和柏拉图系列模型的基础上发展而来的。其关键技术包括监督微调、具有人类反馈的强化学习、提示、知识增强、检索增强和对话增强。前三项是这种大语言模型 技术所采用的，在厄尼和柏拉图那里得到了应用和积累，在一句话里得到了进一步的强化和打磨；后三项是百度现有技术优势的再创新，也是未来越来越强的基础。

在知识增强方面，文心一言的知识增强主要是通过知识内化和知识外用两种方式。知识内化，是从大规模知识和无标注数据中，基于语义单元学习，利用知识构造训练数据，将知识学习到模型参数中；知识外用，是引入外部多源异构知识，做知识推理、提示构建等等。在知识增强方面，对文心一的知识增强主要是通过知识内化和知识外用。知识内化是从基于语义单元的大规模知识和无标签数据中学习，用知识构造训练数据，将知识学习成模型参数；知识外用就是引入外部多源异构知识，do 知识推理，提示构造等等。

在检索增强方面文心一的检索增强来自于以语义理解和语义匹配为核心的新一代搜索架构技术。通过引入搜索结果，可以为Da 模型提供时效性强、准确率高的参考信息，更好地满足用户需求。

在对话增强方面，基于对话技术和应用积累，文心一具备记忆机制、语境理解和对话规划的能力，从而达到更好的对话连贯性、合理性和逻辑性。

"百度 unique 技术现在已经应用到文心一。"王海峰也承认技术有，但是大模型的训练还不够。而文信达模型在人的反馈、奖励模型和策略优化之间建立了飞轮机制。随着真实用户的反馈越来越多，文心一的效果会越来越好，能力也会越来越强。

王海峰表示百度从2010年开始全面布局人工智能，是全球为数不多的全栈布局的人工智能公司。从螺旋桨飞的深度学习平台昆仑芯片、文心大模型到应用，/[K3/]拥有技术栈各层领先业界的关键自研技术，实现了层层反馈和端到端优化。

王海峰强调，propeller深度学习平台支持文心一单词，效果更好，效率更高，性能更强。对于开发和训练来说，动静态propeller和自适应分布式架构的统一开发范式，可以实现大模型的灵活开发和高效训练。在推理部署方面，飞桨支持大模型高效推理，并提供服务部署能力，包括计算融合、软硬协同稀疏量化、模型压缩等。文信达模型和飞桨深度学习平台夯实了工业智能基础。随着文心一语言和propeller平台的进一步融合发展，人工智能技术的研发和应用将越来越标准化、自动化和模块化，这将加速人工智能的产业化生产，同时也将反哺文心一语言加速迭代进化，在更多的场景和行业落地。

以上就是小编给大家带来的百度CTO王海峰详解“文心一言”背后技术特性的全部内容了，如果对您有帮助，可以关注officeba网站了解后续资讯。