当前位置: 首页 » 资讯 » 热点文章 » 正文

AI大模型真香

放大字体  缩小字体 发布日期:2021-10-29  浏览次数:2
核心提示:模型的参数规模越大,优势越明显?最近大模型为什么走热,先要从OpenAI讲起。OpenAI是由来自硅谷、西雅图等地的诸多科技大亨联合
 模型的参数规模越大,优势越明显?

最近大模型为什么走热,先要从OpenAI讲起。OpenAI是由来自硅谷、西雅图等地的诸多科技大亨联合建立的人工智能非营利组织,这些大佬们给OpenAI的首期投资是10亿美金,而这个组织的发起人之一,是“钢铁侠”马斯克。2015年,马斯克与其他硅谷、西雅图科技大亨进行连续对话后,决定共同创建OpenAI,希望能够预防人工智能的灾难性影响,推动人工智能发挥积极作用,OpenAI的目标,是要制造“通用”机器人,或者称之为“通用人工智能”。2019年7月,微软也给OpenAI投资了10亿美元。次年6月,OpenAI研发出GPT-3语言模型,而且在三个月后又将这个GPT-3模型独家授权给微软。

最近微软CEO萨提亚对微软首席技术官凯文谈及未来对微软研究院的期待,萨提亚给出了三个期望,其中之一便是AI“大模型”。

那么,这个GPT-3又有什么魔力呢?作为最先进的语言模型,GPT-3包括1750亿个参数(而其前身GPT-2的参数为15亿),从而击败了之前保持记录的图灵NLG模型(170亿)。参数多有什么意义?浪潮人工智能研究院首席研究员吴韶华回应记者说:“其关键原因在于OpenAI的GPT-3凸显了一种小样本学习以及泛化能力,而且两个层面的能力都非常优秀。”

吴韶华进一步解释,泛化能力是指模型训练一次,形成的大模型就可用于各种各样的任务,哪怕这些任务之间没有任何关联。而要理解小样本学习,需要先了解传统的模型训练范式。传统范式是首先要预训练得到一个基础模型,基础模型做完之后,需要针对具体任务再做数据级微调,这意味着如果一个企业有各种各样的任务,就得有各种繁多的模型。“大模型最重要的优势,是进入大规模可复制的产业落地阶段,只需小样本的学习,也能达到比以前更好的效果,而且模型参数规模越大,这种优势越明显,可大大降低各类用户的开发使用成本。”吴韶华说。

模型的参数规模越大,优势越明显。正因为如此,头部AI企业正在不断地追逐大模型之“大”,不久前,微软与英伟达宣布双方合作的语言模型MT-NLG的参数为5300亿。

中国工程院院士王恩东表示:“人工智能如何发展出像人类具备逻辑、意识和推理的认知能力,是人工智能研究一直探索的方向。目前来看,通过大规模数据训练超大参数量的巨量模型,被认为是非常有希望实现通用人工智能的一个重要方向。”随着巨量模型的兴起,巨量化已成为未来人工智能发展非常重要的一个趋势。而巨量化的一个核心特征就是模型参数多、训练数据量大。

人工智能从专用到通用,模型做精更好?

目前,美国在大模型领域已经取得较快进展,代表性的进展有谷歌的Bert,OpenAI的GPT-3等。正当模型参数朝着越来越无穷大的方向迈进之时,OpenAI的CEO宣布其大模型的下一个GPT-4,其参数不会比GPT-3的更多,而是更少,因为GPT-4将使用与之前GPT模型不同的方法,包括数据算法和微调,这其中的重点是在较小的模型中获得最大的收益。


 

本站文章版权归原作者所有 内容为作者个人观点 本站只提供参考并不构成任何投资及应用建议。

本文转载目的在于传递更多信息,并不代表本网赞同其观点和对其真实性负责。如涉及作品内容、版权和其它问题,请在30日内与本网联系,我们将在第一时间删除内容


 
 
[ 资讯搜索 ]  [ 加入收藏 ]  [ 告诉好友 ]  [ 打印本文 ]  [ 关闭窗口 ]

 
0条 [查看全部]  相关评论

 
推荐图文
推荐资讯
点击排行
 
QQ在线咨询
全国服务热线
0755-83690011