“狂飙”两年,大语言模型已至拐点?
时间:2024-12-19 15:32:45来源:科技日报
自两年前聊天生成预训练转换器(ChatGPT)面世以来,生成式人工智能(AI)技术的拥趸们就一直坚信:随着科技巨头不断用海量数据“喂食”AI模型,再加上计算能力飞速提升,生成式AI改进的步伐将呈指数级增长,接近人类智能的通用AI的出现也指日可待。

然而,在AI快速发展如“烈火烹油”的表面之下,一些专家的隐忧和疑虑也悄然而生。据美国技术雷达网站12月9日报道,谷歌首席执行官桑达尔·皮查伊预测,2025年,AI发展势头将放缓。物理学家组织网稍早时间一篇报道也认为,AI智能的提升速度有所减缓,目前新款大型语言模型的研发似乎已经到了拐点。

一些专家认为,AI模型开发“以大为美”的路线,最终必然会触碰到其极限。前期一路“狂飙”的AI发展势头已经放缓,需要一场“深刻变革”。

AI模型日益膨胀

开放人工智能研究中心(OpenAI)的ChatGPT,可以说点燃了科技公司研发大型语言模型的热情。谷歌、亚马逊、元宇宙平台公司,以及OpenAI主要投资者微软公司等,都砸下数十亿美元巨资,纷纷推出各自的生成式AI应用工具。这些大型语言模型各有千秋,能够轻松生成高质量文本、图像和视频,如今也实现了语音对话功能。

生成式AI的“狂飙”也让OpenAI等公司声名鹊起,赚得盆满钵满。今年10月初,OpenAI公司再次成功融资66亿美元,使其估值达到了惊人的1570亿美元。

对此,AI行业专家、美国纽约大学神经科学教授加里·马库斯表示,OpenAI之所以获得如此高的估值,很大程度上源于很多业界人士内心深处的一种信念:只要不断给AI模型“喂食”更多数据,提升其计算能力,模型就能变得愈发强大。按照这样的发展趋势,可能很快会出现OpenAI负责人萨姆·奥尔特曼所说的智能可与人类匹敌的“通用AI”。

智能水平提速放缓

然而,生成式AI发展的步伐,真会按照人们畅想的“剧本”进行吗?

马库斯直言,“这只是一个美好的幻象”。美国消费者新闻与商业频道(CNBC)网站也在11月初的报道中指出,谷歌、Anthropic公司和OpenAI等公司研发新大型语言模型似乎已经碰到天花板。

风险投资企业安德烈森-霍罗威茨公司是OpenAI股东之一。该公司联合创始人本·霍罗威茨最近坦承,尽管他们一直在按照节奏提升算力,但AI模型的智能水平并未因此得到显著提升。

OpenAI联合创始人伊尔亚·苏茨克维11月15日接受媒体采访时表示,使用大量未标记数据来训练AI模型,以理解语言模式和结构的阶段已经趋于稳定。

专家们指出,一个根本挑战在于,可用于AI训练的数据目前几乎已被AI模型“蚕食殆尽”。

专门针对法律事务的生成式AI公司Spellbook也是OpenAI合作商之一。该公司首席执行官斯科特·史蒂文森表示,一些实验室过于注重用更多文本数据“喂食”AI模型,但仅依靠文本数据对AI进行扩展注定会遇到困难。目前很多企业已经缺乏新东西来“喂养”AI模型。因此,这并非知识储量的问题,而是机器要能够理解句子或画面的含义。

初创公司“抱抱脸”研究员兼AI负责人莎拉·卢乔尼也强调,AI模型开发“以大为美”的路线,最终必然会触碰到其极限。

亟需一场深刻变革

萨姆·奥尔特曼11月14日在其社交平台X上发布信息:没有死胡同!不过,现实情况是,OpenAI选择延迟推出GPT-4的接棒模型,因为GPT-4性能的改进程度未达预期。

作为研发战略转型的一次尝试,今年9月,OpenAI推出了o1模型。这款模型专注于回答复杂问题,尤其是数学问题。它旨在通过提升推理能力,而非单纯增加训练数据量,来提供更准确的答案。史蒂文森认为,OpenAI引导其模型“花更多时间思考而非响应”,这或将引领AI模型研发领域出现一场“深刻变革”。

AI服务网站Quantilus.com在11月25日的报道中指出,OpenAI、“深度思维”等公司正在探索“高效扩展”技术。该技术旨在让大型语言模型复制类似人类的思维方式,而不仅仅是依赖“蛮力”,即大量消耗计算资源。这些方法的重点在于提高训练数据的质量,并结合来自人类反馈的强化学习。

史蒂文森将AI技术的发展与火的出现作比较。他表示,业界不应该再通过给AI提供更多数据、提升算力来促进其发展,而是应该打造类似蒸汽机那样的、具有变革性的事物。

美国斯坦福大学教授沃尔特·德·布劳沃则将先进大型语言模型比作从高中过渡到大学的学生。他表示,目前的AI就像是能做即兴表演的聊天机器人,很容易出错,具有跳跃思维能力的机器即将到来。

标签:

最新
  • “狂飙”两年,大语言模型已至拐点?

    自两年前聊天生成预训练转换器(ChatGPT)面世以来,生成式人工智能

  • 和平之音传向世界 全国50所小学同开网络云班会

    中新网南京12月13日电 (唐娟 孙权)2024年是侵华日军南京大屠杀惨

  • 西平县应急管理局召开防范电信诈骗工作部署会

    为防范治理电信网络诈骗,进一步增强全体干部职工反诈意识,11月19日,

  • 10月份西安新房价格环比下降0.6% 同比上涨0.7%

    国家统计局近日公布了10月份70个大中城市商品住宅销售价格变动情况,

  • 冬季血糖更易升高 糖尿病患者应注意监控 切勿盲目尝试偏方

    今天是第18个联合国糖尿病日,活动主题是糖尿病与幸福感。医务人员

  • 吉林省氢能标准化技术委员会正式成立

    为推动吉林省氢能产业高质量发展,近日,吉林省氢能标准化技术委员

  • 全球时讯:新能源车“买车易、修车难”问题凸显,如何破解?

    新华社新华视点记者黄兴  不久前,成都新能源车车主李先

  • 8月东莞市进出口总值1263.2亿元 居广东省第二位

    中新网广州9月29日电 (记者 许青青)据黄埔海关28日发布的统计,8

  • 江西全力保障国庆假期重要民生商品量足价稳 热门看点

    9月29日,记者从省发展改革委获悉:为做好国庆假期保供稳价,我省各

  • 交通运输系统代表团在河南省第三届职业技能大赛暨第一届人力资源服务业博览会取得优异成绩

    9月22日至28日,河南省第三届职业技能大赛暨第一届人力资源服务业博览

  • 探寻“电池智造工厂” 科技创新助力民众出行|全球热推荐

    中新网北京8月23日电 (张素 刘思皇)集绿色工艺+智慧制造为一体,

  • 要闻:电脑每次更新重启都会弹出“让我们重回正轨”怎么办?电脑更新太慢可以取消吗?

    电脑每次更新重启都会弹出让我们重回正轨怎么办?解决方法方法一若是

  • 中国香港奥运冠军江旻憓告别全职击剑运动员生涯-世界焦点

    中新社香港8月4日电 巴黎奥运会女子个人重剑金牌得主、中国香港选

  • 环球快讯:金价降了!世界黄金协会公布:流动性充裕

    7月21日,“金价猛涨后又大跳水”话题冲上微博热搜。本周国际金价冲高

  • 环球看点!南阳市宛城区法院:西峡县法院到宛城区法院交流人民法庭工作

    7月4日,西峡县法院党组成员王宏钊一行到宛城区法院交流人民法庭工作,

  • 万亿元增发国债项目开工率超八成

     6月18日,国家发展改革委举行6月新闻发布会。记者从会上获悉

  • 旅游
    • 浙江退休中人养老金的计算方法最新 2023浙江养老金上调方案细则最新消息

    • 央行:当前我国没有出现通缩 下半年也不会有通缩风险

    • 彰显影像魅力 闪迪多元存储设备亮相2023 PI展

    • ​​华润&宁波轨交鄞州区潘火住宅项目规划建造13幢高层住宅