八一文学网

手机浏览器扫描二维码访问

通用大模型的技术迭代与竞争格局(第2页)

小主,这个章节后面还有哦,请点击下一页继续阅读,后面更精彩!

- 语言理解:比如中文能力测评集CLUE,考的是模型能不能读懂中文文章、理解成语、分析句子逻辑;

- 逻辑推理:比如数学推理测评集GSM8K,考的是模型能不能解数学题、做逻辑判断;

- 多模态交互:比如文本生成图像测评集MS-COCO,考的是模型能不能根据文字描述生成对应的图像。

“场景化测试”就像“职业技能考试”,考的是大模型在具体场景里的“专业能力”,比如:

- 代码生成:用测评集HumanEval评估模型能不能写代码、找bug;

- 文案创作:评估模型生成的营销文案、广告脚本,能不能提高产品转化率。

从测评结果来看,不同模型各有胜负,没有“全能冠军”:

- GPT-4:在多模态交互和复杂逻辑推理上领先,比如在GSM8K数学推理测评中,准确率超过92%,能解很多高中甚至大学的数学题;根据文字生成图像时,也能更精准地还原描述(比如“一只穿着红色外套的兔子在雪地里堆雪人”,生成的图像细节更到位);

- 文心一言:在中文文本生成和知识问答上表现优异,在CLUE测评中,中文理解准确率超过88%,比如写中文古诗、解读中文历史文献,比国外模型更准确;

- 通义千问:在商业场景应用中更有优势,比如生成电商营销文案时,转化率比其他模型高15%-20%——同样是写“连衣裙”的文案,它写的文案能让更多用户下单。

所以,选通用大模型不能只看“排名”,还要看“场景匹配度”:做数学推理、多模态创作,选GPT-4可能更好;做中文内容、知识问答,选文心一言更合适;做电商、商业文案,通义千问可能是更优解。

二、核心优化方向:效率、多模态、轻量化,让大模型“好用又便宜”

现在的通用大模型虽然能力强,但有两个大问题:一是“太贵”,训练一次要花几千万甚至几亿美元,普通企业用不起;二是“太笨重”,只能在云端的超级计算机上运行,手机、工业设备这些终端用不了。为了解决这些问题,行业把“效率提升”“多模态融合”“轻量化”定为三大核心优化方向——目标就是让大模型“成本更低、能力更强、应用更广”,从“高成本研发”走向“低成本落地”。

1. 效率提升:“又快又省”,训练和推理双管齐下

效率提升主要针对两个环节:“训练效率”和“推理效率”。“训练效率”是指“怎么用更少的时间、更少的算力,把大模型训练出来”;“推理效率”是指“怎么让训练好的模型,更快地响应用户需求”。

先看“训练效率”,现在主要靠两种技术优化:

- 并行计算:比如“模型并行”“数据并行”——简单说就是把大模型拆成多个部分,让多台计算机一起训练;或者把训练数据分成多份,让多台计算机同时处理。比如某团队通过优化训练框架,把千亿参数模型的训练时间从30天缩短到15天,直接省了一半时间;

- 混合精度训练:以前训练模型用的是FP32精度(32位浮点数),数据存储和计算量都很大。现在改用FP16、BF16精度(16位浮点数),在不影响模型性能的前提下,把算力消耗减少一半,训练成本也跟着降下来。

再看“推理效率”,核心是让模型“响应更快”——比如用户输入“写一篇关于春天的散文”,模型能更快地生成内容,而不是让用户等半天。现在主要靠两种技术:

- 算子优化:“算子”是模型计算的基本单元,就像“积木”。通过优化算子的计算逻辑,让每一步计算更快。比如把复杂的算子拆成简单的算子,或者用更高效的算法替代旧算法;

热门小说推荐
40k:午夜之刃

40k:午夜之刃

此乃人类帝国的第三十个千年。在人类之主·帝皇的带领下,人类终于再次从母星离开,迈向冰冷而无情的宇宙。他们渴望收回失去的殖民地,也希望让那些受着痛苦折磨的人们回到帝皇的光辉之下。此时此刻,人类还对未来怀揣着美好的愿景。此时此刻,没人知道未来会发生什么。而故事,则开始于一个名为诺斯特拉莫的偏远星球之上。卡里尔·洛哈尔斯。你应该记住这个名字。(战锤同人。)...

倒刺

倒刺

有的人什么都不用做,你就会很爱他 章珣觉得,他和程澍之间发生的一切,和这世上所有讳莫如深的秘密一样,应当永远被关在那扇门里,即便很多年后他们再见面,亦不可露出一丝端倪,可这种单方面的想法,在看见程澍的车子停到楼下时又会削弱一些。 章珣贯会这样,趴在阳台的围栏上,看他下车,看他脱掉外套搭在臂弯里,看他一边埋头点烟一边朝里走,不久后密码锁的声音从门口传来,而程澍进门的第一句话总是简短的一声,“章珣。” ----------------- 程澍(艾斯伯格综合征患者)X章珣(依赖性超强) (看着冷淡实则超疼爱老婆的攻X依赖感超强但一直以为自己很独立的受) ----------------- tips 1.是一篇金主文,也是不用动脑子的恋爱文 2.破镜重圆(只破了一点哈哈),先做后爱,金主其实很温柔 3.推荐下我老婆的ABO文《心有陈疾》CP385212:臧白从二十岁那年开始,就反复做同一个噩梦,在那个梦里,他被胁迫在那个狭窄的隔间。疼痛、屈辱、恐惧和鲜血从那白瓷抽水箱上蔓延开来,刻进他的人生,让他永远残缺了一部分.........

穿到红尘逮天神

穿到红尘逮天神

一次受操控的穿越,把现实中的相关人物推到风口浪尖。老油条的胎光乍入褚照天的泥丸宫,凭职业穿越者的经验察觉到:大实业家褚慕勇这儿子是根恶棍,带着人见人恨,鬼见鬼愁的气场。褚照天一个多月前出车祸,撞隔离堆没撞赢,从动物人变成植物人。老油条不愿承担孽债,想开溜,可宿主的七窍已被法器堵住,老油条的爽灵、幽精、七魄相继入驻,......

耀阳星

耀阳星

《耀阳星》作者:幻龙文案:『参与穿越计划,查明辐射真相,赢取十亿奖金!』为了得到丰厚的奖金来改写命运,向璈在主办方的坑蒙拐骗下踏上了废土世界,并继承了原主留下的“丰厚”遗产:一张赏金猎人资格证,一辆重型基地车,还有……一个人?一个茫然无措的穿越者,一个手无缚鸡之力的纯花瓶,彼此互不信任的她们,被滚滚黄沙封锁在了这片危机四伏的土...

深渊漫游者

深渊漫游者

手滑炸掉全球互联网以后,江舟成为了人类历史上最恶劣的罪人,陷入了漫长的沉睡。而一百年后当他再度苏醒时,呈现在他眼前的,是一个交织着蛮荒与文明,充斥着控制与反抗的失控时代。深渊之中,无以计数的失控人工智能肆虐成灾;奥林匹斯之上,以神祇自居的超级企业睥睨凡众;基底现实之内,凡人们于苦难与疯狂间苦苦挣扎。但长夜已逝,黎明将至。当他从漫长的沉睡中醒来,人智革命的种子已然发芽。脑机接口、曼陀罗程序、调整深度、心智指数、伊卡洛斯症候、军用僵尸……在这黑暗时代终结的前夕,当有人问起江舟他究竟是谁的时候,他如是回答:“我是一,亦是众;我是开端,亦是终焉;你可以称呼我为悖论本身。我是第一深潜者、伊卡洛斯的重启者、诺德之地的看门人。我是破囚者、灯塔暴徒、摘下金枝之人,以及统御冥府的无面之神。我有着无数的身份,恰似风有着无数方向,凡人有着无数种死法。我的名字叫做——”“换句话说,整个组织其实只有你一个人?”“呃……是这样的。”...

无名之都市仙尊

无名之都市仙尊

林羽,一位纵横修仙界的大能,遭逢强敌围攻,意外穿越至现代都市。在这繁华却又隐藏无数暗涌的都市中,他本欲低调修炼,回归仙途,然而,四大家族的贪婪与霸道,神秘暗影会的邪恶阴谋,打破了他的平静。林羽以修仙者之姿,在都市中展露锋芒,他从黑拳组织的血腥泥沼中救出无辜,在与四大家族的明争暗斗里屡破诡计,于神秘遗迹探寻强大法宝,......