乐购汽车
您好,欢迎来到乐购汽车!
乐购汽车

  • 微型车

  • 小型车

  • 紧凑型车

  • 中型车

  • 中大型车

  • 豪华车

  • MPV

  • SUV

  • 跑车

  • 面包车

  • 电动车
  • 首页
  • 车讯
  • 新车
  • 选车
  • 排行
  • 试驾
  • 车企
  • 导购
  • 行情
  • 用车
  • 厂商
  • 维修
  • 热点
您的当前位置:乐购汽车 > 热点 >
智能涌现?|突破长文本处理能力局限,港中文贾佳亚团队联合MIT发布大语言
2023-10-09 18:07编辑:sh-ad来源:证券之星   阅读量:17755   

中途迷失、模型偷懒、上下文越长大模型越笨......如果体验过大语言模型产品,用户多少会对文本输入长度带来的限制有所感触,比如当想和大模型讨论一些稍长的内容,需要拆分输入,而前面输入的要点,很快就会被大模型忘记。

智能涌现?|突破长文本处理能力局限,港中文贾佳亚团队联合MIT发布大语言

这是典型的大语言模型对话缺陷,就像先天有注意力缺陷的儿童,难以专注看完一本新书。而缺陷的关键,在于模型缺乏长文本处理能力。这个局面如今被打破。

近日,南方财经全媒体记者从贾佳亚团队处获悉,该团队联合MIT发布了一项名为LongLoRA的技术。该技术只需两行代码、一台8卡A100机器,便可将7B模型的文本长度拓展到100k tokens,70B模型的文本长度拓展到32k tokens;同时,该研究团队还发布了首个拥有70B参数量的长文本对话大语言模型LongAlpaca。

这是贾佳亚团队继8月9日发布的“可以分割一切”的多模态大模型 LISA 后的又一力作。目前该新技术和新模型,已登上各大开源网站的热榜:hugging face热榜第一、paperwithcode热度第一,Github全部python项目热度第五、github stars一周内破千,Twitter上的相关技术帖子浏览量近18万......

全球首个70B长文本大语言模型

LongLoRA的提出,让全球大语言模型的对话缺陷有了较为清晰的解决方案。

原来大语言模型对长文本处理过程中,计算量的主要开销集中在自注意力机制,其开销随着文本长度成平方次地增加。

针对这个问题,贾佳亚团队介绍,团队提出LongLoRA技术,并用分组和偏移的方式来对全局自注意力机制进行模拟。

简单来说,就是将长文本对应的tokens拆分成不同的组,在每组内部做自注意力计算,而分组的方式在不同注意力头上有所偏移。这样的方式既可以大幅度节约计算量,又可以维持全局感受野(Receptive Field)的传递。

令人意外的是,这个实现方法非常简洁,仅两行代码即可完成。自此,几十页的论文、几百页的报告,不再成为大模型盲区。

此外,LongLoRA还探索了低秩训练的方式。贾佳亚团队向南方财经全媒体记者表示,原有的低秩训练方式,如LoRA,无法在文本长度迁移上取得良好的效果。而LongLoRA在低秩训练的基础上,引入嵌入层 进行微调,从而达到可以和全参数微调(Full fine-tune) 逼近的效果。

具体来看,可以参考三个维度表现:

在Perplexity-困惑度上,原有LoRA方法的性能在不断恶化,而LongLoRA和全参数微调都能在各种文本长度下维持很好的效果;

在显存消耗上,相比于全参数微调,LongLoRA和原有LoRA都有大幅度的节省。例如,对于8k长度的模型训练,相比于全参数微调,LongLoRA将显存消耗从46.3GB降低到25.6GB;

在训练时间上,对于64k长度的模型训练,相比于常规LoRA,LongLoRA将训练时间从90~100小时左右降低到52.4小时,而全参数微调超过1000小时。

综合来看,极简的训练方法、极少的计算资源和时间消耗、极佳的准确性,以及相关技术与模型的开源,令LongLoRA大规模推广成为可能。

对此,有专业人士评论称,LongLoRA是大语言模型领域的革新性发明,犹如大语言模型迷宫中的希望之灯。“这代表着业界对长文本大语言模型的重新思考和关注,并有效扩展了大语言模型的上下文窗口,以及允许模型考虑和处理较长的文本序列。”该评论人士称。

看小说、改论文、指点经济

除了技术革新外,大语言模型处理长文本问题的一大难点还在于缺少公开的长文本对话数据。

为此,研究团队特意收集了9k条长文本问答语料对,包含针对名著、论文、深度报道甚至财务报表的各类问答。

光会回答长问题还不够,该团队又挑选了3k的短问答语料与9K的长问答语料混合训练,让长文本大模型同时具备短文本对话能力。这个完整的数据集被称为LongAlpaca-12k,目前也已经开源。目前开源模型还包括LongAlpaca-7B, LongAlpaca-13B和LongAlpaca-70B。

在LongAlpaca-12k数据集基础上,研究团队对不同参数大小7B、13B、70B进行了训练和评测。

贾佳亚团队向南方财经全媒体记者演示了三个应用了LongLoRA技术叠加12K问答语料的大模型LongAlpaca效果。

第一个场景是让系统对一篇论文提出修改意见,从而提升该论文的接收率。

首先,团队喂取系统读两篇新的不同的论文,让LongAlpaca概括ICLR和CVPR两个会议之间的风格区别。在LongAlpaca总结提炼出了两种类型的不同之后,团队又喂取一篇新的论文,让LongAlpaca模型根据ICLR的审查指南,提出修改意见。经过训练的LongAlpaca模型可以很轻松地接受新的长篇学术论文,并在学术相关问题上给出相当精准的回答。

在场景二下,团队又演示了LongAlpaca模型在颇高阅读和理解门槛的经济领域的解读表现。

根据国际货币基金组织从2012年到2023年的全球经济展望的概述合集,对经济形势进行逐年总结以及对未来经济趋势进行预测。LongAlpaca告诉我们,2023年全球经济形势不明朗,跟2022年相比,增长预计放缓;未来几年,全球经济扩张速度偏温和并将低于预期,而地缘政治紧张、金融市场波动等大的挑战依然存在,需通过多边合作和结构性改革小心应对。

在场景三下,团队让LongAlpaca提炼长篇小说中的观点,并选取了模型是13B参数的LongAlpaca和Llama2,看各自表现。

在询问有关《西游记》小说中的问题时,LongAlpaca给出了比Llama2更为全面的解释;在询问有关《三体》小说中的问题时,LongAlpaca也给出了逻辑清晰的回答,而Llama2回答笼统,且答非所问。

从模型给出的答案可发现,一些模型如Llama2可能在预训练过程中见过相关小说,但如果在提问时进行仅根据小说题目进行短文本提问的话,回答并不理想。

郑重声明:此文内容为本网站转载企业宣传资讯,目的在于传播更多信息,与本站立场无关。仅供读者参考,并请自行核实相关内容。

分享到:
  • 最新阅读
  • 美图MiracleVision3.0版本发布助力五大行业“工作流提效”
    美图MiracleVision3.0版本发布助力五大行业“工作流提效”

    10月9日,美图公司举办15周年生日会并发布自研AI视觉大模型MiracleVision3.0版本。面世100天后,美图AI视觉大模型MiracleVision3.0将全面应用于美...

    2023-10-09 18:02
  • 超级“黄金周”超级强动力
    超级“黄金周”超级强动力

    假期消费是观察消费市场景气度和发展趋势的重要窗口。“前半程团圆、后半程旅游”,今年恰逢中秋与国庆“双节”叠加,从一系列的数据来看,全国消费市场人气旺、活力足。 旅游消费是扩大...

    2023-10-09 17:26
  • 比亚迪元PLUS冠军版和哈弗大狗如何选择?
    比亚迪元PLUS冠军版和哈弗大狗如何选择?

    比亚迪元PLUS冠军版正式上市:一款全球车,搭载强劲电机,续航510公里。与之相比,哈弗大狗是一款硬派SUV,搭载2.0T发动机和7速双离合变速箱。 9月15日,比亚迪举行了元P...

    2023-10-09 16:51
  • 魏牌拿铁DHT与新生代家庭同频,“超级奶爸进阶计划”发布
    魏牌拿铁DHT与新生代家庭同频,“超级奶爸进阶计划”发布

    11月19日,“拿铁DHT智能新适应性”威牌拿铁DHT预售发布会在广州车展举行。维牌拿铁DHT预售正式启动,推出中杯、大杯、超大杯三种配置供选择。预售价分别为16.28万元、17....

    2023-10-09 16:36
  • 阿维塔12首秀定位未来智能豪华轿跑将于四季度开始交付
    阿维塔12首秀定位未来智能豪华轿跑将于四季度开始交付

    9月5日,阿维塔12在德国慕尼黑迎来全球首秀,新车定位于“未来智能豪华轿跑”。随后,阿维塔12在德国慕尼黑国际车展上与大家见面。作为品牌第二款车型,阿维塔12依旧延续品牌极具未来、...

    2023-10-09 16:31
热门
小鹏G9将于9月21日上市;法拉利入门敞篷Roma Spider谍照曝光

小鹏G9将于9月21日上

不足12万元起买领克,领克06到底香不香?

不足12万元起买领克,领

  • 售10.19万元起,捷途汽车“旅行+”战
  • 用户福利已就位哈弗M6PLUSCGO柳岩
  • 全新发布中国红内饰!欧尚X7PLUS豪华
  • “对标奔驰S级”,捷尼赛思G90及加长版
  • 捷途旅行者可城可野,预售价14.09万元
聚焦
  • ·元宝量产车正式下线:北京汽车制造厂开启新
  • ·10月9日听华泰柏瑞基金、国联基金等公司
  • ·“黄金周”广州开发商抢客:供货量大涨6成
  • ·吃淡水鱼可以替代海鱼吗?
  • ·马力550匹!大众发布ID.XPerfo
  • ·致富路上跑的快,全靠风骏7来带
  • ·“加价王”丰田雷克萨斯,最高加价80万!
  • ·余承东再喊遥遥领先!25万大五座SUV开
  • ·12.99万起+全铝车身,奇瑞舒享家上阵
  • ·冬季新能源车迎来挑战,增程式技术优势凸显
图文
3款中国SUV霸榜全球热门车TOP5,中国造被认可了?其实,差很远!

3款中国SUV霸榜全球热

8月轿车销量排行榜出炉,轩逸力压比亚迪秦夺冠,宏光MINI第三

8月轿车销量排行榜出炉,

  • “麦”向丰收!各地加快秋收进度智慧收储助
  • 山泉水变“致富水”
  • 通融畅奔不负山河远阔——写在“沪滇·澜湄
  • SUV车型怎么选?吉利星越L深度对比本田
  • “电动宜宾翼享生活”凯翼炫界ProEV第
速递
  • ·奥迪放大招了,新款A5推出近10万元降价
  • ·思皓X8PLUS新增上市,15.68万-
  • ·将车技演绎到极致,“现代嘉年华2.0”让
  • ·售价87.8万起,2023款雷克萨斯LS
  • ·鹤岗的工业转型:煤炭枯竭,石墨来续?
乐购汽车网站地图免责声明
2017- legou.qcdg.cn All Rights Reserved. 乐购汽车 版权所有
备案号:沪ICP备2022017705号   客服联系方式:jokeryouxiang@163.com