Auto Byte

专注未来出行及智能汽车科技

微信扫一扫获取更多资讯

Science AI

关注人工智能与其他前沿技术、基础学科的交叉研究与融合发展

微信扫一扫获取更多资讯

大模型价格进入“厘”时代,豆包大模型定价每千tokens仅0.8厘

大模型的性价比之战已经来到了新的阶段。

5月15日,2024火山引擎FORCE原动力大会上,火山引擎总裁谭待宣布,字节跳动内部自研的豆包大模型正式在火山引擎上对外开放服务。

豆包大模型在价格上主打“极致性价比”:豆包通用模型pro-32k版,推理输入价格0.0008元/千tokens,较行业价格低99.3%。一元钱能买到豆包主力模型的125万tokens,相当于三本《三国演义》的输入量。

谭待认为,降低成本是推动大模型快进到“价值创造阶段”的一个关键因素。过去一年时间中,许多企业已经从探索尝试大模型,到成功将大模型与核心业务流结合。不论是探索阶段的小场景试错环节,还是大流量的核心业务流结合环节,大模型成本高昂问题始终是制约大模型在千行百业落地的关键要素之一。

除了成本,企业大模型落地过程中还可能面临的模型效果差、信息安全、算法实践经验少等问题,大模型服务平台火山方舟2.0版本提出了更具体的解决方案,其平台模型效果、核心插件、系统性能和平台体验层面全面升级。

在大会前的采访中,火山引擎智能算法负责人、火山方舟负责人吴迪向机器之心透露,根据字节跳动内部的判断,当前阶段已经处在大模型规模化落地的爆发前夕,预计2024年年底或者2025年初,企业对大模型的调用量将出现一个陡峭上升、流量激增的拐点。

吴迪认为,在大模型整体落地走向拐点的过程中,模型效果、系统承载力以及性价比三个重要痛点将会更加明显,火山方舟未来也将在这三方面持续发力。

模型效果提升,支持日千亿级别tokens调用量

模型的性能和效果是制约许多企业创新场景的首要条件。作为大模型服务平台,火山方舟平台在模型上希望打造一个“精品模型商店”。根据吴迪的说法,跟去年相比,火山方舟平台在模型的上架上,呈现更加严谨和收缩的态势。“只选择最优秀的闭源大模型,以及能够持续发展的开源大模型”。


在这次的火山引擎FORCE原动力大会上,字节跳动内部的豆包大模型首次面世,而火山方舟将是豆包大模型的唯一使用入口。

字节跳动向外一次性推出了豆包大模型的全系列模型,包括豆包通用模型pro/lite、角色扮演模型、语音合成模型、语音识别模型、声音复刻模型、Function call模型、文生图模型以及向量化模型。

不同模型面向不同的场景需求。在通用需求上,豆包通用模型pro版能够提供更加专业且泛化的能力,窗口尺寸最大可达128K,全系列可精调,具备强理解、生成、逻辑和记忆力,在问答、总结摘要、创作、文本分类、角色扮演等通用场景具备全面通用的能力。而lite版,则面向更追求性价比的客户,更加轻量。

其他细分场景模型支持和加强单一细分场景的能力。比如,角色扮演模型极大地加强了模型在角色扮演方面的能力,能够支持老师、朋友、宠物等角色的扮演需求;语音合成模型拥有超自然语音合成能力,做到5s声音克隆,支持听书、陪伴交互等场景;语音识别模型,支持多语种复杂场景语言识别需求,相比小模型识别错误率降低30%,在音乐、科技、教育、医疗等垂直领域识别错误率降低50%以上。
图片
经过过去一年的内部打磨,豆包大模型从1.0进化到3.0,在字节跳动内部被用于办公智能助手、电商导购、售后客服、营销创作、数据智能分析、编程助手等等50余个业务场景,日调用量达到1200亿tokens(约1800亿汉字),图片生成量超过3000万张。目前由豆包大模型支持的AI应用助手豆包APP累计下载量超过1亿,桌面+App双端月活用户量2600万,支持创建的智能体总量超过800万。

在采访中,吴迪向机器之心解释称,当前豆包大模型每日千亿tokens级别的量级是目前中国(大模型)市场上非常大的单日吞吐量。这意味着,豆包大模型以及火山方舟的平台已经经过了大流量的生产环境验证,因此即使面对流量非常大,对效果要求非常严苛的客户,被内部业务打磨后的豆包大模型也能够支持这类需求。

处理大流量的能力在大模型落地拐点到来后将非常重要。根据吴迪的预判,到了24年底或者到了25年的时候,企业在大语言模型的调用量上面将是今年的数十倍以上。随着企业将大模型纳入自己的核心业务流中,处理大流量的需求也会逐渐拓展。

“大模型的落地不是一件从帽子里拽出来兔子的一个魔法。要把大模型在企业的具体环境里面用好,来解决那些远高于公开评测集的困难问题,是需要有一定的算法协助的。”

在模型效果的提升上,除了模型本身的能力提升和场景聚焦,针对许多客户在工程落地上的困难,火山方舟还形成了专业的算法服务团队,可以在落地全过程,协助业务诊断、训练优化、问题解答,比如提示词工程,协助用模型和客户的数据去做一些精调和训练,保障项目落地。

目前,豆包大模型团队还在重兵投入,持续招揽研究型专家和高潜人才。在字节跳动招聘官网上搜索“豆包大模型”,即可看到该团队有大量职位在招,对大模型的坚决投入可见一斑。

系统承载力增强,完成分钟级千卡伸缩

在大模型被企业逐渐纳入核心流程的阶段,火山方舟还发现,面对更大体量的业务、更剧烈的流量波动,还需要更强的系统承载力,否则“有了模型,也跑不起来”。


吴迪总结称,所谓系统承载力,是充沛算力、模型优化能力以及系统调度能力的乘积。只有系统做到更加弹性、稳定、包容,才能接住业务的流量高峰期,并且为潮汐起落的流量匹配最佳的算力投入,实现成本节约。

根据大会的介绍,升级后的火山方舟在系统承载力方面的增强也体现在这三方面。在算力方面,拥有充沛的公有云GPU资源池,能够保障资源潮汐调度,流量高峰业务稳定;在优化方面,创建精调模型接入点后5秒即可使用,路由信息持久化保存,即用即达;在调度方面,能够分钟级完成千卡扩缩容,有效支撑突发流量和业务高峰。

通常而言,由于一般公司流量的高峰期相对集中,企业自建机房的情况下,平均每天GPU使用时间通常在8-10小时,在4-6小时的高峰期中,GPU用量可以做到效率最高,但是其他时间效率较低,平均成本会被拉高。

在一个具备更强承载力的系统下,火山方舟希望做到的是,在无限短的时间里,让算力流动到它该出现的地方,当客户流量爆发时,在毫秒级别的时间里,为这个时段的客户增加GPU算力;当流量下行时,同样快速地抽离算力。在保证客户延迟稳定的情况下,贴合其流量变化,从而最终实现创造最低单位算力成本。

另外,火山引擎在推理层面上做了大量优化,包括算子优化、通信优化、大的集群上主网和储存的优化,能够帮助适应异构硬件。

成本更低,大模型价格进入“厘时代”

在众多限制因素中,由于算力贵带来的整体大模型使用成本高昂的问题,不仅限制了更多企业在大模型落地方面的创新,也阻碍了企业将大模型落地场景规模化的进程。

QuestMobile数据显示,截至今年3月,基于大模型的AIGC行业用户量为7380万,尽管同比增长了8倍,也仅占移动互联网用户量的6%。

火山引擎总裁谭待认为,降低成本是推动大模型快进到“价值创造阶段”的一个关键因素。

会上谭待宣布,豆包大模型的定价大幅低于行业价格:豆包通用模型pro-32k版,模型推理输入价格仅为0.0008元/千tokens,而市面上同规格模型的定价一般为0.12元/千,是豆包模型价格的150倍。

另外,豆包通用模型pro-128k版本,推理输入价格为0.005元/千tokens,仅是GPT4-Turbo128K (0.07元/千tokens)定价的7%。

根据火山引擎公布的价格计算,一元钱就能买到豆包主力模型的125万tokens,大约是200万个汉字,相当于三本《三国演义》。

谭待表示,大模型降价,不能只提供低价的轻量化版本,主力模型和最先进的模型也要够便宜,才能真正满足企业的复杂业务场景需求,充分验证大模型的应用价值,从而催化出超越现有产品和组织模式的创新。

丰富的插件生态,嵌入抖音头条底层能力

在本次火山方舟的产品升级中,上述三大升级被认为是火山方舟的三个核心循环层,由这三个循环层共同作用下,能够帮助客户解决大模型落地中最重要的三大痛点。

除此之外,本次发布会上,火山方舟还重点提到了,2.0产品对插件生态的进一步丰富,更新后的平台将会上线三个凝结了字节跳动内部强项能力的插件——联网插件、内容插件以及RAG知识库插件。

  • 联网插件能够提供头条抖音同款搜索能力,实时连接海量优质互联网数据,不断从新的数据和信息中学习,从而提高其性能和适应性,同时使用文本、图像、语音等多模态交互方式,并通过意图识别能力,提供更准确和全面的回答。

  • 内容插件,能够提供头条抖音同源海量内容,支持多模态交互,提供基于意图的垂类内容信息检索,内容时效检索更强,帮助大模型深入理解、检索和生成内容。

  • RAG知识库插件能够支持将企业的私域数据注入到大模型中,实现毫秒级百亿规模的高性能检索,秒级流式知识库索引更新。

根据吴迪的说法,这三大插件是内外部业务需求分析后,需求量最大的三种类型插件,这三大插件也同时利用了字节跳动本身的技术、内容、生态优势。

其中,RAG知识库插件中内嵌的豆包向量模型,来自抖音和头条两大产品的底层向量库引擎,能够支持200亿的库容量,面对10万次请求能够在3-5毫秒的延迟内完成。“这可能是国内唯一一家能够支持实时索引建库的知识库”,吴迪表示。

在抖音内部,这项能力被用来,在几毫秒到几十毫秒间,为用户从数十亿乃至上百亿的候选视频内容中,筛选出适合给他推荐的几十条内容。“从百亿个候选里找到Top100,这个能力是抖音的看家本领,(高速精准筛选)这跟企业知识库的底层需求是完全一致的”。

在企业的外挂知识库场景中,在技术上,通常需要对数十万篇文档进行切片、向量化。然后根据指令从数百万个切片中找到最相关的,这些切片经过排序之后进行大模型做总结和摘要,最后输出。在这一个完整流程中,对系统能力的要求与视频推荐系统筛选的要求具备的一致性是——都需要根据输入指令快速而准确地找到对应的内容。吴迪强调,这是许多企业都非常渴望的一种效率。

这三大主要插件之外,企业级AI应用开发平台扣子专业版也对外发布。在扣子可视化灵活编排智能体的能力基础上,扣子专业版提供企业级SLA和多种高级特性,使AI应用更易落地,让企业更专注于通过智能体创新,驱动业务增长。

拐点将至,大模型落地即将迎来流量爆发

大模型向千行百业落地的进程仍刚刚开启,吴迪在采访中坦言,截至目前,大语言模型的调用量级仍然不高,但是到2024年年底或2025年初,将会迎来爆发式的拐点。而拐点到来的必要条件,是许多充满活力的创业公司,或者很多强技术能力、强探索精神的企业已经逐渐找到把大模型用好的感觉了,比如汽车、教育、医疗等等行业的公司。

“现在在我眼中,没有竞争,只有合作和挑战”,他认为,无论是火山引擎还是其他的同赛道公司,在拐点到来前,大家需要一起去面对共同的问题:

  • 如何让大模型渗透到千行百业,而不是停留在一些表面的POC(Proof of Concept,概念验证)testing?
  • 如何共同将大模型技术推向新的高度?

“这是一个未来五年、十年、十五年的长期旅程。当模型效果、成本、系统这些问题都解决了,剩下的就是千行百业的客户需要针对自己的场景去想,未来的AI时代下,到底会发生什么事了。火山方舟只是能够帮助他们更快、更省地推进这个过程,帮助他们解除一些障碍。”

吴迪表示,在拐点到来前,火山方舟会继续顺应实际需求,在模型效果上取得更好的成绩、在系统上做到更加弹性和稳定、在成本上,进一步帮助企业降低难度,支持企业更加自信地尝试和快速迭代,更加无畏地实验和创新。
产业豆包大模型字节跳动2024火山引擎FORCE原动力大会
81
相关数据
字节跳动机构

北京字节跳动科技有限公司成立于2012年,是最早将人工智能应用于移动互联网场景的科技企业之一,是中国北京的一家信息科技公司,地址位于北京市海淀区知春路甲48号。其独立研发的“今日头条”客户端,通过海量信息采集、深度数据挖掘和用户行为分析,为用户智能推荐个性化信息,从而开创了一种全新的新闻阅读模式

https://bytedance.com
信息检索技术

信息检索(IR)是基于用于查询检索信息的任务。流行的信息检索模型包括布尔模型、向量空间模型、概率模型和语言模型。信息检索最典型和最常见的应用是搜索引擎。

调度技术

调度在计算机中是分配工作所需资源的方法。资源可以指虚拟的计算资源,如线程、进程或数据流;也可以指硬件资源,如处理器、网络连接或扩展卡。 进行调度工作的程序叫做调度器。调度器通常的实现使得所有计算资源都处于忙碌状态,允许多位用户有效地同时共享系统资源,或达到指定的服务质量。 see planning for more details

文本分类技术

该技术可被用于理解、组织和分类结构化或非结构化文本文档。文本挖掘所使用的模型有词袋(BOW)模型、语言模型(ngram)和主题模型。隐马尔可夫模型通常用于词性标注(POS)。其涵盖的主要任务有句法分析、情绪分析和垃圾信息检测。

知识库技术

知识库是用于知识管理的一种特殊的数据库,以便于有关领域知识的采集、整理以及提取。知识库中的知识源于领域专家,它是求解问题所需领域知识的集合,包括基本事实、规则和其它有关信息。

推荐系统技术

推荐系统(RS)主要是指应用协同智能(collaborative intelligence)做推荐的技术。推荐系统的两大主流类型是基于内容的推荐系统和协同过滤(Collaborative Filtering)。另外还有基于知识的推荐系统(包括基于本体和基于案例的推荐系统)是一类特殊的推荐系统,这类系统更加注重知识表征和推理。

逻辑技术

人工智能领域用逻辑来理解智能推理问题;它可以提供用于分析编程语言的技术,也可用作分析、表征知识或编程的工具。目前人们常用的逻辑分支有命题逻辑(Propositional Logic )以及一阶逻辑(FOL)等谓词逻辑。

语音识别技术

自动语音识别是一种将口头语音转换为实时可读文本的技术。自动语音识别也称为语音识别(Speech Recognition)或计算机语音识别(Computer Speech Recognition)。自动语音识别是一个多学科交叉的领域,它与声学、语音学、语言学、数字信号处理理论、信息论、计算机科学等众多学科紧密相连。由于语音信号的多样性和复杂性,目前的语音识别系统只能在一定的限制条件下获得满意的性能,或者说只能应用于某些特定的场合。自动语音识别在人工智能领域占据着极其重要的位置。

语言识别技术

在自然语言处理中,语言识别或语言猜测是确定给定内容所使用的自然语言的问题。针对该问题的计算方法被视为文本分类的特例,并用各种统计方法解决。

QuestMobile机构

贵士移动是一家APP全生命周期数据研究及服务公司,拥有多条数据服务产品线,服务内容覆盖数据统计、数据分析、挖掘,核心产品包括Truth系列、Growth系列。

http://www.questmobile.com.cn/
模型优化技术

像卷积神经网络(CNN)这样的深度学习模型具有大量的参数;实际上,我们可以调用这些超参数,因为它们原本在模型中并没有被优化。你可以网格搜索这些超参数的最优值,但需要大量硬件计算和时间。改进模型的最佳方法之一是基于在你的领域进行过深入研究的专家的设计和体系结构,他们通常拥有强大的硬件可供使用。常见的简单模型优化技巧包括迁移学习、dropout、学习率调整等

机器之心机构

机器之心,成立于2014年,是国内最具影响力、最专业、唯一用于国际品牌的人工智能信息服务与产业服务平台。目前机器之心已经建立起涵盖媒体、数据、活动、研究及咨询、线下物理空间于一体的业务体系,为各类人工智能从业者提供综合信息服务和产业服务。

https://www.jiqizhixin.com/
语言模型技术

统计式的语言模型是借由一个几率分布,而指派几率给字词所组成的字串。语言模型经常使用在许多自然语言处理方面的应用,如语音识别,机器翻译,词性标注,句法分析和资讯检索。

意图识别技术

意图识别指理解说话人的意图 。

语音合成技术

语音合成是通过机械的、电子的方法产生人造语音的技术。TTS技术(又称文语转换技术)隶属于语音合成,它是将计算机自己产生的、或外部输入的文字信息转变为可以听得懂的、流利的汉语口语输出的技术。

量化技术

深度学习中的量化是指,用低位宽数字的神经网络近似使用了浮点数的神经网络的过程。

暂无评论
暂无评论~