大模型的性价比之战已经来到了新的阶段。
5月15日，2024火山引擎FORCE原动力大会上，火山引擎总裁谭待宣布，字节跳动内部自研的豆包大模型正式在火山引擎上对外开放服务。
豆包大模型在价格上主打“极致性价比”：豆包通用模型pro-32k版，推理输入价格0.0008元/千tokens，较行业价格低99.3%。一元钱能买到豆包主力模型的125万tokens，相当于三本《三国演义》的输入量。
谭待认为，降低成本是推动大模型快进到“价值创造阶段”的一个关键因素。过去一年时间中，许多企业已经从探索尝试大模型，到成功将大模型与核心业务流结合。不论是探索阶段的小场景试错环节，还是大流量的核心业务流结合环节，大模型成本高昂问题始终是制约大模型在千行百业落地的关键要素之一。
除了成本，企业大模型落地过程中还可能面临的模型效果差、信息安全、算法实践经验少等问题，大模型服务平台火山方舟2.0版本提出了更具体的解决方案，其平台模型效果、核心插件、系统性能和平台体验层面全面升级。
在大会前的采访中，火山引擎智能算法负责人、火山方舟负责人吴迪向机器之心透露，根据字节跳动内部的判断，当前阶段已经处在大模型规模化落地的爆发前夕，预计2024年年底或者2025年初，企业对大模型的调用量将出现一个陡峭上升、流量激增的拐点。
吴迪认为，在大模型整体落地走向拐点的过程中，模型效果、系统承载力以及性价比三个重要痛点将会更加明显，火山方舟未来也将在这三方面持续发力。
模型效果提升，支持日千亿级别tokens调用量
模型的性能和效果是制约许多企业创新场景的首要条件。作为大模型服务平台，火山方舟平台在模型上希望打造一个“精品模型商店”。根据吴迪的说法，跟去年相比，火山方舟平台在模型的上架上，呈现更加严谨和收缩的态势。“只选择最优秀的闭源大模型，以及能够持续发展的开源大模型”。
在这次的火山引擎FORCE原动力大会上，字节跳动内部的豆包大模型首次面世，而火山方舟将是豆包大模型的唯一使用入口。字节跳动向外一次性推出了豆包大模型的全系列模型，包括豆包通用模型pro/lite、角色扮演模型、语音合成模型、语音识别模型、声音复刻模型、Function call模型、文生图模型以及向量化模型。不同模型面向不同的场景需求。在通用需求上，豆包通用模型pro版能够提供更加专业且泛化的能力，窗口尺寸最大可达128K，全系列可精调，具备强理解、生成、逻辑和记忆力，在问答、总结摘要、创作、文本分类、角色扮演等通用场景具备全面通用的能力。而lite版，则面向更追求性价比的客户，更加轻量。其他细分场景模型支持和加强单一细分场景的能力。比如，角色扮演模型极大地加强了模型在角色扮演方面的能力，能够支持老师、朋友、宠物等角色的扮演需求；语音合成模型拥有超自然语音合成能力，做到5s声音克隆，支持听书、陪伴交互等场景；语音识别模型，支持多语种复杂场景语言识别需求，相比小模型识别错误率降低30%，在音乐、科技、教育、医疗等垂直领域识别错误率降低50%以上。经过过去一年的内部打磨，豆包大模型从1.0进化到3.0，在字节跳动内部被用于办公智能助手、电商导购、售后客服、营销创作、数据智能分析、编程助手等等50余个业务场景，日调用量达到1200亿tokens（约1800亿汉字），图片生成量超过3000万张。目前由豆包大模型支持的AI应用助手豆包APP累计下载量超过1亿，桌面+App双端月活用户量2600万，支持创建的智能体总量超过800万。在采访中，吴迪向机器之心解释称，当前豆包大模型每日千亿tokens级别的量级是目前中国（大模型）市场上非常大的单日吞吐量。这意味着，豆包大模型以及火山方舟的平台已经经过了大流量的生产环境验证，因此即使面对流量非常大，对效果要求非常严苛的客户，被内部业务打磨后的豆包大模型也能够支持这类需求。处理大流量的能力在大模型落地拐点到来后将非常重要。根据吴迪的预判，到了24年底或者到了25年的时候，企业在大语言模型的调用量上面将是今年的数十倍以上。随着企业将大模型纳入自己的核心业务流中，处理大流量的需求也会逐渐拓展。“大模型的落地不是一件从帽子里拽出来兔子的一个魔法。要把大模型在企业的具体环境里面用好，来解决那些远高于公开评测集的困难问题，是需要有一定的算法协助的。”在模型效果的提升上，除了模型本身的能力提升和场景聚焦，针对许多客户在工程落地上的困难，火山方舟还形成了专业的算法服务团队，可以在落地全过程，协助业务诊断、训练优化、问题解答，比如提示词工程，协助用模型和客户的数据去做一些精调和训练，保障项目落地。目前，豆包大模型团队还在重兵投入，持续招揽研究型专家和高潜人才。在字节跳动招聘官网上搜索“豆包大模型”，即可看到该团队有大量职位在招，对大模型的坚决投入可见一斑。系统承载力增强，完成分钟级千卡伸缩
在大模型被企业逐渐纳入核心流程的阶段，火山方舟还发现，面对更大体量的业务、更剧烈的流量波动，还需要更强的系统承载力，否则“有了模型，也跑不起来”。
吴迪总结称，所谓系统承载力，是充沛算力、模型优化能力以及系统调度能力的乘积。只有系统做到更加弹性、稳定、包容，才能接住业务的流量高峰期，并且为潮汐起落的流量匹配最佳的算力投入，实现成本节约。根据大会的介绍，升级后的火山方舟在系统承载力方面的增强也体现在这三方面。在算力方面，拥有充沛的公有云GPU资源池，能够保障资源潮汐调度，流量高峰业务稳定；在优化方面，创建精调模型接入点后5秒即可使用，路由信息持久化保存，即用即达；在调度方面，能够分钟级完成千卡扩缩容，有效支撑突发流量和业务高峰。通常而言，由于一般公司流量的高峰期相对集中，企业自建机房的情况下，平均每天GPU使用时间通常在8-10小时，在4-6小时的高峰期中，GPU用量可以做到效率最高，但是其他时间效率较低，平均成本会被拉高。在一个具备更强承载力的系统下，火山方舟希望做到的是，在无限短的时间里，让算力流动到它该出现的地方，当客户流量爆发时，在毫秒级别的时间里，为这个时段的客户增加GPU算力；当流量下行时，同样快速地抽离算力。在保证客户延迟稳定的情况下，贴合其流量变化，从而最终实现创造最低单位算力成本。另外，火山引擎在推理层面上做了大量优化，包括算子优化、通信优化、大的集群上主网和储存的优化，能够帮助适应异构硬件。成本更低，大模型价格进入“厘时代”
在众多限制因素中，由于算力贵带来的整体大模型使用成本高昂的问题，不仅限制了更多企业在大模型落地方面的创新，也阻碍了企业将大模型落地场景规模化的进程。
QuestMobile数据显示，截至今年3月，基于大模型的AIGC行业用户量为7380万，尽管同比增长了8倍，也仅占移动互联网用户量的6%。火山引擎总裁谭待认为，降低成本是推动大模型快进到“价值创造阶段”的一个关键因素。会上谭待宣布，豆包大模型的定价大幅低于行业价格：豆包通用模型pro-32k版，模型推理输入价格仅为0.0008元/千tokens，而市面上同规格模型的定价一般为0.12元/千，是豆包模型价格的150倍。另外，豆包通用模型pro-128k版本，推理输入价格为0.005元/千tokens，仅是GPT4-Turbo128K （0.07元/千tokens）定价的7%。根据火山引擎公布的价格计算，一元钱就能买到豆包主力模型的125万tokens，大约是200万个汉字，相当于三本《三国演义》。谭待表示，大模型降价，不能只提供低价的轻量化版本，主力模型和最先进的模型也要够便宜，才能真正满足企业的复杂业务场景需求，充分验证大模型的应用价值，从而催化出超越现有产品和组织模式的创新。丰富的插件生态，嵌入抖音头条底层能力
在本次火山方舟的产品升级中，上述三大升级被认为是火山方舟的三个核心循环层，由这三个循环层共同作用下，能够帮助客户解决大模型落地中最重要的三大痛点。
除此之外，本次发布会上，火山方舟还重点提到了，2.0产品对插件生态的进一步丰富，更新后的平台将会上线三个凝结了字节跳动内部强项能力的插件——联网插件、内容插件以及RAG知识库插件。
- 联网插件能够提供头条抖音同款搜索能力，实时连接海量优质互联网数据，不断从新的数据和信息中学习，从而提高其性能和适应性，同时使用文本、图像、语音等多模态交互方式，并通过意图识别能力，提供更准确和全面的回答。
- 内容插件，能够提供头条抖音同源海量内容，支持多模态交互，提供基于意图的垂类内容信息检索，内容时效检索更强，帮助大模型深入理解、检索和生成内容。
- RAG知识库插件能够支持将企业的私域数据注入到大模型中，实现毫秒级百亿规模的高性能检索，秒级流式知识库索引更新。
根据吴迪的说法，这三大插件是内外部业务需求分析后，需求量最大的三种类型插件，这三大插件也同时利用了字节跳动本身的技术、内容、生态优势。其中，RAG知识库插件中内嵌的豆包向量模型，来自抖音和头条两大产品的底层向量库引擎，能够支持200亿的库容量，面对10万次请求能够在3-5毫秒的延迟内完成。“这可能是国内唯一一家能够支持实时索引建库的知识库”，吴迪表示。在抖音内部，这项能力被用来，在几毫秒到几十毫秒间，为用户从数十亿乃至上百亿的候选视频内容中，筛选出适合给他推荐的几十条内容。“从百亿个候选里找到Top100，这个能力是抖音的看家本领，（高速精准筛选）这跟企业知识库的底层需求是完全一致的”。在企业的外挂知识库场景中，在技术上，通常需要对数十万篇文档进行切片、向量化。然后根据指令从数百万个切片中找到最相关的，这些切片经过排序之后进行大模型做总结和摘要，最后输出。在这一个完整流程中，对系统能力的要求与视频推荐系统筛选的要求具备的一致性是——都需要根据输入指令快速而准确地找到对应的内容。吴迪强调，这是许多企业都非常渴望的一种效率。这三大主要插件之外，企业级AI应用开发平台扣子专业版也对外发布。在扣子可视化灵活编排智能体的能力基础上，扣子专业版提供企业级SLA和多种高级特性，使AI应用更易落地，让企业更专注于通过智能体创新，驱动业务增长。拐点将至，大模型落地即将迎来流量爆发
大模型向千行百业落地的进程仍刚刚开启，吴迪在采访中坦言，截至目前，大语言模型的调用量级仍然不高，但是到2024年年底或2025年初，将会迎来爆发式的拐点。而拐点到来的必要条件，是许多充满活力的创业公司，或者很多强技术能力、强探索精神的企业已经逐渐找到把大模型用好的感觉了，比如汽车、教育、医疗等等行业的公司。“现在在我眼中，没有竞争，只有合作和挑战”，他认为，无论是火山引擎还是其他的同赛道公司，在拐点到来前，大家需要一起去面对共同的问题：- 如何让大模型渗透到千行百业，而不是停留在一些表面的POC（Proof of Concept，概念验证）testing？
“这是一个未来五年、十年、十五年的长期旅程。当模型效果、成本、系统这些问题都解决了，剩下的就是千行百业的客户需要针对自己的场景去想，未来的AI时代下，到底会发生什么事了。火山方舟只是能够帮助他们更快、更省地推进这个过程，帮助他们解除一些障碍。”吴迪表示，在拐点到来前，火山方舟会继续顺应实际需求，在模型效果上取得更好的成绩、在系统上做到更加弹性和稳定、在成本上，进一步帮助企业降低难度，支持企业更加自信地尝试和快速迭代，更加无畏地实验和创新。
