火山引擎大模型应用启动邀测,抖音十多个业务团队已试用

最新信息

火山引擎大模型应用启动邀测,抖音十多个业务团队已试用
2023-06-29 14:26:00
6月28日,火山引擎发布大模型服务平台“火山方舟”,面向企业提供模型精调、评测、推理等全方位的平台服务(MaaS,即Model-as-a-Service)。目前,“火山方舟”集成了百川智能、出门问问、复旦大学MOSS、IDEA研究院、澜舟科技、MiniMax、智谱AI等多家AI科技公司及科研院所的大模型,并已启动邀测。
  “未来的大模型市场将是百花齐放的多模型生态,在这个生态系统中,将同时并行存在几个少数的超大规模的大模型、多个中等规模的大模型和更多个行业的垂直模型”,火山引擎总裁谭待在会上透露了对未来大模型市场的判断,“在未来,企业自身对于大模型的应用,将会是‘1 + N’的应用模式,即企业通过自研或者与三方模型服务商的深度合作,形成企业自身的1个主力模型;在这个主力模型之外,在不同的场景中,企业还会同时应用N个外部模型。”
  “企业使用大模型,首先要解决安全与信任问题”,谭待表示,“火山方舟”实现了大模型安全互信计算,为企业客户确保数据资产安全。基于“火山方舟”独特的多模型架构,企业可同步试用多个大模型,选用更适合自身业务需要的模型组合。
  抖音内部十多个业务团队已试用火山方舟
  据火山引擎智能算法负责人吴迪介绍,对模型提供方来说,火山方舟能够帮助企业以更低的成本触达海量客户,用更小的代价在ToB市场规模化。对模型使用者来说,“可以便捷地接触到众多高质量的基座模型。透过火山方舟平台和统一的工作流, 一站式对接多家模型提供商,为不同场景选择最合适的模型。”
  在模型精调方面,吴迪表示,“大家可以在火山方舟上不断积累精调数据集,方便地对一个模型或多个基座模型同时发起训练任务,模型精调的效果指标和运行情况,也将被实时追踪。”
  在安全性上,目前“火山方舟”已上线了基于安全沙箱的大模型安全互信计算方案,利用计算隔离、存储隔离、网络隔离、流量审计等方式,实现了模型的机密性、完整性和可用性保证,适用于对训练和推理延时要求较低的客户。
  据吴迪透露,抖音集团内部已有十多个业务团队试用“火山方舟”,在代码纠错等研发提效场景,文本分类、总结摘要等知识管理场景,以及数据标注、归因分析等方面探索,利用大模型能力促进降本增效。这些内部实践在快速打磨“火山方舟”,推动平台能力的进一步完善。
  对于这些应用,谭待解释称,有些应用用户是无感知的,但体验感会有提升,“比如在客服的场景,客服该怎么回答,他以前需要检索,现在可以通过大模型获得一些提示。跟消费者对话的还是那个客服,但是他的效率就高了很多。所以很多大模型应用场景,对终端的C端客户是无感知的,只是感觉好像服务质量更好了一些,但并不是明显看到后面有一个大模型。”
  此外,谭待还透露,火山方舟是个开放的平台,“字节内部其他团队,如果做好了模型,大概也会上到方舟平台上对外提供,它在方舟上就是众多模型中的一个,就是这个关系。”
  平台服务费相当长时间位设置为0
  吴迪称,训练大模型很昂贵,但是从长期来看,模型的推理开销会超过训练开销。 “我们相信,到2024年秋天之后,以推理为主的大模型应用消耗,将超过预训练消耗的60%,并且在2025年的某个时刻,超越预训练算力消耗。”
  在吴迪看来,降低推理成本会是大模型应用落地的重要因素,“一个经过良好精调的中小规格模型,在特定工作上的表现可能不亚于通用的、巨大的基座模型,而推理成本可以降低到原来的十分之一。”
  对于火山方舟的价格体系,吴迪解释称,“火山引擎会把资源供应给大模型提供方,在供应里面就有一定的IaaS层面的利润。然后大模型供应方会刨除基本成本,在他们的基本成本上再叠加一个他们认为的合理利润,成为他们大模型在火山方舟上的定价。”
  而对于下游客户使用大模型时的费用,吴迪表示,“付钱是两部分,第一个是模型服务费。第二个是平台服务费,平台服务费在相当长的时间我们都会设置成零。”
  ChatGLM是智谱AI推出的千亿基座认知模型,其开源版本在大模型开源领域极具影响力,近期智谱AI还对ChatGLM做了新升级,大幅提升了模型能力。在火山方舟上,智谱AI提供大模型,火山引擎提供高性价比资源、针对不同行业的精调能力及综合解决方案,共建安全可靠的第三方MaaS服务,合力推动各行业的智能化发展。据智谱AI CEO张鹏介绍,智谱AI在火山引擎平台上解决了千亿模型训练的稳定性、性能优化等挑战。
  “每一次技术的大变革,都会带来体验创新的新机会”,谭待坦言,“火山方舟”还在起步阶段,工具链和下游应用插件需要持续完善。平台还将接入更多大模型,并逐步扩大邀测范围,与企业客户共建开放合作的多模型生态,加速大模型在各行各业的应用落地。
(文章来源:南方都市报)
免责申明: 本站部分内容转载自国内知名媒体,如有侵权请联系客服删除。

火山引擎大模型应用启动邀测,抖音十多个业务团队已试用

sitemap.xml sitemap2.xml sitemap3.xml sitemap4.xml