零一万物发布首个大模型Yi-34B 李开复称可处理200K上下文窗口

最新信息

零一万物发布首个大模型Yi-34B 李开复称可处理200K上下文窗口
2023-11-06 11:37:00
11月6日消息,界面新闻获悉,成立仅5个月后,李开复的大模型初创公司零一万物发布了其首个模型Yi-34B,这是一个双语基础模型,训练参数达到340亿,显著小于其他开源模型,如Falcon-180B和Meta LlaMa2-70B,根据Hugging Face的排名,Yi-34B在预训练LLM模型中名列前茅。据李开复所述,Yi-34B可以处理上下文窗口长度达200K,这意味着40万字的文本处理量,是目前全球最长。李开复解释称,尽管更大的模型需要大量高质量数据的良好训练,但他们仍然相信,训练得当的更大模型将始终明显优于质量和技术相当的较小模型。
(文章来源:界面新闻)
免责申明: 本站部分内容转载自国内知名媒体,如有侵权请联系客服删除。

零一万物发布首个大模型Yi-34B 李开复称可处理200K上下文窗口

sitemap.xml sitemap2.xml sitemap3.xml sitemap4.xml