LMSYS 发布开源聊天模型 Vicuna-13B,用 ShareGPT 对话微调 LLaMA,训练成本约 $300

LMSYS 团队用约 7 万条 ShareGPT 用户对话微调 LLaMA,做出开源聊天模型 Vicuna-13B,训练成本约 300 美元;用 GPT-4 做的非严格评测显示,其回答质量达到 ChatGPT/Bard 的九成左右,并超过 LLaMA 与斯坦福 Alpaca。

一句话看懂:LMSYS 团队用约 7 万条 ShareGPT 用户对话微调 LLaMA,做出开源聊天模型 Vicuna-13B,训练成本约 300 美元;用 GPT-4 做的非严格评测显示,其回答质量达到 ChatGPT/Bard 的九成左右,并超过 LLaMA 与斯坦福 Alpaca。

事件核心:发生了什么

2023 年 3 月 30 日,Chatbot Arena 背后的 LMSYS 团队发布 Vicuna-13B。它的基座是 Meta 的 LLaMA,训练数据来自 ShareGPT.com 上用户自愿分享的约 70K 条 ChatGPT 对话,经清洗后用于微调。团队改进了 Alpaca 的训练脚本,以更好支持多轮对话和长序列;训练在 8 张 A100 上以 PyTorch FSDP 完成,耗时约一天,13B 版本训练成本约 300 美元。代码、权重和在线 Demo 均已公开,但仅限非商业用途。

为什么重要

Vicuna 的价值不在“超越 ChatGPT”,而在于把高水平聊天模型的复现门槛压到很低:数据靠社区共享,算力需求小,成本可核算,权重直接开放。对开源阵营来说,它和 LLaMA、Alpaca 一起证明了一件事——在闭源大模型不公开训练与架构细节的情况下,社区仍能用公开基座加对话微调快速逼近主流体验。同时,团队用 GPT-4 当“裁判”做自动评测,也把“用大模型评大模型”这条路线摆上台面。

对用户/开发者/创作者的影响

开发者可以直接下载权重和代码,在自有数据上继续微调,用于客服、知识问答、内容辅助等场景,但需注意其非商业许可限制。对研究者而言,这是一个可复现、可对比的开源基线,便于做多轮对话、长上下文和评测方法实验。对普通用户,Vicuna 的在线 Demo 提供了低成本体验入口;对创作者,它意味着可本地或私有部署的 AI 写作与聊天助手更接近现实,但输出质量仍需人工把关。

GamsGo AI

AI 工具推荐

想把多个 AI 模型放在一个入口?

GamsGo AI 集成 ChatGPT、DeepSeek、Gemini、Claude、Midjourney、Veo 等常用模型,适合写作、绘图、视频和日常 AI 工作流。

了解 GamsGo AI

推广链接:通过此链接购买,我可能获得佣金,不影响你的价格。

值得关注的后续

一是团队承认 GPT-4 评测“有趣但不科学”,更严格的基准和人工评估是否跟进。二是非商业许可会否调整,决定它能否进入企业产品。三是后续版本在中文、多轮对话和事实准确性上的表现,以及开源社区会否围绕它形成插件、工具链和微调生态。

来源:LMSYS:Blog(Chatbot Arena 团队)

celebrityanime
celebrityanime
文章: 27164

发表回复

您的邮箱地址不会被公开。 必填项已用 * 标注