BLOOMChat：多语言支持、可商用的聊天模型

在2023年5月19日，SambaNova和Together两家公司联合发布了BLOOMChat，这是一个支持多语言且可商用的开源聊天大语言模型（LLM）。它基于BLOOM基座模型，不仅可商用，还支持46种语言，包括中文，克服了当前市场上许多开源模型的局限。

BLOOMChat的开源与商用价值

1. 开源的重要性

开源项目如Meta的LLAMA、Vicuna以及清华和智谱AI的ChatGLM虽然在学术研究中有一席之地，但多数不允许商用。这在一定程度上限制了它们的应用范围，尤其是在商业环境中。而BLOOMChat的开源和可商用特性，为企业提供了更多的灵活性和自主权。

2. 多语言支持的挑战与突破

传统上，开源聊天模型大多以英语为主，对非英语的支持不足。但BLOOMChat利用其强大的1760亿参数模型，即使仅在英语数据集上进行了微调，也显著提高了对其他语言的支持能力。在与GPT-4和其他主流模型的比较中，BLOOMChat在多语言支持方面显示出了竞争力，尽管在与GPT-4的直接对比中略显不足。

BLOOMChat的技术与微调策略

1. 微调数据集的选择

BLOOMChat的微调策略包括使用OpenChatKit自动生成的大规模对话数据集以及Dolly 2.0和OASST1等高质量问答数据集。这种结合广度与深度的策略有效提升了模型的综合表现。

2. 微调过程

整个微调过程在SambaNova的AI平台上进行，分两步：先对OpenChatKit进行采样训练，再对Dolly 2.0和OASST1的合集进行深度微调。这一策略确保了模型在多种数据源上的适应性和效率。

性能评估与实验效果

1. 人类评估和模型质量

实验结果显示，BLOOMChat在多种语言的实际应用中表现优越。尽管只在英语上微调，但对于其他语言的回答质量也达到70%以上的正确或可接受率。

2. WMT翻译任务的表现

在WMT翻译任务中，BLOOMChat同样展现出领先其他开源聊天模型的能力，虽然仍然无法与GPT-4媲美。

BLOOMChat不仅开放源码，还支持商用。它在处理非英语对话时简直超出了我的预期，虽然与GPT-4等顶尖模型相比仍有差距，但BLOOMChat的多语种效果已经非常接近实用水平。