如今，小型语言模型(SLM)变得非常流行。自2023年以来，微软研究院发布一套名为“Phi”的小型语言模型(SLM)。2023年12月，微软研究院发布了具有27亿个参数的pi -2模型。这个新模型在基本语言模型中提供了最先进的性能，参数少于130亿个。

  1月23日消息，据外媒报道，日前，Stability AI宣布发布Stable LM 2 16 b，这是一种16亿个参数小语言模型，使用英语、西班牙语、德语、意大利语、法语、葡萄牙语和荷兰语的多语言数据进行训练。

  与其他流行的小型语言模型，如微软的Phi-1.5 (1.3B)和Phi-2 (2.7B)， TinyLlama 11 b或Falcon 1B)相比，Stable LM 2 1.6B在大多数任务上表现更好。您可以查看下面的基准测试数据。

  由于该模型也是在多语言文本上进行训练的，因此在ARC Challenge、HellaSwag、TruthfulQA、MMLU和LAMBADA的翻译版本中，它比其他可比模型的表现要好得多。

  “通过发布小型语言模型，并为其训练细节提供完全透明，我们的目标是使开发人员和模型创建者能够快速实验和迭代。”Stability AI写道。