Hugging Face AI 开源博客：Falcon-Emirati: When an LLM Learns the Dialect, the Culture, and the Nuance

Falcon-Emirati-7B 发布，这是一个基于 Falcon-H1-Arabic 的 7B 方言专用模型，专注理解与生成阿联酋阿拉伯语。它沿用 Falcon-H1 混合架构（Mamba 与 Transformer 注意力并行），并构建了真实方言网页数据、阿联酋文化 MSA 语料与受词表约束的合成数据三条管线。团队通过消融实验摸索方言数据注入量与训练阶段，以平衡真实与合成数据。