教程展示用消费级GPU从零训练葡萄牙语小模型
原文：Homebrewed SLMs: Autoregressive and Masked Diffusion Language Models Built at Home for Portuguese
构建自己的语言模型不再需要数据中心。本教程在一张消费级GPU上从零训练一个模型（包括分词器），并展示如何判断它是否适合专业领域的任务。它没有提出新方法。它发布了一个经过测试的Python包和两个巴西葡萄牙语notebook，在同一网络上支持自回归和掩码扩散生成，一个预注册的比较协议，仅基于文本构建的法律任务（带有Kneser-Ney下限和公开基准），1100万至1200万参数模型的参考数值，以及一份只有通过测量才发现的缺陷目录。在巴西散文和联邦法律上，每次运行仅需数分钟，自回归模式在同一文本上于64个epoch达到峰值然后开始记忆，而掩码扩散可提升至256个epoch。在测试集各自的最佳点上，扩散下界比自回归似然高出每字节0.06比特，处于预注册的最小效应范围内。在留出法律和训练后颁布的法案上，该模型在相同窗口上的似然与6-gram下限持平，而在续写这些法案时则不如该下限。它在检测篡改文本方面优于该下限，并且在填充交叉引用方面比该下限以及1.6亿和6.3亿参数的公开模型更频繁——但仅在法令这一训练中未出现的体裁中如此，在这些体裁中那些评分器接近或低于随机水平；且仅在每组权重相同时填充空白才占优，因为按单项计算它与6.3亿参数模型持平。在法律上，那些训练算力约为其5×10^2至10^5倍的公开模型在篡改文本和续写方面领先。盲人阅读为预注册内容，不属于本版本的一部分。作者：Pedro Carvalho Brom 类别：cs.CL,cs.LG