FreeToken开源推理引擎发布，提升MoE模型性能
原文：FreeToken Unlocks Frontier MoE Inference on Consumer Hardware via Dynamic Co-Execution
来自加州大学伯克利分校和麻省理工学院的研究人员开发了FreeToken，这是一个开源推理引擎，旨在增强专家混合模型在消费级硬件上的实用性。通过实施动态调度策略和优化权重管理，FreeToken提高了边缘AI应用中的解码速度和执行效率，促进了自托管推理系统的发展。作者：Olimpiu Pop