提出适用于微控制器储备池计算的轻量激活函数
原文：MulClip: A table-free activation function with monotonic and folding regimes for reservoir computing on microcontrollers
本文提出了MulClip，一种面向微控制器（MCU）上储备池计算（RC）的轻量级激活函数。在环形储备池这一代表性稀疏RC拓扑中，乘累加操作很少，而在Cortex-M4上评估tanh占状态更新时间的75%。MulClip仅使用比较、绝对值、乘法和减法来为响应引入曲率，并将其截断阈值设置在响应经过极值后回到零的位置，而非极值处。因此，单一函数同时具有单调区间和非单调折叠区间，增强了单个单元的表达能力。使用哪种区间由常规超参数搜索（例如在输入尺度上）决定，因此无需针对特定任务调整阈值。在硬件上测得的状态更新时间为tanh的0.34倍，且短于所评估的11种tanh近似中的任何一种。在基于PC的评估中，三阶MulClip在NARMA-20上（预激活保持在单调区间）的NMSE比tanh低22%，在8位奇偶校验任务上将无折叠的单调截断变体的准确率从0.76-0.78提升至0.97-0.98。在这两项任务中，端侧推理结果与PC端几乎相同。作者：Guren Matsumura, Masato Takemoto, Shinzo Koyama 类别：cs.LG, cs.NE