讨论LLM即将出现的新架构创新方向
原文：Are there any interesting architectural innovations that we seem to be on the verge of for LLM models or AI models that might be a big deal? (Excluding maybe N-gram, since everyone is already well aware of that one)
理想情况下，这个讨论串想排除那些大家早已熟悉并热议的话题，比如 N-gram、量化改进、MTP、D-flash 和 D-spark，因为大多数人对这些改进方向已经相当了解了。我更好奇的是，关于 LLM 或其他类型 AI 模型的有趣的基础架构变革，你们有没有读到过或刚开始引起关注、但大多数人可能还不知道的？我记得这里有人似乎对更偏向 MAMBA 的架构的可能性很感兴趣，不过我对 AI 了解不够深，不明白相比传统的 LLM Transformer 及其注意力机制，它到底有什么吸引人的地方。比如说，如果人们把它推向更极端的程度，它的上限潜力会是什么？总之，我很好奇还有没有其他值得关注的架构层面的东西，甚至比 MAMBA 或混合架构变革更具颠覆性的——你们有没有见过一些更激进、有人在进行理论探讨的方向，觉得很有意思或潜力很大？如果可能的话，请解释一下为什么你觉得它有趣或有潜力。submitted by /u/DeepOrangeSky