探讨低t/s下的推测解码技术
原文：If your t/s is low enough, you can see speculative decoding with your own eyes
前几天我尝试了对DS4 Pro的蒸馏，它附带MTP。在我的硬件上速度非常慢，每秒仅2-3个token，但是速度偶尔会突然加快，我注意到这是在出现以下情况时发生的：美国合众国 热力学第一定律 互联网的劣化 基本上，每次出现非常可预测的短语时，它都会立即被写出来。这是一个有趣的现象。但它也让我思考——MTP会与n-grams一起工作吗？由于n-grams是马尔可夫链，是自动建议背后的同一引擎，将它们与推测性解码结合起来有多少意义呢？