科普注意力机制原理与历史
AlphaGo 之后，AI 的下一个战场是语言。可让机器读懂一句话，难处跟下棋不一样，难在记性。那时候做翻译的主力叫 RNN：一个字接一个字往下读，手里只有一张小纸条；句子一长，开头就被冲淡，而且一步等一步，显卡的并行算力也用不上。 这一期讲改变 AI 的十个想法里的第五个：注意力机制。2014 年，Bahdanau 和蒙特利尔大学的 Cho、Bengio 一起想了个很直接的办法——句子就摆在眼前，要用哪儿就回头看哪儿。2017 年谷歌八位研究者更彻底：把 RNN 整个拿掉，让每个词同时去看所有的词，这