揭秘注意力机制真正起源：10年前3项研究几乎同时独立提出 背后故事细节被Karpathy晒邮件公开了

以下为Dzmitry Bahdanau发给Karpathy的原始邮件全文翻译，邮件写于2022年。

10年前，Attention真正的诞生‍‍

嗨，Andrej。

很高兴为您讲述8年前发生的故事！

我在Jakobs University（德国雅各布大学）跟随Herbert Jaeger完成了硕士一年级的学业后，来到Yoshua（图灵奖得主Yoshua Bengio）的实验室实习。

我向Yoshua表示我愿意从事任何工作，他便让我参与机器翻译项目，与Kyunghyun Cho及团队展开合作。

我对将一系列单词塞进向量的想法非常怀疑，但我也真的很想要一个博士学位的offer，所以我卷起袖子，开始做我擅长的事情——编写代码、修复Bug等等。

在某个时候，我对团队正在进行的工作有了足够的了解，Yoshua邀请我攻读博士学位。2014年是个好时代，只需这些工作就足以让我读博了——美好的旧时光！

我很高兴，我觉得是时候享受乐趣并发挥创造力了。

于是我开始思考如何避免Encoder-Decoder RNN之间的信息瓶颈。

我的第一个想法是建立一个带有两个“光标”的模型：一个在源序列中移动，由BiRNN编码；另一个在目标序列中移动。光标轨迹将使用动态规划边际化。

Kyunghyun Cho认为这相当于Alex Graves的RNN Transducer模型。之后，我可能也读了Graves的手写识别论文，但这种方法对于机器翻译来说似乎不太合适。

上述带有光标的方法在我实习的剩余5周内很难实现，所以我尝试了更简单的方法——两个光标同时同步移动，实际上相当于硬编码的对角注意力。

这种方法有点效果，但缺乏优雅。

所以有一天我有了新的想法，让Decorder RNN学会在源序列中搜索放置光标的位置。这在一定程度上受到了我中学英语学习中翻译练习的启发。

在翻译时，你的目光会在源序列和目标序列之间来回移动，我将软搜索表示为softmax，然后对BiRNN 状态进行加权平均。从第一次尝试就效果很好，我非常兴奋。

我将这个架构称为RNNSearch，在1个GPU上运行。由于我们知道谷歌的Ilya（OpenAI前首席科学家Ilya Sutskever）团队使用8个GPU的LSTM模型在某些方面领先于我们，所以我们赶紧在ArXiV上发表了一篇论文。

后来发现，这个名字并不好。更好的名字（注意力）是Yoshua在最后的一次修改中添加到结论中的。

一个半月后，我们看到了Alex Graves的论文。确实是完全相同的想法，尽管他的动机完全不同。

在我们这边，发明新算法是需求驱动的。我猜在他那边，是连接神经学派和符号学派的雄心？Jason Weston团队的Memory Networks论文也有类似的机制。

我没有预见到注意力可以在更低的层次上使用，作为表示学习的核心算法。

但当我看到Transformer论文时，我立即向实验室的同事宣布：RNN已死。

回到您最初的问题：在蒙特利尔Yoshua的实验室中“可微且数据依赖的加权平均”的发明与神经图灵机、Memory Networks以及90年代（甚至 70 年代；但我无法提供链接）的一些相关认知科学论文无关。

这是Yoshua推动实验室追求雄心壮志的领导成果，Kyunghyun Cho在管理由初级博士生和实习生组成的大型机器翻译项目方面的出色技能，以及我自己多年来在编程竞赛中磨练出的创造力和编程技能的结果。

即使我自己、Alex Graves和这个故事中的其他角色当时没有从事深度学习工作，离这个想法出现也不会太远了。

注意力只是深度学习中实现灵活空间连接的自然方式，这几乎是一个显而易见的想法，一直在等待GPU足够快，让人们有动力并认真对待深度学习研究。

自从我意识到这一点，我对AI的大志向就是启动像机器翻译那样令人惊叹的应用项目。

良好的研发工作可以为基础技术的进步做出更多贡献，而不是我们通常认为“真正的”人工智能研究的所有花哨的理论。

就酱！非常好奇听到更多关于您的AI教育项目的消息（我从 Harm de Vries 那里听到了一些传闻）。

干杯，Dima

One More Thing

Karpathy感叹，有点惊讶这篇真正的注意力起源论文没有获得足够多的

自从Attention is all you need一飞冲天之后，大家意识到给论文起一个好名字对技术传播的影响，后面的论文标题就放飞了。

除了扎堆模仿xx is all you need之外，最近甚至还出现了Taylor Unswift。

讲的是把模型权重转换成泰勒级数的参数，来保护已发布模型的所有权并防止被滥用。

就，emmm……