第四十六章 完善论文 (第2/2页)

苏飞则是把他的小破笔记本抱上床，他想要继续完善他的“菠萝”。

苏飞这几天根据现有的注意力机制文献，有空便修修改改，新想法的框架早就打好，但技术上其实早就步入瓶颈。

具体的技术难点有两个，一是既然要以注意力机制为基创造新的模型单元，那么就要舍弃现有的所有其他模型结构，舍弃这些结构代表着舍弃信息提取层，而注意力机制计算囊括的信息很单一，使用注意力机制可以得到更精确的信息，但同时会缩减信息源。

就好比你拿着放大镜看世界，世界的确更清晰了，但视野会缩小。

第二个难点则是，注意力机制计算是没有顺序的，也就是说信息的顺序是杂乱无序的，而且是没有时空性的，这就意味着在提取信息的时候，你不但有可能得到位置相反的信息，还可能得到时空错乱的信息。

就比如说你在读取一篇新故事的时候，你都是从头读取，对于没有读到的内容你是不知道的，这才会有新奇感，如果是推理小说，你甚至能根据前面故事的内容来推断最后的凶手。

然而一旦采用注意力机制计算，计算机在读这篇故事的时候，很可能会直接读取谁是凶手，因为这个因素是所有读者最为关注的，最吸引读者注意力的，然后逆着顺序往前读。

这两个难点也是困扰当今想改善注意力机制的学者们的最麻烦的难题，而苏飞目前对第一个难点有点想法。

他果断地打开系统商城，买了一张灵感激发卡。

苏飞不会自大到仅靠自己解决这种困扰整个学界十多年的难题。

当然，他也已经有些思路，只是需要灵感激发卡来给他具体化一下。

如果把注意力机制的计算看成一个矩阵，一个矩阵的计算获取一个单一信息，那么是不是只需要多个矩阵就能获得多个信息……

苏飞顺着这个思路往下想，同时心里默念“使用灵感激发卡”。

和上次一样，一股神秘的暖流钻上苏飞的大脑，一个个根据苏飞的思路演算的公式直接刻入他的脑海，一次次的理论修改也涌入他的脑海……

就彷佛是不断试错后成功的苏飞把这一过程带回去给过去的自己。

大脑瞬间便超负荷，苏飞只感觉自己的cpu快炸了。

‘叮！灵感激发卡使用成功！’

随着系统的提示音落下，苏飞的意识也从那海量的信息中退出，就像是沉迷VR的人突然被拔了电源一样。

“这个思路还真的是对的……”

苏飞有些不可思议，要知道，这个思路完全就是他自己琢磨的，不像上次ELMo论文一般有姜大小姐给她启发。

“数学理论真是万能啊，多读书果然没错。”苏飞不禁喃喃自语。

苏飞连忙把第一个难点的解决方桉写到了word文档上去。

【多矩阵拼接构造多头注意力机制以此弥补注意力机制获取信息单一的问题……】

良久，他把所有过程详细地书写了一遍。

“那么，现在该来考虑第二个难点了。”

苏飞紧皱着眉，对于注意力机制的信息无序问题，他还没有任何思路，实际上现在有很多论文专门尝试攻克这个问题，然而效果平平。

苏飞打开面板，看着自己仅剩的1000积分，如果再买一张灵感激发卡，他就成穷光蛋了，而系统目前给出的四个任务，其中三个还遥遥无期。

还需要考虑到的一点是，在没有思路的情况下使用灵感激发卡会不会白白浪费一张。

苏飞略微思索了一会儿，决定暂时放这个难点一马。

过几天去AI研究社看看能不能“集(薅)思(薅)广(羊)益(毛)”。

→