【ICML2022】超立方Transformers：你需要什么样的密集图来集中自注意力?

Transformers 在多种任务上取得了进展，但却受到二次元计算和内存复杂性的困扰。最近的工作提出了稀疏Transformers，关注稀疏图，以降低复杂性和保持强大的性能。虽然很有效，但是对于图需要多密集才能很好地执行的关键部分，还没有进行充分的探讨。在本文中，我们提出了归一化信息有效载荷(NIP)，这是一种测量图上信息传递的图评分函数，它提供了一个在性能和复杂性之间进行权衡的分析工具。在理论分析的指导下，我们提出了超立方Transformers，一个稀疏的Transformer，它在超立方体中建模标记交互，并显示与普通Transformer相当甚至更好的结果，同时在序列长度为N的情况下产生O(N log N)复杂度。在需要不同序列长度的任务上的实验为我们的图函数提供了验证。

https://t.cn/A6XjrTZr

#尹恩惠[超话]#［韩网新闻］“Baby V.O.X 出身的#尹恩惠_grace# 否认了与歌手金钟国的恋爱传闻。
经纪公司Jarmy娱乐表示:"过去与金钟国交往的说法并不属实","油管删除视频是因为上传与公司内部系统的问题"。
#尹恩惠YoonEunHye# 17日在油管频道"#恩惠log in# "中提到了前男友。 "在小小的笔记本上会写下前男友发来的短信并送给了对方"，这与金钟国在2018年SBS TV综艺节目《我家的熊孩子》中发表的内容一致。经济公司作出解释：只是纯粹的巧合，说过去大家曾经交往完全不是事实！

#粤嵌星计划我来了#
Master公式估计时间复杂度
Master公式：分析递归函数的时间复杂度，且子问题规模一致
形如：
T(N) = a * T(N/b) + O(N^d)（其中a、b、d都是常数）的递归函数，可以直接通过Master公式来确定时间复杂度
1）如果log(b,a) < d，时间复杂度为O(N^d)
2）如果log(b,a) > d，时间复杂度为O(N^log(b,a))
3）如果log(b,a) == d，时间复杂度为O(N^d * logN)
根据Master公式可得 T(N) =2 * T(N/2) + O(N)
每次都是拆分为两个子问题，每个子问题占总规模的一半，且合并过程的时间复杂度是O(N)
可得归并排序的时间复杂度是O(N*logN)。