Weel EV-B号称世界上第一辆自动驾驶自行车,由初创公司Weel设计而成。外形设计简约,未来感十足。采用铝材料制造车身框架,既轻便又坚固耐用。与传统自行车最大的区别就是,摒弃了很多机械部件,经过了 AI 优化,完全由软件控制。
【产品设计】Weel EV-B自动驾驶自行车
【设计】Weel
#遇见艺术##微博公开课#
【产品设计】Weel EV-B自动驾驶自行车
【设计】Weel
#遇见艺术##微博公开课#
【NeurIPS】新颖的音视频模态融合架构 MBT, 多模态融合注意力瓶颈
出品人:jaelgu(GitHub)
人们通过从多种模态(比如视觉和音频)处理和融合高维输入来感知世界。机器感知模型通常会针对模态来进行设计和优化。因此晚期阶段融合一个单独模态的的特征或者预测结果,是多模态视频分类的一个主流范式。与此不同,MBT (Multimodal Bottleneck Transformers)提出了一个新颖的策略,基于 transformer 架构使用了“融合瓶颈”,在多个层进行模态融合。与传统的成对的自注意力相比,这种模型可以迫使不同模态的信息通过少量的瓶颈隐表示,从而要求模型来去压缩每个模态的相关信息。这种策略可以在减少计算开销的同时改进融合性能。
MBT 限制在同一层内 token 之间跨模态的注意力流。具体来说,是允许模态内的的自由注意力流,但是强制模型来压缩模态的信息。其核心想法是引入一小部分隐式的融合单元形成一个“注意力瓶颈”,跨模态的信息必须从中进行通过。MBT 证明了使用该方法的模型超过了无约束的模型,并且降低了计算量。
如果你觉得我们分享的内容还不错,请不要吝啬给我们一些鼓励:点赞、喜欢或者分享给你的小伙伴!
如果你对我们的项目感兴趣请关注:
[微风] 用于构建模型推理流水线的框架 Towhee:https://t.cn/A6SZZgUj
出品人:jaelgu(GitHub)
人们通过从多种模态(比如视觉和音频)处理和融合高维输入来感知世界。机器感知模型通常会针对模态来进行设计和优化。因此晚期阶段融合一个单独模态的的特征或者预测结果,是多模态视频分类的一个主流范式。与此不同,MBT (Multimodal Bottleneck Transformers)提出了一个新颖的策略,基于 transformer 架构使用了“融合瓶颈”,在多个层进行模态融合。与传统的成对的自注意力相比,这种模型可以迫使不同模态的信息通过少量的瓶颈隐表示,从而要求模型来去压缩每个模态的相关信息。这种策略可以在减少计算开销的同时改进融合性能。
MBT 限制在同一层内 token 之间跨模态的注意力流。具体来说,是允许模态内的的自由注意力流,但是强制模型来压缩模态的信息。其核心想法是引入一小部分隐式的融合单元形成一个“注意力瓶颈”,跨模态的信息必须从中进行通过。MBT 证明了使用该方法的模型超过了无约束的模型,并且降低了计算量。
如果你觉得我们分享的内容还不错,请不要吝啬给我们一些鼓励:点赞、喜欢或者分享给你的小伙伴!
如果你对我们的项目感兴趣请关注:
[微风] 用于构建模型推理流水线的框架 Towhee:https://t.cn/A6SZZgUj
#星理学# 原本预计在下月发布的贝塞斯达的新作《星空》(Starfield)已经延期到2023年了[吃瓜] 工作室的首席设计师Istvan Pely在接受采访时表示希望游戏看起来很写实,能和真实世界联系起来,所以他们创造了一个词来描述这个风格“NASA朋克”(NASA-Punk)。下面这组游戏的概念图和截图有让你感受到NASA-Punk吗?https://t.cn/A65ITGbS
✋热门推荐