几篇论文实现代码：
《MaskClustering: View Consensus based Mask Graph Clustering for Open-Vocabulary 3D Instance Segmentation》(CVPR 2024) GitHub: github.com/PKU-EPIC/MaskClustering [fig1]
《UnScene3D: Unsupervised 3D Instance Segmentation for Indoor Scenes》(CVPR 2024) GitHub: github.com/RozDavid/UnScene3D [fig3]
《VMRNN: Integrating Vision Mamba and LSTM for Efficient and Accurate Spatiotemporal Forecasting》(CVPR 2024) GitHub: github.com/yyyujintang/VMRNN-PyTorch [fig4]
《DrEureka: Language Model Guided Sim-To-Real Transfer》(2024) GitHub: github.com/eureka-research/DrEureka
《AdvPrompter: Fast Adaptive Adversarial Prompting for LLMs》(2024) GitHub: github.com/facebookresearch/advprompter
《EchoScene: Indoor Scene Generation via Information Echo over Scene Graph Diffusion》(2024) GitHub: github.com/ymxlzgy/echoscene
《EchoScene: Indoor Scene Generation via Information Echo over Scene Graph Diffusion》(2024) GitHub: github.com/ymxlzgy/echoscene
《SATO: Stable Text-to-Motion Framework》(2024) GitHub: github.com/sato-team/Stable-Text-to-Motion-Framework [fig2]
《Customizing Text-to-Image Models with a Single Image Pair》(2024) GitHub: github.com/PairCustomization/PairCustomization
《M3D: Advancing 3D Medical Image Analysis with Multi-Modal Large Language Models》(2024) GitHub: github.com/BAAI-DCAI/M3D
《Self-Explore to Avoid the Pit: Improving the Reasoning Capabilities of Language Models with Fine-grained Rewards》(2024) GitHub: github.com/hbin0701/Self-Explore [fig5]
《SynFlowNet: Towards Molecule Design with Guaranteed Synthesis Pathways》(2024) GitHub: github.com/mirunacrt/synflownet
《MaskClustering: View Consensus based Mask Graph Clustering for Open-Vocabulary 3D Instance Segmentation》(CVPR 2024) GitHub: github.com/PKU-EPIC/MaskClustering [fig1]
《UnScene3D: Unsupervised 3D Instance Segmentation for Indoor Scenes》(CVPR 2024) GitHub: github.com/RozDavid/UnScene3D [fig3]
《VMRNN: Integrating Vision Mamba and LSTM for Efficient and Accurate Spatiotemporal Forecasting》(CVPR 2024) GitHub: github.com/yyyujintang/VMRNN-PyTorch [fig4]
《DrEureka: Language Model Guided Sim-To-Real Transfer》(2024) GitHub: github.com/eureka-research/DrEureka
《AdvPrompter: Fast Adaptive Adversarial Prompting for LLMs》(2024) GitHub: github.com/facebookresearch/advprompter
《EchoScene: Indoor Scene Generation via Information Echo over Scene Graph Diffusion》(2024) GitHub: github.com/ymxlzgy/echoscene
《EchoScene: Indoor Scene Generation via Information Echo over Scene Graph Diffusion》(2024) GitHub: github.com/ymxlzgy/echoscene
《SATO: Stable Text-to-Motion Framework》(2024) GitHub: github.com/sato-team/Stable-Text-to-Motion-Framework [fig2]
《Customizing Text-to-Image Models with a Single Image Pair》(2024) GitHub: github.com/PairCustomization/PairCustomization
《M3D: Advancing 3D Medical Image Analysis with Multi-Modal Large Language Models》(2024) GitHub: github.com/BAAI-DCAI/M3D
《Self-Explore to Avoid the Pit: Improving the Reasoning Capabilities of Language Models with Fine-grained Rewards》(2024) GitHub: github.com/hbin0701/Self-Explore [fig5]
《SynFlowNet: Towards Molecule Design with Guaranteed Synthesis Pathways》(2024) GitHub: github.com/mirunacrt/synflownet
#言而履艺术国际[超话]# 在这件作品中，何工探讨了我们所阅读过的书籍是如何创造我们的内心空间。汉嘉是捷克作家博胡米尔·赫拉巴尔小说《过于喧嚣的孤独》中的人物。
In this piece, He Gong explores how the books we have read contribute to the creation of our inner affective space. Hanta is a character from the Czech writer Bohumil Hrabal's novel Too Loud a Solitude.
插图信息：
何工，《倒立的汉嘉》，综合材料
400 厘米 x 300 厘米，2023年。
图片来源：A4美术馆
He Gong, Hanta Does a Handstand,
Multi-media Painting Installation,
Dimensions: 400 cm x 300 cm, 2023.
Photo Credit: A4 Art Museum
#Geography of Feeling##感知地理##四川成都##亚洲##中国##麓湖a4美术馆##何工##HeGong#
In this piece, He Gong explores how the books we have read contribute to the creation of our inner affective space. Hanta is a character from the Czech writer Bohumil Hrabal's novel Too Loud a Solitude.
插图信息：
何工，《倒立的汉嘉》，综合材料
400 厘米 x 300 厘米，2023年。
图片来源：A4美术馆
He Gong, Hanta Does a Handstand,
Multi-media Painting Installation,
Dimensions: 400 cm x 300 cm, 2023.
Photo Credit: A4 Art Museum
#Geography of Feeling##感知地理##四川成都##亚洲##中国##麓湖a4美术馆##何工##HeGong#
现在的大模型都是预测下一个Token，Meta的这篇论文有了基础性的突破，同时预测多个Tokens
Better & Faster Large Language Models via Multi-token Prediction（多Token预测的更好更快的大型语言模型）#ai探索计划##ai#
论文：arxiv.org/abs/2404.19737
论文摘要：
GPT 和 Llama 等大型语言模型是通过下一个Token预测损失进行训练的。
在这项工作中，我们建议训练语言模型来同时预测多个未来Token，从而提高样本效率。更具体地说，在训练语料库中的每个位置，我们要求模型使用在共享模型主干上运行的 n 个独立输出头来预测以下 n 个Token。将多Token预测视为辅助训练任务，我们测量了改进的下游能力，而代码和自然语言模型的训练时间没有开销。该方法对于较大的模型尺寸越来越有用，并且在训练多个时期时保持其吸引力。
在编码等生成基准上，收益尤其明显，我们的模型始终比强大的基准高出几个百分点。与同类 next-token 模型相比，我们的 13B 参数模型在 HumanEval 上解决的问题多解决了 12%，在 MBPP 上解决的问题多解决了 17%。小算法任务的实验表明，多token预测有利于归纳头和算法推理能力的发展。另一个好处是，即使批量大小较大，使用 4 Token预测训练的模型的推理速度也可提高 3 倍。
#ChatGPT[超话]#
Better & Faster Large Language Models via Multi-token Prediction（多Token预测的更好更快的大型语言模型）#ai探索计划##ai#
论文：arxiv.org/abs/2404.19737
论文摘要：
GPT 和 Llama 等大型语言模型是通过下一个Token预测损失进行训练的。
在这项工作中，我们建议训练语言模型来同时预测多个未来Token，从而提高样本效率。更具体地说，在训练语料库中的每个位置，我们要求模型使用在共享模型主干上运行的 n 个独立输出头来预测以下 n 个Token。将多Token预测视为辅助训练任务，我们测量了改进的下游能力，而代码和自然语言模型的训练时间没有开销。该方法对于较大的模型尺寸越来越有用，并且在训练多个时期时保持其吸引力。
在编码等生成基准上，收益尤其明显，我们的模型始终比强大的基准高出几个百分点。与同类 next-token 模型相比，我们的 13B 参数模型在 HumanEval 上解决的问题多解决了 12%，在 MBPP 上解决的问题多解决了 17%。小算法任务的实验表明，多token预测有利于归纳头和算法推理能力的发展。另一个好处是，即使批量大小较大，使用 4 Token预测训练的模型的推理速度也可提高 3 倍。
#ChatGPT[超话]#
✋热门推荐