SnapKV: LLM Knows What You are Looking for Before Generationhttps://t.cn/A6HLORUK
论文介绍了大型语言模型（LLM）在处理大量上下文时，键值（KV）缓存起到了关键作用。但是，随着输入长度的增加，KV缓存的扩展对内存和时间效率提出了挑战。为了解决这个问题，文章提出了SnapKV，一种创新的、不需要微调的方法，在保持实际应用中性能的同时，高效地最小化KV缓存大小。研究发现在生成过程中，模型中的每个注意力头始终关注特定的提示注意力特征。同时，这个健壮的模式可以从位于提示末尾的“观察”窗口中获得。基于这个洞察，SnapKV通过为每个注意力头选择聚类的重要KV位置来自动压缩KV缓存。该方法显著降低了处理长输入序列时的计算开销和内存占用。与基线相比，当处理16K令牌的输入时，SnapKV保持了与基线模型相当的表现，同时生成速度提高了3.6倍，内存效率提高了8.2倍。此外，使用HuggingFace实现并进行了少量更改，SnapKV可以在单个A100-80GB GPU上处理多达380K上下文令牌，并在Needle-in-a-Haystack测试中显示出几乎可以忽略的准确性下降。进一步的全面研究证明了SnapKV在实际应用中的潜力。
#人工智能[超话]##论文[超话]##大模型[超话]#
论文介绍了大型语言模型（LLM）在处理大量上下文时，键值（KV）缓存起到了关键作用。但是，随着输入长度的增加，KV缓存的扩展对内存和时间效率提出了挑战。为了解决这个问题，文章提出了SnapKV，一种创新的、不需要微调的方法，在保持实际应用中性能的同时，高效地最小化KV缓存大小。研究发现在生成过程中，模型中的每个注意力头始终关注特定的提示注意力特征。同时，这个健壮的模式可以从位于提示末尾的“观察”窗口中获得。基于这个洞察，SnapKV通过为每个注意力头选择聚类的重要KV位置来自动压缩KV缓存。该方法显著降低了处理长输入序列时的计算开销和内存占用。与基线相比，当处理16K令牌的输入时，SnapKV保持了与基线模型相当的表现，同时生成速度提高了3.6倍，内存效率提高了8.2倍。此外，使用HuggingFace实现并进行了少量更改，SnapKV可以在单个A100-80GB GPU上处理多达380K上下文令牌，并在Needle-in-a-Haystack测试中显示出几乎可以忽略的准确性下降。进一步的全面研究证明了SnapKV在实际应用中的潜力。
#人工智能[超话]##论文[超话]##大模型[超话]#
肖进联系方式18264192900
大数据/人工智能营销、新能源、医疗
《基于大数据分析的企业智能决策》
《深度解读工业4.0与中国制造2025》
《人工智能与大数据分析》
《智能营销管理》
《能源与经济预测》
《医院管理》
高校职称：四川大学（985双一流）商学院研究员、博导，中科院数学与系统科学研究院博士后。
从业经历：从事研究人工智能与大数据分析、智能营销管理、能源与经济预测、医院管理。
授课经历：政府机构-四川电信、中国移动四川分公司、中国银监会、重庆银行、万科物业、四川烟草公司、剑南春集团、成都军区信息化部、四川省移民局、云南欣康医疗连锁公司、华阳街道办等。
个人特色：四川大学“双百人才工程”A级人才。荣获四川省有突出贡献的优秀专家、四川省“天府万人计划”青年拔尖人才等荣誉。四川大学管理科学和运筹学研究所所长、中国运筹学会决策科学分会常务理事、中国系统工程学会社会经济系统专业委员会常务理事等，以及4个学会的理事。出版1部学术书籍，在国内外著名期刊上发表论文80余篇，SCI/SSCI检索论文31篇以及国内权威和重要核心期刊《管理科学学报》《管理评论》等。研究成果先后获得四川省科技进步二等奖3项和四川省社会科学优秀成果三等奖3项。担任50余份国际SCI、SSCI期刊IEEE Transactions on Industrial Informatics等以及中文权威期刊《管理科学学报》《中国管理科学》等。
大数据/人工智能营销、新能源、医疗
《基于大数据分析的企业智能决策》
《深度解读工业4.0与中国制造2025》
《人工智能与大数据分析》
《智能营销管理》
《能源与经济预测》
《医院管理》
高校职称：四川大学（985双一流）商学院研究员、博导，中科院数学与系统科学研究院博士后。
从业经历：从事研究人工智能与大数据分析、智能营销管理、能源与经济预测、医院管理。
授课经历：政府机构-四川电信、中国移动四川分公司、中国银监会、重庆银行、万科物业、四川烟草公司、剑南春集团、成都军区信息化部、四川省移民局、云南欣康医疗连锁公司、华阳街道办等。
个人特色：四川大学“双百人才工程”A级人才。荣获四川省有突出贡献的优秀专家、四川省“天府万人计划”青年拔尖人才等荣誉。四川大学管理科学和运筹学研究所所长、中国运筹学会决策科学分会常务理事、中国系统工程学会社会经济系统专业委员会常务理事等，以及4个学会的理事。出版1部学术书籍，在国内外著名期刊上发表论文80余篇，SCI/SSCI检索论文31篇以及国内权威和重要核心期刊《管理科学学报》《管理评论》等。研究成果先后获得四川省科技进步二等奖3项和四川省社会科学优秀成果三等奖3项。担任50余份国际SCI、SSCI期刊IEEE Transactions on Industrial Informatics等以及中文权威期刊《管理科学学报》《中国管理科学》等。
2024.5.9！每日留学资讯！
✅香港岭南大学正式成立一个新学院—数据科学学院
香港岭南大学正式成立一个新学院—数据科学学院，已于5月2日举行揭牌仪式。
学院提供的硕士课程：
人工智能与商业分析理学硕士
数据科学理学硕士
工业数据分析理学硕士
智慧城市数据与应用理学硕士
-
✅澳洲学生签证通过率仅为82.8%
据澳洲金融时报（AFR）报道，截至今年2月，共有71.3万名国际学生入境澳洲，这是澳洲的国际学生人数首次突破70万！在此期间有超过5万人的学生签证申请被拒，也创下历史最高水平！
最新的政府数据显示，去年12月至今年2月，澳洲签证申请状况出现了转折，两年来首次出现下降。这其中的变化引人关注，尤其是学生签证的通过率降至82.8%，远低于近几十年来90%的批准率。
通过率下降：最新数据显示，澳洲学生签证通过率仅为82.8%，较近十年来的90%以上有明显下降。
签证申请情况转折：过去三个月内，签证申请出现下降趋势，这是两年多来的首次。
留学国家选择转变：
- 22%的学生转向新西兰等较小的国家，以及德国和美国。
- 主要原因包括担心政策变化、高昂的课程成本、签证处理时间缓慢等。
其他考虑因素：
- 更好的工作机会。
- 长时间的毕业后工作权利。
- 更好的移民机会。
#南星留学 #研究生申请 #澳洲 #澳洲签证 #香港岭南大学 #香港 #24fall #数据科学学院 #留学[超话]##研究生退学[超话]##香港城市大学#
✅香港岭南大学正式成立一个新学院—数据科学学院
香港岭南大学正式成立一个新学院—数据科学学院，已于5月2日举行揭牌仪式。
学院提供的硕士课程：
人工智能与商业分析理学硕士
数据科学理学硕士
工业数据分析理学硕士
智慧城市数据与应用理学硕士
-
✅澳洲学生签证通过率仅为82.8%
据澳洲金融时报（AFR）报道，截至今年2月，共有71.3万名国际学生入境澳洲，这是澳洲的国际学生人数首次突破70万！在此期间有超过5万人的学生签证申请被拒，也创下历史最高水平！
最新的政府数据显示，去年12月至今年2月，澳洲签证申请状况出现了转折，两年来首次出现下降。这其中的变化引人关注，尤其是学生签证的通过率降至82.8%，远低于近几十年来90%的批准率。
通过率下降：最新数据显示，澳洲学生签证通过率仅为82.8%，较近十年来的90%以上有明显下降。
签证申请情况转折：过去三个月内，签证申请出现下降趋势，这是两年多来的首次。
留学国家选择转变：
- 22%的学生转向新西兰等较小的国家，以及德国和美国。
- 主要原因包括担心政策变化、高昂的课程成本、签证处理时间缓慢等。
其他考虑因素：
- 更好的工作机会。
- 长时间的毕业后工作权利。
- 更好的移民机会。
#南星留学 #研究生申请 #澳洲 #澳洲签证 #香港岭南大学 #香港 #24fall #数据科学学院 #留学[超话]##研究生退学[超话]##香港城市大学#
✋热门推荐