【#新型Attention提速2-4倍，BERT单节点训练最快#】斯坦福大学CS博士新作
FlashAttention 是一种具有 IO 感知，且兼具快速、内存高效的新型注意力算法。
一种快速、内存高效的注意力算法来了，被命名为 FlashAttention。通过减少 GPU 内存读取 / 写入，FlashAttention 的运行速度比 PyTorch 标准注意力快 2-4 倍，所需内存减少 5-20 倍。
这项研究由斯坦福大学、纽约州立大学布法罗分校的研究者共同完成。共同一作是两位斯坦福计算机博士生 Tri Dao 和 Dan Fu。
论文：FlashAttention: Fast and Memory-Efficient Exact Attention with IO-Awareness
链接：https://t.cn/A6XYX3P2
解读全文：https://t.cn/A6a2rVFm
#人工智能# #科技#
AMiner官网：https://t.cn/A65eMxmG
FlashAttention 是一种具有 IO 感知，且兼具快速、内存高效的新型注意力算法。
一种快速、内存高效的注意力算法来了，被命名为 FlashAttention。通过减少 GPU 内存读取 / 写入，FlashAttention 的运行速度比 PyTorch 标准注意力快 2-4 倍，所需内存减少 5-20 倍。
这项研究由斯坦福大学、纽约州立大学布法罗分校的研究者共同完成。共同一作是两位斯坦福计算机博士生 Tri Dao 和 Dan Fu。
论文：FlashAttention: Fast and Memory-Efficient Exact Attention with IO-Awareness
链接：https://t.cn/A6XYX3P2
解读全文：https://t.cn/A6a2rVFm
#人工智能# #科技#
AMiner官网：https://t.cn/A65eMxmG
【7月1日起申报！石家庄这两类产业高端人才最高奖励50万】从石家庄市人社局获悉，该局将于7月1日至15日，集中受理2021年度新一代电子信息产业和生物医药产业高端人才奖励申报工作。
为持续激发新一代电子信息和生物医药两大主导产业高端人才创新创造活力，不断打造近悦远来的人才集聚“强磁场”，去年石家庄市政府办公室印发的《<关于支持新一代电子信息产业和生物医药产业率先突破的若干措施（试行）>相关实施细则的通知》（石政办函〔2021〕42号），其中对于高端人才奖励政策提出了具体要求。这次申报奖励工作即是这一政策的兑现。
此次奖励对象为在石市行政区域内工商注册和税务登记、依法纳税和参加社会保险，并具有独立法人资格的新一代电子信息产业和生物医药产业企业，年度应纳税工资薪金收入在60万元以上，同时符合下列条件之一的高端人才：持有石市人才绿卡A卡的人才；具有正高级专业技术职务或博士学位，且获得省部级科技进步奖三等奖及以上的主要完成人（一等奖为前三名，二等奖为前两名，三等奖为第一名），或主持省部级以上科研项目且通过验收，或拥有2项以上国家授权的发明专利（第一发明人），并产生一定经济效益的人才；高新技术企业和上年度纳税500万元及以上的企业高级经营管理人才和创新技术人才，主要包括：企业董事长、总经理（总裁）、副总经理（副总裁）、监事长、总经济师、总会计师、总工程师；企业首席技术官、首席科学家；企业技术中心、技术创新中心、重点实验室、工程技术研究中心等研发部门的主要负责人。
对申报人年度应纳税工资薪金收入在60万元（含）至96万元的，给予相当于其年度工资薪金收入对市及以下财政贡献的1.5倍奖励；年度应纳税工资薪金收入在96万元（含）以上的，给予相当于其年度工资薪金收入对市及以下财政贡献的2倍奖励。最高不超过50万元。年度应纳税工资薪金收入对市及以下财政贡献，包括市与县（市、区）、开发区两级。所在县（市、区）、开发区已经兑付奖励的，不重复申报和奖励。奖励资金按现行体制，实行分级负担。年度应纳税工资薪金收入对市财政贡献奖励部分由市财政从主导产业专项资金负担；对县（市、区）、开发区财政贡献奖励部分由县（市、区）、开发区财政负担。
相关申报程序、申报材料及注意事项，详见石家庄市人社局官网公告公示栏。
为持续激发新一代电子信息和生物医药两大主导产业高端人才创新创造活力，不断打造近悦远来的人才集聚“强磁场”，去年石家庄市政府办公室印发的《<关于支持新一代电子信息产业和生物医药产业率先突破的若干措施（试行）>相关实施细则的通知》（石政办函〔2021〕42号），其中对于高端人才奖励政策提出了具体要求。这次申报奖励工作即是这一政策的兑现。
此次奖励对象为在石市行政区域内工商注册和税务登记、依法纳税和参加社会保险，并具有独立法人资格的新一代电子信息产业和生物医药产业企业，年度应纳税工资薪金收入在60万元以上，同时符合下列条件之一的高端人才：持有石市人才绿卡A卡的人才；具有正高级专业技术职务或博士学位，且获得省部级科技进步奖三等奖及以上的主要完成人（一等奖为前三名，二等奖为前两名，三等奖为第一名），或主持省部级以上科研项目且通过验收，或拥有2项以上国家授权的发明专利（第一发明人），并产生一定经济效益的人才；高新技术企业和上年度纳税500万元及以上的企业高级经营管理人才和创新技术人才，主要包括：企业董事长、总经理（总裁）、副总经理（副总裁）、监事长、总经济师、总会计师、总工程师；企业首席技术官、首席科学家；企业技术中心、技术创新中心、重点实验室、工程技术研究中心等研发部门的主要负责人。
对申报人年度应纳税工资薪金收入在60万元（含）至96万元的，给予相当于其年度工资薪金收入对市及以下财政贡献的1.5倍奖励；年度应纳税工资薪金收入在96万元（含）以上的，给予相当于其年度工资薪金收入对市及以下财政贡献的2倍奖励。最高不超过50万元。年度应纳税工资薪金收入对市及以下财政贡献，包括市与县（市、区）、开发区两级。所在县（市、区）、开发区已经兑付奖励的，不重复申报和奖励。奖励资金按现行体制，实行分级负担。年度应纳税工资薪金收入对市财政贡献奖励部分由市财政从主导产业专项资金负担；对县（市、区）、开发区财政贡献奖励部分由县（市、区）、开发区财政负担。
相关申报程序、申报材料及注意事项，详见石家庄市人社局官网公告公示栏。
【7月1日起申报！石家庄这两类产业高端人才最高奖励50万】从石家庄市人社局获悉，该局将于7月1日至15日，集中受理2021年度新一代电子信息产业和生物医药产业高端人才奖励申报工作。
为持续激发新一代电子信息和生物医药两大主导产业高端人才创新创造活力，不断打造近悦远来的人才集聚“强磁场”，去年石家庄市政府办公室印发的《<关于支持新一代电子信息产业和生物医药产业率先突破的若干措施（试行）>相关实施细则的通知》（石政办函〔2021〕42号），其中对于高端人才奖励政策提出了具体要求。这次申报奖励工作即是这一政策的兑现。
此次奖励对象为在石市行政区域内工商注册和税务登记、依法纳税和参加社会保险，并具有独立法人资格的新一代电子信息产业和生物医药产业企业，年度应纳税工资薪金收入在60万元以上，同时符合下列条件之一的高端人才：持有石市人才绿卡A卡的人才；具有正高级专业技术职务或博士学位，且获得省部级科技进步奖三等奖及以上的主要完成人（一等奖为前三名，二等奖为前两名，三等奖为第一名），或主持省部级以上科研项目且通过验收，或拥有2项以上国家授权的发明专利（第一发明人），并产生一定经济效益的人才；高新技术企业和上年度纳税500万元及以上的企业高级经营管理人才和创新技术人才，主要包括：企业董事长、总经理（总裁）、副总经理（副总裁）、监事长、总经济师、总会计师、总工程师；企业首席技术官、首席科学家；企业技术中心、技术创新中心、重点实验室、工程技术研究中心等研发部门的主要负责人。
对申报人年度应纳税工资薪金收入在60万元（含）至96万元的，给予相当于其年度工资薪金收入对市及以下财政贡献的1.5倍奖励；年度应纳税工资薪金收入在96万元（含）以上的，给予相当于其年度工资薪金收入对市及以下财政贡献的2倍奖励。最高不超过50万元。年度应纳税工资薪金收入对市及以下财政贡献，包括市与县（市、区）、开发区两级。所在县（市、区）、开发区已经兑付奖励的，不重复申报和奖励。奖励资金按现行体制，实行分级负担。年度应纳税工资薪金收入对市财政贡献奖励部分由市财政从主导产业专项资金负担；对县（市、区）、开发区财政贡献奖励部分由县（市、区）、开发区财政负担。
相关申报程序、申报材料及注意事项，详见石家庄市人社局官网（https://t.cn/A6vN5bj0）公告公示栏。
为持续激发新一代电子信息和生物医药两大主导产业高端人才创新创造活力，不断打造近悦远来的人才集聚“强磁场”，去年石家庄市政府办公室印发的《<关于支持新一代电子信息产业和生物医药产业率先突破的若干措施（试行）>相关实施细则的通知》（石政办函〔2021〕42号），其中对于高端人才奖励政策提出了具体要求。这次申报奖励工作即是这一政策的兑现。
此次奖励对象为在石市行政区域内工商注册和税务登记、依法纳税和参加社会保险，并具有独立法人资格的新一代电子信息产业和生物医药产业企业，年度应纳税工资薪金收入在60万元以上，同时符合下列条件之一的高端人才：持有石市人才绿卡A卡的人才；具有正高级专业技术职务或博士学位，且获得省部级科技进步奖三等奖及以上的主要完成人（一等奖为前三名，二等奖为前两名，三等奖为第一名），或主持省部级以上科研项目且通过验收，或拥有2项以上国家授权的发明专利（第一发明人），并产生一定经济效益的人才；高新技术企业和上年度纳税500万元及以上的企业高级经营管理人才和创新技术人才，主要包括：企业董事长、总经理（总裁）、副总经理（副总裁）、监事长、总经济师、总会计师、总工程师；企业首席技术官、首席科学家；企业技术中心、技术创新中心、重点实验室、工程技术研究中心等研发部门的主要负责人。
对申报人年度应纳税工资薪金收入在60万元（含）至96万元的，给予相当于其年度工资薪金收入对市及以下财政贡献的1.5倍奖励；年度应纳税工资薪金收入在96万元（含）以上的，给予相当于其年度工资薪金收入对市及以下财政贡献的2倍奖励。最高不超过50万元。年度应纳税工资薪金收入对市及以下财政贡献，包括市与县（市、区）、开发区两级。所在县（市、区）、开发区已经兑付奖励的，不重复申报和奖励。奖励资金按现行体制，实行分级负担。年度应纳税工资薪金收入对市财政贡献奖励部分由市财政从主导产业专项资金负担；对县（市、区）、开发区财政贡献奖励部分由县（市、区）、开发区财政负担。
相关申报程序、申报材料及注意事项，详见石家庄市人社局官网（https://t.cn/A6vN5bj0）公告公示栏。
✋热门推荐