【#史上最大的多语种开源语言模型发布#】

一直以来，很多大模型都由造它们出来的大型私营科技公司垄断着。

比如GPT-3等，对于普通人来说，再香也只能眼巴巴看着。

不过现在，为了给你解馋，由近1000名科学家联合发起的一个志愿项目，耗时一年多炼出了一个号称和GPT-3一样强大的语言模型。

它的名字叫BLOOM，参数1760亿，不光支持英文或者中文，连西班牙语、法语等59种语言都支持，是目前最大的多语言开源语言模型。

是的，从现在起，从代码到数据集，BLOOM全部对外开放，所有人都可使用。

BLOOM是一个BigScience项目，去年5月启动，由Hugging Face主导，收到了700万美元的公共捐款。

共有来自全球60个国家、超过250个机构，以及超过1000名研究人员参与其中，其中包括以个人名义参加的Meta、谷歌等大厂员工。

它的训练在法国超级计算机Jean Zay上进行，共花费了384块A100 GPU，其中每块有80 GB内存，训练吞吐量约150 TFLOP（该超算由低碳的核能提供动力，释放的热量还用来给学校供暖）。

相关推特账号从3月14日起，每天记录BLOOM的进度，不过到了102%它才正式停下——

7月2号，耗时117天的BLOOM宣告完成，恰好在预期计划时间内。

目前，BLOOM的训练对硬件还是有一些要求：

为了保证效果，最好是准备8块80GB或者16块40GB的的A100；如果选择在云上训练，最高每小时40美元。

最后，BLOOM表示还会降低使用门槛，并准备开发一个分布式系统，允许实验室在其服务器之间共享模型。

它声称自己将会成为一个模型家族，不会一劳永逸。https://t.cn/A6aHYvY9

真的忘了什么时候开始喜欢的唐诗逸 但是在开始喜欢她之后就一直是我心里女神的存在[抓狂]当时在课上看到老师放唐诗逸的视频的时候我真的激动的不行 想让全世界都喜欢她[泪][泪][泪]介绍自己心中的女神我也讲的她 我记得当时我说喜欢她不仅是她跳舞上的专业还有她自己不服输的性格[单身狗][单身狗][单身狗]
每次放假在家都会抽出一个下午去b站看一遍昭君出塞[开学季]初三上下学的路上我下载了唐诗逸在舞林争霸里的所有视频 就一遍遍的看 最喜欢的是和zay的穿旗袍的那个双人舞[开学季]讲不出来为什么要看但确实看完会让我开心起来[泪][泪][泪]真的希望有时间可以去一次剧场看糖糖

好久没记录了 最近也有好多值得记录的事情 但是太懒了
猛的一想的话 第一件事就是摆摊去啦 怎么说呢 浅浅赚了2.6元 体验感很八错 是有点累在的
再猛的一想 我的ytu头像不知道为啥变成了黑白的欧洲男子？？ 我也不确定是什么男子 但是该说不说很奇妙的感觉刚看到的时候
还有我发现小眼睛小鼻子 和大眼睛大鼻子 我还是喜欢大眼睛大鼻子
这一学期都没去看过海
去看zay的羽毛球比赛选拔时 好紧张 和跑800之前的感觉好像 看了之后 有萌动假期学羽毛球的想法 我老是看见别人运动就想学这个运动 脑子里有一个成为运动健将的梦 就是每次都战胜不了我的懒惰
见了jj姐姐 去了跳蚤市场 又聊了好久八卦哈哈哈哈 但是错误的事就是让zay和孟jj认识了[怒][怒]
密友时刻很nice！！如果能自己更新桌面照片就好啦