超创中心某创始人写了一篇关于ChatGPT的帖子,我节选了他写的局限性分析如下(只搬运,杠精绕道):
GPT-4的局限性。比如,它对于一些刚刚发生的事实,缺少数据。要是涉及这些内容,它可能会答得乱七八糟。也就是,上一代ChatGPT就一直存在的,一本正经地胡说八道的问题,在这回的GPT-4身上,依然部分存在。
但是,不管怎么说,大家对GPT-4,总体还是很看好的:并不完美,但你也一样。意思是,能做到这个程度,已经很不错了,还要啥自行车啊。
当然,有人踩油门,就有人踩刹车。也有很多人担心,照这个速度发展下去,人类是不是离失业就不远了?其实,要想知道AI会不会一直快速发展下去,我们得先弄清,到底是哪些因素,有可能限制AI的发展?乍一听这个问题,你可能觉得答案很明显。限制AI发展速度的,当然是技术了。
但事实上,除了技术,AI的发展,还面临一个更明显的刚性约束,那就是硬件。最近网上不是流行那么句话吗?一切恐惧,最终都来源于火力不足。意思是,在打仗这种硬碰硬的事情面前,战术之类的智力因素都往后放,火力之类的硬件才是最重要的。放在AI的发展上,也一样。它能不能快速发展,很大程度上也取决于硬件资源能不能跟上。
AI发展,到底都需要哪些硬件资源呢?至少受限于三个方面。
第一,是芯片。GPT对芯片的需求是极大的。大到什么程度?比如上一代的GPT3.5,训练它需要用到一种英伟达的高端GPU芯片,叫A100。一颗A100的成本,大概是8万人民币。而完成整个训练过程,大概需要三万颗A100芯片。你可能会说,听起来也还行,能接受啊。但问题的关键是,GPT在长大的过程中,它的胃口可不是线性增长的,而是指数级增长的。你看,当年战胜李世石的AlphaGO,训练它也只用了176颗GPU。而照这个速度成长下去,将来GPT的胃口能大到什么程度?芯片能不能跟上?这些都是问题。
最近就有新闻说,本来今年第二季度订单不足,产能过剩的台积电,突然忙起来了。就是因为接到了大量用于AI的芯片订单。这也是为什么总有人说,AI的尽头,其实还是半导体。
第二个,是能源。过去一提到AI,我们的第一反应,好像总觉得,它就是一台大电脑。一台电脑,能用多少电?但事实上,AI对电的消耗,非常大。大到什么程度?
比如,ChatGPT,仅仅是训练一次,大约需要耗资1200万美金,其中就要消耗90多万度电。相当于1200个中国人,一年的生活用电量。要知道,训练它可不是一次就够,需要很多次。而现在,它仅仅是维持日常运转,每天的电费大概就要5万美元。
早在2019年,训练一个较为简单的AI模型,过程中因为发电而排放的二氧化碳量,大概相当于五辆燃油车,从生产到报废,整个生命周期产生的二氧化碳总和。为此有人还专门提出过,要改进人工智能的底层设计,让人工智能模拟人脑思考,来降低能耗。毕竟,人脑虽然也很消耗能量,但总归比AI能耗低得多。但是,这也只是一个设想。
第三,AI发展,不仅耗电、耗芯片,还特别耗人。注意,这说的可不仅是科学家,也包括AI训练中,一个更基础的工种,叫数据标注师。在AI模型训练之初,就需要大量的数据标注师。比如,当年,2006年,AI不会识别猫,怎么办?就让人来手工标注。在图片上,把猫标出来,让AI一个一个去认。直到它能弄明白,到底什么是猫。
当年,训练AI,靠的就是海量的人工标注图片。据说当时的科学家,为了训练一个AI,通过亚马逊的在线众包平台,在全世界167个国家,雇佣了5万人,一共标注了1500万张图片。
直到今天,AI训练依然需要大量的数据标注师。比如ChatGPT,它的训练分三个阶段,只有第三阶段不需要标注,前两个阶段都需要大量的人工标注。而且因为ChatGPT的数据是从网上采集的,里面什么数据都有,也可能包含一些暴力、犯罪或者反人类的内容。怎么把这些内容过滤掉?也得靠人来手工标注。有人专门做了个估算,截止到2022年,全球从事数据标注的人数,已经有500万。将来这个数字还会继续增加。
*下图是我的提问“什么是八少八素”的回答……还真是蛮唬人(胡说八道)的[允悲][允悲][允悲]
GPT-4的局限性。比如,它对于一些刚刚发生的事实,缺少数据。要是涉及这些内容,它可能会答得乱七八糟。也就是,上一代ChatGPT就一直存在的,一本正经地胡说八道的问题,在这回的GPT-4身上,依然部分存在。
但是,不管怎么说,大家对GPT-4,总体还是很看好的:并不完美,但你也一样。意思是,能做到这个程度,已经很不错了,还要啥自行车啊。
当然,有人踩油门,就有人踩刹车。也有很多人担心,照这个速度发展下去,人类是不是离失业就不远了?其实,要想知道AI会不会一直快速发展下去,我们得先弄清,到底是哪些因素,有可能限制AI的发展?乍一听这个问题,你可能觉得答案很明显。限制AI发展速度的,当然是技术了。
但事实上,除了技术,AI的发展,还面临一个更明显的刚性约束,那就是硬件。最近网上不是流行那么句话吗?一切恐惧,最终都来源于火力不足。意思是,在打仗这种硬碰硬的事情面前,战术之类的智力因素都往后放,火力之类的硬件才是最重要的。放在AI的发展上,也一样。它能不能快速发展,很大程度上也取决于硬件资源能不能跟上。
AI发展,到底都需要哪些硬件资源呢?至少受限于三个方面。
第一,是芯片。GPT对芯片的需求是极大的。大到什么程度?比如上一代的GPT3.5,训练它需要用到一种英伟达的高端GPU芯片,叫A100。一颗A100的成本,大概是8万人民币。而完成整个训练过程,大概需要三万颗A100芯片。你可能会说,听起来也还行,能接受啊。但问题的关键是,GPT在长大的过程中,它的胃口可不是线性增长的,而是指数级增长的。你看,当年战胜李世石的AlphaGO,训练它也只用了176颗GPU。而照这个速度成长下去,将来GPT的胃口能大到什么程度?芯片能不能跟上?这些都是问题。
最近就有新闻说,本来今年第二季度订单不足,产能过剩的台积电,突然忙起来了。就是因为接到了大量用于AI的芯片订单。这也是为什么总有人说,AI的尽头,其实还是半导体。
第二个,是能源。过去一提到AI,我们的第一反应,好像总觉得,它就是一台大电脑。一台电脑,能用多少电?但事实上,AI对电的消耗,非常大。大到什么程度?
比如,ChatGPT,仅仅是训练一次,大约需要耗资1200万美金,其中就要消耗90多万度电。相当于1200个中国人,一年的生活用电量。要知道,训练它可不是一次就够,需要很多次。而现在,它仅仅是维持日常运转,每天的电费大概就要5万美元。
早在2019年,训练一个较为简单的AI模型,过程中因为发电而排放的二氧化碳量,大概相当于五辆燃油车,从生产到报废,整个生命周期产生的二氧化碳总和。为此有人还专门提出过,要改进人工智能的底层设计,让人工智能模拟人脑思考,来降低能耗。毕竟,人脑虽然也很消耗能量,但总归比AI能耗低得多。但是,这也只是一个设想。
第三,AI发展,不仅耗电、耗芯片,还特别耗人。注意,这说的可不仅是科学家,也包括AI训练中,一个更基础的工种,叫数据标注师。在AI模型训练之初,就需要大量的数据标注师。比如,当年,2006年,AI不会识别猫,怎么办?就让人来手工标注。在图片上,把猫标出来,让AI一个一个去认。直到它能弄明白,到底什么是猫。
当年,训练AI,靠的就是海量的人工标注图片。据说当时的科学家,为了训练一个AI,通过亚马逊的在线众包平台,在全世界167个国家,雇佣了5万人,一共标注了1500万张图片。
直到今天,AI训练依然需要大量的数据标注师。比如ChatGPT,它的训练分三个阶段,只有第三阶段不需要标注,前两个阶段都需要大量的人工标注。而且因为ChatGPT的数据是从网上采集的,里面什么数据都有,也可能包含一些暴力、犯罪或者反人类的内容。怎么把这些内容过滤掉?也得靠人来手工标注。有人专门做了个估算,截止到2022年,全球从事数据标注的人数,已经有500万。将来这个数字还会继续增加。
*下图是我的提问“什么是八少八素”的回答……还真是蛮唬人(胡说八道)的[允悲][允悲][允悲]
昨天我成功在公共场合制止了吸烟的人。这是我人生中第一次出声制止,并且还成功了!
在此之前我只敢用咳嗽委婉提示,然而大多数吸烟者并不会对此有所反应。
冒犯地说,在公共场合没眼力劲儿吸烟的,大多是男的。所以我会害怕出声制止,我怕万一遇到一个暴脾气的,我会当场一命呜呼(尤其是在烧烤店这种场合)。
可是这次我成功了,尽管只是在高铁站台大家排队等车时。
对方的反应也在我的意料之外。出声之前我肯定是害怕的,但当我让他掐灭烟头后,他也很快同意,并且抱有歉意地迅速掐灭了。那个时候我在想:嗯,是遇到了一位好大哥。
我真的好高兴呀,觉得自己好勇敢。
虽然听来有些夸张,但我真的会把这件事记入个人人生成就榜单,哈哈哈!
在此之前我只敢用咳嗽委婉提示,然而大多数吸烟者并不会对此有所反应。
冒犯地说,在公共场合没眼力劲儿吸烟的,大多是男的。所以我会害怕出声制止,我怕万一遇到一个暴脾气的,我会当场一命呜呼(尤其是在烧烤店这种场合)。
可是这次我成功了,尽管只是在高铁站台大家排队等车时。
对方的反应也在我的意料之外。出声之前我肯定是害怕的,但当我让他掐灭烟头后,他也很快同意,并且抱有歉意地迅速掐灭了。那个时候我在想:嗯,是遇到了一位好大哥。
我真的好高兴呀,觉得自己好勇敢。
虽然听来有些夸张,但我真的会把这件事记入个人人生成就榜单,哈哈哈!
#林俊杰香港演唱会##林俊杰演唱会##林俊杰jj20世界巡回演唱会#
HK尾场 & 三刷JJ20
:
是给场外听的粉丝都发了荧光棒
是两次的encore返场
是看大家舍不得走又出来淋着雨唱
是本身就很难握手的舞台还是毫不犹豫的冲下去
谢谢你编织的这一场华丽浪漫又盛大的梦
用音乐 真诚和爱编织的梦
梦醒了 但幸福和感动会一直相伴
从小学一直喜欢到现在 眨眼间我都快上大学了 我长大了他还是依然年轻有活力 热爱音乐的绝大部分原因也是因为太喜欢jj的歌 只要一去ktv和每次参加唱歌比赛都会唱他的歌 jj的歌声陪伴了我无数个日夜 伴我成长 听了这么多年耳机里的歌 这段时间能够在现场听见到现在还是觉得不可思议
小时候总爱抄写你的歌词 现在的我在慢慢长大 开始在歌词里面不断找到共鸣和力量 我音乐世界里的英雄和精神支柱 未来还有很多冒险的梦 继续下一个20 and更久更久
生日快乐老林 只愿你能健康平安 永远开心幸福的在音乐里翱翔吧 直到
一千年以后……⏳ https://t.cn/A6CESEgN
HK尾场 & 三刷JJ20
:
是给场外听的粉丝都发了荧光棒
是两次的encore返场
是看大家舍不得走又出来淋着雨唱
是本身就很难握手的舞台还是毫不犹豫的冲下去
谢谢你编织的这一场华丽浪漫又盛大的梦
用音乐 真诚和爱编织的梦
梦醒了 但幸福和感动会一直相伴
从小学一直喜欢到现在 眨眼间我都快上大学了 我长大了他还是依然年轻有活力 热爱音乐的绝大部分原因也是因为太喜欢jj的歌 只要一去ktv和每次参加唱歌比赛都会唱他的歌 jj的歌声陪伴了我无数个日夜 伴我成长 听了这么多年耳机里的歌 这段时间能够在现场听见到现在还是觉得不可思议
小时候总爱抄写你的歌词 现在的我在慢慢长大 开始在歌词里面不断找到共鸣和力量 我音乐世界里的英雄和精神支柱 未来还有很多冒险的梦 继续下一个20 and更久更久
生日快乐老林 只愿你能健康平安 永远开心幸福的在音乐里翱翔吧 直到
一千年以后……⏳ https://t.cn/A6CESEgN
✋热门推荐