围观教授讨论实验设计
今天我的两个导师和一个统计系的教授围绕图灵测试的实验设计和数据分析展开了激烈的讨论。再简单回顾一下图灵测试。图灵测试是让人工检验生成数据真实度。比如说混合50个真实数据和50个生成数据。当人工智能比较差的时候,人能轻松分辨出真实数据和生成数据的区别,对应的会选择出50个数据为真,50个数据为假。
但是当人工智能越来越好的时候,生成数据就会越来越接近真实数据。人的判断开始出现误差。一方面人们还保持着自身的误差;另一方面,由于越来越多生成数据过于真实,人们判断真实数据为真的数量会变少,生成数据为真的数量会变多。最后人们给出的数据标记为真的数量会偏离五十。
比方说,我们能很清楚的判断出50个人和50个计算器声音的区别,从而给出50个真实标记。但是当计算器被换成最先进的人工智能语音的话,我们知道里面有一部分声音是合成的。所以不光我们会把人工智能的声音当成人发出来的,我们也会把一部分人的声音当成是合成的。这样我们给出的标记为真的数量就很难恰好为50。有时候可能是70,有时候可能是35。
这种偏差是有三部分决定的,一个是我们本身的判断偏差,一部分是δ(判断为真 | 图片为真)的偏差,还有一部分是δ(判断为假 | 图片为假)的偏差。
从假说检验的角度来看,如果我们想要验证每个人有区分真实和生成图片的能力,我们的零假设是:
H0: P(判断为真 | 图片为真) p = P(判断为真 | 图片为假) 1-q
或者:
H0: P(判断为假 | 图片为真) 1-p = P(判断为假 | 图片为假) q
这两个假设数学上等价。
但是由于测试者不同,大家的偏差也不一样,从而p_i和q_i并不服从同一个高斯分布。即使我们有了一系列的 (p_i, q_i), 也不能直接计算它们的检验统计量。
但是我之前提出的计算z-score方法也存在问题。因为即使是一个在当前情况下能给出70个真标记的人,面对非常差的人工智能的时候,也会只给出50个真标记。只有当人工智能足够以假乱真的时候,这个人的判断才会服从以~70%为中心的高斯分布。模型稍微弱一点的时候,他的选择并不等同于随机选择。
经历了七个小时的讨论,他们对问题达成了共识。但每个测试者面对的是众多单个的样本,不同的测试者又有着不一样的评价误差,所以还是没有讨论出一个切实可行的方案。我也该好好想想该用什么更准确的统计方法来归一化图灵测试的结果。
#浆果科研日常#
今天我的两个导师和一个统计系的教授围绕图灵测试的实验设计和数据分析展开了激烈的讨论。再简单回顾一下图灵测试。图灵测试是让人工检验生成数据真实度。比如说混合50个真实数据和50个生成数据。当人工智能比较差的时候,人能轻松分辨出真实数据和生成数据的区别,对应的会选择出50个数据为真,50个数据为假。
但是当人工智能越来越好的时候,生成数据就会越来越接近真实数据。人的判断开始出现误差。一方面人们还保持着自身的误差;另一方面,由于越来越多生成数据过于真实,人们判断真实数据为真的数量会变少,生成数据为真的数量会变多。最后人们给出的数据标记为真的数量会偏离五十。
比方说,我们能很清楚的判断出50个人和50个计算器声音的区别,从而给出50个真实标记。但是当计算器被换成最先进的人工智能语音的话,我们知道里面有一部分声音是合成的。所以不光我们会把人工智能的声音当成人发出来的,我们也会把一部分人的声音当成是合成的。这样我们给出的标记为真的数量就很难恰好为50。有时候可能是70,有时候可能是35。
这种偏差是有三部分决定的,一个是我们本身的判断偏差,一部分是δ(判断为真 | 图片为真)的偏差,还有一部分是δ(判断为假 | 图片为假)的偏差。
从假说检验的角度来看,如果我们想要验证每个人有区分真实和生成图片的能力,我们的零假设是:
H0: P(判断为真 | 图片为真) p = P(判断为真 | 图片为假) 1-q
或者:
H0: P(判断为假 | 图片为真) 1-p = P(判断为假 | 图片为假) q
这两个假设数学上等价。
但是由于测试者不同,大家的偏差也不一样,从而p_i和q_i并不服从同一个高斯分布。即使我们有了一系列的 (p_i, q_i), 也不能直接计算它们的检验统计量。
但是我之前提出的计算z-score方法也存在问题。因为即使是一个在当前情况下能给出70个真标记的人,面对非常差的人工智能的时候,也会只给出50个真标记。只有当人工智能足够以假乱真的时候,这个人的判断才会服从以~70%为中心的高斯分布。模型稍微弱一点的时候,他的选择并不等同于随机选择。
经历了七个小时的讨论,他们对问题达成了共识。但每个测试者面对的是众多单个的样本,不同的测试者又有着不一样的评价误差,所以还是没有讨论出一个切实可行的方案。我也该好好想想该用什么更准确的统计方法来归一化图灵测试的结果。
#浆果科研日常#
现在才明白这首歌歌词写得多好
歌词中的文字带自己回到了很遥远的过去
记得小学时的暑假 经常在和小伙伴玩耍时唱起
“池塘边的榕树上 知了在声声地叫着夏天…”
当时的我们都觉得没有比这首歌更动听的了
唱起来无比欢快 伴着独属于夏天的交响乐—蝉鸣
唱着唱着就会看到蜻蜓从草丛中低低地飞过
唱到“黑板上老师的粉笔 还在拼命叽叽喳喳写个不停 等待着下课 等待着放学” 我们又咯咯大笑
笑写歌的人和我们一样不想上学 虽在课上 心早飞走
我们也会扑蝴蝶 会摘牵牛花 有粉色和紫色的 我最爱紫色的 但紫色牵牛花少见 每每见到我都兴奋地大喊 得意地叫小伙伴来看我的“伟大发现”
我们也会吃一种据说能吃的草 从茎处摘下 就会流出乳白色的汁水 至今我也不知道到底是什么东西
我们也会摘一种草编手链 它的茎部可以截成一小节一小节而不断 我们每次都比赛谁编得最长
玩时很开心 玩后心惊胆战 我必须赶在妈妈回来前把又是土又是绿色汁液的双手洗干净
记得有一次急坏了 因为手背有个地方怎么都洗不净 抹很多香皂搓红了也无济于事
正又急又气又怕的时候 妈妈回来了 我只好老实交代了 还极其委屈地指给妈妈看怎么也洗不起的“黑” 把我妈逗得直乐
所以 之后我就知道了 我手背上原来有个胎记
而且很以此为“傲” 因为妈妈他们长辈说我有胎记就丢不了了
小学一年级 我还经常在课间去上坡走几步就到的学校小卖部买冰棒偷吃 为什么“鬼鬼祟祟”呢 因为爸妈说冰棒有色素不让吃 那时的物价啊 冰棒才一毛
大概四五年级时候 放学总是不走寻常路 跟着班上其他同学满山乱跑 探索回家的新路 我当时是怎么记住绕来绕去的路呢?犹记得有一条路是这样的:先到爸爸他们上班会经过的地方 然后过一个隧道 再上山 同学们沿路就陆续到家了 之后留我一个人 到一个小区附近下山 从一个楼梯上下来到小区背面 再上楼梯就出小区了 再下一个长坡就快到家了
其实这条路有一定危险 爸妈不让走这条 有次我走到爸爸上班地 正好被我爸撞个正着
小学时 会有男同学一起跳皮筋 会打沙包 会用红领巾把一个人眼睛蒙上 来抓同学并准确叫出名字 叫对的就换这个同学抓 ;冬天下雪会叫班主任下来一起操场打雪仗;夏天很讨厌上体育课 因为跑完步我的脸就会红彤彤的;日常和同桌划“三八线” ,为新买没多久就写坏的钢笔和圆珠经常脱落的油笔而烦恼……
童年和现在一样 有快乐 也有烦恼
小孩别想着长大就好了 大人也别想着回到小时候多好
因为小孩子有小孩子的烦恼 大人也有大人的责任和不可言说
但童年仍然是我们大人的故乡 想家了就回家看看 获得心灵和精神上的滋养后 又可以继续前行
歌词中的文字带自己回到了很遥远的过去
记得小学时的暑假 经常在和小伙伴玩耍时唱起
“池塘边的榕树上 知了在声声地叫着夏天…”
当时的我们都觉得没有比这首歌更动听的了
唱起来无比欢快 伴着独属于夏天的交响乐—蝉鸣
唱着唱着就会看到蜻蜓从草丛中低低地飞过
唱到“黑板上老师的粉笔 还在拼命叽叽喳喳写个不停 等待着下课 等待着放学” 我们又咯咯大笑
笑写歌的人和我们一样不想上学 虽在课上 心早飞走
我们也会扑蝴蝶 会摘牵牛花 有粉色和紫色的 我最爱紫色的 但紫色牵牛花少见 每每见到我都兴奋地大喊 得意地叫小伙伴来看我的“伟大发现”
我们也会吃一种据说能吃的草 从茎处摘下 就会流出乳白色的汁水 至今我也不知道到底是什么东西
我们也会摘一种草编手链 它的茎部可以截成一小节一小节而不断 我们每次都比赛谁编得最长
玩时很开心 玩后心惊胆战 我必须赶在妈妈回来前把又是土又是绿色汁液的双手洗干净
记得有一次急坏了 因为手背有个地方怎么都洗不净 抹很多香皂搓红了也无济于事
正又急又气又怕的时候 妈妈回来了 我只好老实交代了 还极其委屈地指给妈妈看怎么也洗不起的“黑” 把我妈逗得直乐
所以 之后我就知道了 我手背上原来有个胎记
而且很以此为“傲” 因为妈妈他们长辈说我有胎记就丢不了了
小学一年级 我还经常在课间去上坡走几步就到的学校小卖部买冰棒偷吃 为什么“鬼鬼祟祟”呢 因为爸妈说冰棒有色素不让吃 那时的物价啊 冰棒才一毛
大概四五年级时候 放学总是不走寻常路 跟着班上其他同学满山乱跑 探索回家的新路 我当时是怎么记住绕来绕去的路呢?犹记得有一条路是这样的:先到爸爸他们上班会经过的地方 然后过一个隧道 再上山 同学们沿路就陆续到家了 之后留我一个人 到一个小区附近下山 从一个楼梯上下来到小区背面 再上楼梯就出小区了 再下一个长坡就快到家了
其实这条路有一定危险 爸妈不让走这条 有次我走到爸爸上班地 正好被我爸撞个正着
小学时 会有男同学一起跳皮筋 会打沙包 会用红领巾把一个人眼睛蒙上 来抓同学并准确叫出名字 叫对的就换这个同学抓 ;冬天下雪会叫班主任下来一起操场打雪仗;夏天很讨厌上体育课 因为跑完步我的脸就会红彤彤的;日常和同桌划“三八线” ,为新买没多久就写坏的钢笔和圆珠经常脱落的油笔而烦恼……
童年和现在一样 有快乐 也有烦恼
小孩别想着长大就好了 大人也别想着回到小时候多好
因为小孩子有小孩子的烦恼 大人也有大人的责任和不可言说
但童年仍然是我们大人的故乡 想家了就回家看看 获得心灵和精神上的滋养后 又可以继续前行
2022年11月12号,星期六,我在杭州,昨天11号,星期五,我在沧州。之所以能跑出来,情况其实并不复杂,也没那么难。
是这样的,昨天我妈在厨房做饭,突然喊我,宝玖你快来看,快来快来!”我一看,好家伙,一个小盆友一丝不挂地站在窗户边上,所以我拍了张照片就发到朋友圈儿里(图1)。
然后老家的朋友评论里说让我去试试开所谓的“离沧证明”,也许可以走。虽然觉得希望渺茫,但我还是愿意一试,毕竟如此“静默”带给我的不仅是物理伤害,更多的是精神。有机会必须要抓住,即使没成,也能挽回一些尊严上的损失。
电话还算是好打,一次就接通了,态度也还不错:“你要去哪儿?去干嘛?”这种问题以前我是绝对不会回答的,但这回开始编了,我说我是公司老板,得去杭州开会,创业者不容易,去不成的话家破人亡。
电话那头说:“我给你问问吧。”
挂了。那一刻我太兴奋了,“我给你问问吧”这几个字意味着什么,意味着有戏,起码有先例,这时候我就已经开始收拾东西了,我妈帮我,泡面、麦片儿、咸鸭蛋啥的就一顿往包儿里给我拾掇,有点儿“临行密密缝,意恐迟迟归”那意思了。
很快回电话了:“领导说了,证明能给开,但得有你公司给开的介绍信,没有就开不了。”
我说我是法人,我自己给自己开吗?我告诉你我是我公司的老板,我允许我自己离沧?
“我再反映一下这个情况吧,你这个挺不好办。”又挂了。
我已经觉得我能走了,原因很简单,这位工作人员从来没说过类似“拒绝”的话。兴奋的同时另一种情绪也在出现,开始难过,很难过,和兴奋缠绕在一起,冷热交替。这十几天和家人的相处,百感交集,全涌上来。我是逃离了,父母呢,还是要面对这种日子。尤其是曼曼,我走了她会更孤单,更无所适从。然而我没办法把她一起带走,因为刚才跟社区编的那个慌儿没编到她。
这时候其实我的心态是:走不走都行。这种心态出现的那一刻我也没有想到,怎么会呢,在家里待得如此痛苦,临了儿竟然动摇了?
“不行,我必须走,很多情绪也是幻觉,我得坚决,我得冷血。一代人有一代人的痛苦,每个人都只能对自己负责……”,就这样我开始给自己做心理建设。
过了俩小时,又来电话了:“你开车走还是怎么走?车库你能出得去吗?即便车库能出去路上也有交通管制啊,能上高速吗?”
“这不是您该操心的问题了就,您只要把《离沧证明》给我开了就行。”我理直气壮地说。
我一直认为没做错事情的人不需要害怕。
于是我去社区开了证明,还写了保证书。社区里坐着七八个人,虽然都带着口罩儿,但能看得出来,就是普通人,没有特异功能,但就是可以把几千人关在家里出不了屋儿。
写完保证书儿工作人员拿着说:“字儿写得这么好的真少见。”另一位说:“人家可是老板,天天签字儿。”
爸妈和曼曼已经在地下车库等我了,把东西早已帮我放到了车上,这样可以保证我一分钟都不耽误。
拿着证明手有点儿抖,去地库开车的时候心里特别难受,像喝了一大口高度白酒,腾腾地。不敢看我爸我妈,也不敢看曼曼,她一定失落。上车,启动,油门踩到底,家人那些嘱咐我的话被远远地甩在了后面。我只能这样,我怕我动摇。
马路上清净地像“飞机跑道”,这是一位网友在评论里说的。
加满油,直接来杭州,之所以不回北京是因为上帝在给我关上一扇门的同时还给我弹了个窗。
导航显示需要十个多小时,没所谓。路上我跟我爸互相道歉,我妈给我打钱,我在路上哭我爸在家里哭。哭丢人吗,一点儿都不丢人。眼泪永远都是圣洁的。
一路没有休息,直接开到了杭州一个叫“南庄兜”的高速口。
下高速进入杭州非常顺畅,工作人员语言简洁、口齿清楚:“看下行程码,好,您打开双闪,停到那边蓝色帐篷边上,去登记做个核酸就可以走了。”
杭州有朋友,他家的房子刚装修完,空着没人住,让我来给吸吸甲醛,作为补偿给我准备了很多好吃的好喝的。很公平。
就这样,我出现了杭州。 https://t.cn/RXnjSlc
是这样的,昨天我妈在厨房做饭,突然喊我,宝玖你快来看,快来快来!”我一看,好家伙,一个小盆友一丝不挂地站在窗户边上,所以我拍了张照片就发到朋友圈儿里(图1)。
然后老家的朋友评论里说让我去试试开所谓的“离沧证明”,也许可以走。虽然觉得希望渺茫,但我还是愿意一试,毕竟如此“静默”带给我的不仅是物理伤害,更多的是精神。有机会必须要抓住,即使没成,也能挽回一些尊严上的损失。
电话还算是好打,一次就接通了,态度也还不错:“你要去哪儿?去干嘛?”这种问题以前我是绝对不会回答的,但这回开始编了,我说我是公司老板,得去杭州开会,创业者不容易,去不成的话家破人亡。
电话那头说:“我给你问问吧。”
挂了。那一刻我太兴奋了,“我给你问问吧”这几个字意味着什么,意味着有戏,起码有先例,这时候我就已经开始收拾东西了,我妈帮我,泡面、麦片儿、咸鸭蛋啥的就一顿往包儿里给我拾掇,有点儿“临行密密缝,意恐迟迟归”那意思了。
很快回电话了:“领导说了,证明能给开,但得有你公司给开的介绍信,没有就开不了。”
我说我是法人,我自己给自己开吗?我告诉你我是我公司的老板,我允许我自己离沧?
“我再反映一下这个情况吧,你这个挺不好办。”又挂了。
我已经觉得我能走了,原因很简单,这位工作人员从来没说过类似“拒绝”的话。兴奋的同时另一种情绪也在出现,开始难过,很难过,和兴奋缠绕在一起,冷热交替。这十几天和家人的相处,百感交集,全涌上来。我是逃离了,父母呢,还是要面对这种日子。尤其是曼曼,我走了她会更孤单,更无所适从。然而我没办法把她一起带走,因为刚才跟社区编的那个慌儿没编到她。
这时候其实我的心态是:走不走都行。这种心态出现的那一刻我也没有想到,怎么会呢,在家里待得如此痛苦,临了儿竟然动摇了?
“不行,我必须走,很多情绪也是幻觉,我得坚决,我得冷血。一代人有一代人的痛苦,每个人都只能对自己负责……”,就这样我开始给自己做心理建设。
过了俩小时,又来电话了:“你开车走还是怎么走?车库你能出得去吗?即便车库能出去路上也有交通管制啊,能上高速吗?”
“这不是您该操心的问题了就,您只要把《离沧证明》给我开了就行。”我理直气壮地说。
我一直认为没做错事情的人不需要害怕。
于是我去社区开了证明,还写了保证书。社区里坐着七八个人,虽然都带着口罩儿,但能看得出来,就是普通人,没有特异功能,但就是可以把几千人关在家里出不了屋儿。
写完保证书儿工作人员拿着说:“字儿写得这么好的真少见。”另一位说:“人家可是老板,天天签字儿。”
爸妈和曼曼已经在地下车库等我了,把东西早已帮我放到了车上,这样可以保证我一分钟都不耽误。
拿着证明手有点儿抖,去地库开车的时候心里特别难受,像喝了一大口高度白酒,腾腾地。不敢看我爸我妈,也不敢看曼曼,她一定失落。上车,启动,油门踩到底,家人那些嘱咐我的话被远远地甩在了后面。我只能这样,我怕我动摇。
马路上清净地像“飞机跑道”,这是一位网友在评论里说的。
加满油,直接来杭州,之所以不回北京是因为上帝在给我关上一扇门的同时还给我弹了个窗。
导航显示需要十个多小时,没所谓。路上我跟我爸互相道歉,我妈给我打钱,我在路上哭我爸在家里哭。哭丢人吗,一点儿都不丢人。眼泪永远都是圣洁的。
一路没有休息,直接开到了杭州一个叫“南庄兜”的高速口。
下高速进入杭州非常顺畅,工作人员语言简洁、口齿清楚:“看下行程码,好,您打开双闪,停到那边蓝色帐篷边上,去登记做个核酸就可以走了。”
杭州有朋友,他家的房子刚装修完,空着没人住,让我来给吸吸甲醛,作为补偿给我准备了很多好吃的好喝的。很公平。
就这样,我出现了杭州。 https://t.cn/RXnjSlc
✋热门推荐