#香山调试直播# 香山芯片调试目标完成!

记录一些流水账:

2021年6月22日,香山在RISC-V中国峰会上第一次亮相,这是当时公开的国际上性能最高的开源RISC-V处理器核设计,受到国内外的很多关注,如今在GitHub上已有近2500个Star,250多个Fork。虽然我们的报告是中文的,但却有不少英文报道,甚至还有来自俄罗斯的关注。可以说,香山成为国际上最受关注的开源芯片项目之一。

2021年7月15日,第一代香山“雁栖湖”流片。但接下来由于受到全球芯片产能影响,我们不得不经历漫长的等待期。因为许久没有回片后的消息,有一些关注香山的朋友发来小心翼翼的询问:“香山是不是流片失败了?”流片失败,就是指香山无法点亮,也就意味着它就是一块石头。

2022年1月20日,等待了整整半年,香山终于回片了。硬件调试存在很大不确定性,很可能1个bug就会需要耗上1-2个月才能解决。而硬件问题解决不了,软件调试就会受到影响。尽早发现硬件问题,此时的香山就如同刚从医院拿回来的一份尚未打开的检查报告——面对它心中充满忐忑,不知道结果是好是坏。如果要等春节假期结束后才能看报告,这个年我们会过得心里很不踏实。另外,还存在一个不确定性,就是疫情防控。前段时间北京出现疫情,导致不少同学无法回家。但另一方面,由于冬奥会、两会等一系列活动,如果其他地方出现疫情,也可能导致离京后一段时间内甚至整个2月不能返京,那就会再空耗一个月。

我们希望能尽早消除一些不确定性,否则过年心里也不踏实。时间,对于香山调试非常宝贵。于是,香山团队的多位小伙伴(徐易难、李作骏、王诲喆、勾凌睿、张紫飞、蔺嘉炜、李乾若、甄好)决定留在北京攻关调试,加上唐丹和我,组成了一支攻关调试小分队。其中有几位是因为老家疫情而留在了北京,也有本来就是北京人,除了这些这些线下的小伙伴,还有全国各地的老师和同学一起在线参与。

1月26日开始,采用香山枫叶红底色的主板陆续从深圳寄到北京。此前,1月22-24日,深圳团队的蔡晔老师、刘彤、何伟等已经在深圳焊好主板,完成了初步的调试,包括系统时钟、串口、Flash等,验证IO通路正确。

1月29日,调试攻坚战正式打响了。调试过程一开始出乎意料地顺利,虽然有些小曲折,但都很快解决。到1月30日,我们取得了不错的战果:
•CPU频率从24MHz切到1GHz;
•DDR4-2400初始化成功,并稳定运行;
•Linux正常启动进入Shell;
•CoreMark成功运行,5.3分,与仿真完全一致。

1月30日晚上,收到了中国科学院大学公共管理学院刘继安老师的消息,是她和博士后徐艳茹希望观摩香山调试。晚上9点,徐博士先来到了调试现场,拍了几张照片,然后便跟我们说,她春节也不能回去过年,希望能全程观摩香山的调试过程。我们觉得应该很快就可以结束调试了,便欣然答应。但任何事情都不要高兴太早!

1月31日,大年夜。就在我们认为可以“牛年事、牛年毕”,可以在牛年就能跑出SPEC CPU2006分值、初步完成调目标时,现实狠狠地打了我们的脸——在运行SPEC CPU2006时,DDR4-2400稳定性存在问题,会导致返回数据出现随机错误。DDR是芯片调试过程最麻烦的问题,看来我们终究还是要面对。

我们分头吃年夜饭。下午2点,唐丹老师回家和家人一起吃了顿年夜饭;下午4:30,唐老师又过来和我们一起吃了一顿年夜饭,然后回到调试作战室放松:春晚,PS5,瓜子……晚上7点,我再回家和家人又吃了一顿年夜饭。一个难忘的大年夜!

大年初一到初三,大家休息了三天。

初四,重新整装上阵。内存专家李作骏全力攻占DDR稳定性问题,其他人全力配合。全志D1-H项目负责人孙彦邦提到当时在全志时DDR调试也是难点,他推荐了在Linux下的memtester来测试内存。

初五,徐易难很快便在Linux下编译好memtester,并开始测试。初步测试访存确实不稳定,内存在作Bit Flipping时会出现8KB数据不正确。于是开始尝试修改CPU频率,1GHz提高到1.1GHz,1.26GHz,但都不稳定;那就给CPU降频,降到800MHz、600MHz,似乎访存稳定性好一些,但还是会随机出错。

唐丹老师查看DDR PHY手册,发现PHY和DIMM的VRef配置不同步,修改后稳定性得到改善,但memtester还是会出现随机访存出错,只是出现概率降低了。但是,哪怕概率再低,也不可接受——对于理论上1GHz频率下每秒可运行60亿条指令的香山来说,哪怕是亿分之一的随机出错概率,也意味着每秒会出现几十次访存数据错误,这是不可接受的。我们必须要把访存调稳定。

初六,大家继续尝试——修改DDR Trainimg参数,修改Linux启动时内存容量,改变DDR供电电压……始终无法消除DDR访存的随机出错问题。我们怀疑DDR信号完整性问题,希望看一下DDR信号的眼图。开始一通打电话借设备,我们借到了一台DDR逻辑分析仪。这这台设备和HMTT很像,也是插在DIMM槽,但它内部提供高频采样时钟,可以直接抓DDR访存数据信号。我们花了半天的时间研究如何使用,当搞清楚后,发现在DDR-2400配置下采不到预想的信号。晚上9点多,打电话给设备代理商,被告知这台设备采购时没有选支持2400的模块,现在还支持DDR-1600。燃起的希望又熄灭了。

初七,唐丹老师又开始打一轮电话,又向郝沁汾老师借来一台示波器。有人建议看一下电源是否稳定,波动幅度是否太大,可以换一下精密电源。唐老师、徐易难立刻开始测试电源稳定性,发现真的会出现上下60-80mV的波动。那时,看到这个几十毫伏的波动,似乎大家心里涌出一丝欣喜,希望这就是DDR访存不稳定的问题所在。唐丹马不停蹄地区采购精密电源,不幸的是在换电源后,我们使用最多、相对最稳定的一块板卡“牺牲”了——烧了!来不及难过,立刻又切换到另一块板卡开始测试起来。结果有点沮丧,换了精密电源后依然无法消除访存随机性问题。

李作骏通过对DDR信号进行仿真,发现DDR DQS信号的ODT参数设置存在问题,同时把所有的访存性能相关的参数调到最保守设置。大家又寄希望于这次DDR参数修改。

此时,于是另一条调试网卡的战线开始启动,由王诲喆担任主攻手:测试网卡时钟信号、调整GMAC频率,设置设备树,修改驱动——网卡很快就被识别出来了,能看到网卡能收包了,但是问题是不能发包。

初八,跑了一个晚上的memtester,连续运行了12个小时,只有一个访存出错。这次稳定性得到了极大的提高,但还没有彻底解决,运行SPEC CPU依然出错。这时,大家决定尝试一下将DDR降频到1600。DDR-1600配置下,李作骏又对DDR Training做了优化,调高了Refresh Burst数量,激动人心的时刻发生了——之前跑不过的SPEC CPU应用都能跑完了!DDR访存稳定性问题终于解决了!

从初八开始,勾凌睿便开始用SPEC CPU2006程序烤机,香山频率设置为1GHz,DDR设置为1600,连续几十个小时的运行,再也没有出现过错误了。当然,这并不是最终目标,我们知道DDR访存性能对整个香山芯片的性能至关重要,接下来我们还继续优化DDR性能。

另一条战线,王诲喆仍然在调试网卡。在香山上用tcpdump能看到从另一台机器发过来的网络包,对比发送端的wireshark,内容正确。但是发送始终存在问题,ping依然不通。

初九,跑了一天的SPEC CPU,再也没有出错了,大家开始期待香山的SPEC CPU 2006分值了。网卡调试那边,手动修改了mac地址后,香山能收到ping,但是发送依然有问题。

初十,在修复了一个串口驱动小问题后,终于得到SPEC CPU 2006分值了,香山在1GHz频率、DDR-1600配置下,分值为5.97。这个数字对于香山来说,是一个里程碑。但我们知道,这并不是香山的真实性能,因为这是把DDR-2400降频为DDR-1600后得到的结果,从数据来看,很多访存密集型应用性能受到了很大的影响。如果把DDR进一步优化,香山性能还将进一步提升。我们根据Roofline模型推演访存性能优化目标。

正月十二,王诲喆也终于将网卡调通,香山功能基本完备。有了网络,大家就可以远程访问香山了。

正月十五,李作骏对DDR-1600时序进行了初步优化,之前受DDR访存的应用性能得到了大幅提升,比如bzip2-liberty的运行时间从483s降到了265s。这也意味着SPEC CPU2006分值即使在DDR降频的情况下还可以有很大的提升。

至此,历时近3个星期的香山攻关调试取得了圆满成功。香山调试直播完毕。

衷心感谢所有关注和支持香山的朋友!后续我们仍然会向大家介绍香山后续的性能优化进展。

—————

图1:调试攻关任务清单完成!
图2:与DDR访存稳定性战斗
图3:稳定运行SPEC CPU2006程序
图4:网卡正常工作
图5:SPECCPU 2006分值与对应配置
图6:Roofline模型推演访存性能优化目标
图7-9:香山调试现场

今天也是被Arena眷顾的一天。
歌单没有日替,所有曲目和昨天一样,那就来流水账一下今天的小episode。

开场两首曲子后,连续剧一般又点名Yahoo新闻(Yahoo:我好南)。说又被写了木拓演唱会上说不是遗产是财产,那就在这样的时期,在神户,唱这首歌吧(がんばりましょう)。

beautiful morning(和昨天一样提到了是鈴木京香さん写的词,然后征求了一下大家能不能喝口水,还说就一小口)唱到第一句高音“風にのせたら”的时候一下子没有准备好,唱破到拉不回来。后面迅速调整后几次高音都顺利唱上去了,然后唱完最后一个高音后紧接着有一句“ほらもう 大丈夫”,自己害羞地边唱边笑着比了个的手势,简直可爱[抱一抱]
这里MC有说到这是新冠以来自己第一次在蔓延防止政策下开巡,能做到何种程度其实自己也不知道,但是只能努力去实现。现在站在舞台上,看着下面的光景,真的真的很感谢到场的所有饭们的配合,希望尽快能有一天再能一起欢笑,歌唱,一起制造美好的回忆。

这次专里面我个人最喜欢Good Luck, Good Time和Yes, I’m。现场的话Good Luck更胜一筹,音乐响起霓虹灯光亮起那瞬间仿佛一下子氛围回到90年代,Captain脱了西装外套,身穿蓝色豹纹西装背心黑色衬衫,站在立麦后面和戴着礼帽穿西装的Dancer们一起那个小胯扭得叫色气全开,想起了以前的史上最強No1ホストヒカル[色]感谢编舞师

Come Alive玩了和昨天一样换歌词的梗,在后面的MC时候说刚才的拍手真的很好,一般其他人的话在这里会说你们很棒哦,比昨天的观众更high什么的,但是我不会这么说,今天和昨天一样优秀(端水大师[机智]

因为HA的编舞要用到床的道具,唱完后吐槽说被Staff问搬床上舞台的话如何,他也就随口附和说哦哦,现在一看意外地比想象中小,不过就算这样小的尺寸重量可是要几个人才能抬得动,于是和昨天一样让Dancer上来帮忙抬床,但是又故意把话筒塞给其中一个人后自己在那里抬,搞得这个Dancer唯唯诺诺跟在旁边一直追着说Kimura桑,Kimura桑你放着我来搬,简直爱演
MC说虽然是这样的时期,大家都要戴着口罩,不能跟着唱,即便现在台下灯光没有很亮,但是大家的表情其实都能看的清楚,口罩所掩盖不住的真挚眼神和热情都能感受到,希望大家有会唱的歌曲,在心里默默跟唱。(此处需要Q一下tbgy大爷,一个每次都说台下完完全全看不见的人,请来和尼桑辩一下输赢
然后继续说到现在MC不能对话,说了什么之后大家都鼓掌回应,然后等着自己说下一个话题。仿佛自己在海边一样,说了个啥之后掌声像潮水一般涌来,褪去后全场シーン一片安静

接下来的三首都是在延伸舞台前端唱的。昨天唱サンセットベンチ前从裤兜里掏出润唇膏一边MC一边慢悠悠地涂,然后自我吐槽什么人在舞台上这样涂润唇膏,但是只有这里有机会了。今天倒是没有拿出润唇膏,改为喝水。然后直接坐到最靠近观众的台阶下唱歌,正好就在我左侧前方数米远,看着灯光照射下认真唱歌的侧颜简直是艺术品。

今天OFF THE RIP特别high,在中间最高处时候半个身子向前探出栏杆,就看到汗水+口水在往下掉,不知道下方的饭是啥感受

Encore的时候穿了剪掉袖子变成背心的白色周边T(昨天是黑色,带货小能手)
最后One Chance的时候唱到
“One Chance!
いつの日か絶対 あの壁も飛び越えちゃうのさ そう空よりも高く
若干不安はつきまとうけど この胸のフラッグを
ありのままに掲げられたらいいな”
把自己唱哽咽了,估计真的是感慨这个时期还能这样和饭一起的来之不易。
鞠躬谢幕的时候没用话筒喊了句おおきに(假装关西人吗
大屏幕关上时候让大家お気をつけて(昨天最后说了おやすみ)

最后记录一下这两天戴的饰品:
项链全金绿松Goro‘s(图2)
右手无名指Goro‘s羽毛戒指(图3)
左手中指全钻骷髅戒指(图4)
右手Goro‘s双鹰头手镯(图5)
左手Goro‘s平打手镯(图6)

下周广岛见✊

5.2地铁博物馆亲子马拉松流水账
怕堵车,早上8点前出门,一路非常顺畅,9点前到达,活动10点才开始,只能等,先在某咖啡店把饮料给安排上,u1s1,不好喝。
提前熟悉了场地,一开跑很快,基本都是冲第一,难度不大,运动出出汗,拿了点小奖品,主要是开心就好,这活动费出得值。
下午回来早,再去某惠农场,离家比较近,到了发现天空乌云密布,要大雨的节奏,马上撤,半路就是大暴雨,看不清路,比较危险,找了个加油站停车等雨小,很久没遇到这么大的雨了。


发布     👍 0 举报 写留言 🖊   
✋热门推荐
  • 另一种感觉在厕所吸着烟,回想了24个小时前……刷快手应该已经成为我现在每天晚上必须做的一件事了,也就是在快手上,看到了他新更的作品,他的状态不好,十八岁的他不该
  • 还想了解更多浙江民间舞蹈小知识快来点击评论区#看见文化馆##全民艺术普及#张爱玲和林徽因,一位是理性的人间四月天,一位是感性的临水照花人。在上节课中,我们了解了
  • 反正你也会回答Juri的吧(垂头丧气)」(也不是吐槽只是温柔的这样说的杰西好可爱)北斗「不…但是杰西是我kurie的相方…你是…」樹「那我就是“夜の相方(?)”
  • #肖战[超话]##肖战为你开小灶# ‖ #肖战正能量艺人# 山野千里,你是我藏在星星里的浪漫,要在天亮之前变身小星星,去偷亲你的眼睛。 当流星来的那一夜时,
  • 缘分的开始是,她特别主动地跟我说话,跟我请教问题,跟我说好多好多她的日常,比如减肥好难啦,比如男朋友好懒啦,比如食堂真的好难吃啦…我是个不太会拒绝人的人,就常常
  • 别人眼中的你,有点小脾气和距离感,不轻易表露自己性情和内心,但是做事很守信用,是个非常值得信赖的人。​​有些遗憾,遗憾的是我觉得找不到这样子的一个人了;但也仅仅
  • 因为他们的身份,因为他们所处的背景……我也在边哭边有过“周生辰为什么不反”这个想法,但理智使我冷静思考,周生辰就是这样一个人,他不为江山不为名利,他为的是国和民
  • 那天好累喔 都被晒伤了 蹲了你十几个小时 不过这一切都值得还有一次就是沸腾校园 好远好远 差不多要1000公里结果现场看姐和学员们抱抱 我真的吃醋了 我也要嘛怎
  • 前段时间就有网友提前布局,他说从俄乌战争开始他就在准备电热毯了,不仅如此,专利电热围巾马上授权,专利取暖小家电快速屯货,一个月时间就让亚马逊销量破百万,即使有超
  • 当佛陀住在三十三天界的时间中,目犍连尊者为维护佛教的正常发展,而仍住在地球上。”目犍连仍然刹那顷返回阎浮提,将佛陀的回复通知了大众。
  • ——待你不想修仙了,我便告诉你。那一夜他明明为她穿上嫁衣,许诺定回来娶她……云星玄天生半副仙骨,能见鬼神,若集齐五颗紫念菩提,开启五行莲花杯,可补全灵犀成仙,也
  • ”附加了一堆说辞,大概意思就是:答应完分享,回头再看书,才发现,书里写的不适合我,我不会感兴趣的[并不简单]喂,意思就是我浅薄呗!窗边的鸽子被我养的好圆润~自从
  • 79、我就是有点胖,不然挺瘦的80、我睡着之前还是醒的81、如果不出意外的话应该是出意外了82、你知道吗,人活着需要呼吸83、你说的这话,抛开内容来说,我十分赞
  • 新娘化妆需注意事项新娘跟妆问题上,除了要知道如何选择新娘跟妆师之外,新娘自身也是要做好跟妆准备的,不然的话到了婚礼前后那几天可能就会出状况了。那么新娘跟妆要注意
  • 亲爱的小咪: 距你离开我已经有一周的时间,一周很快,也很慢,快的是我来不及找齐给你拍摄过的照片,慢的是我迟迟消化不好对你的情绪。在梦里我抱她、给她捋毛的触感好
  • 然乌湖上面是来古冰川,海拔最高的地方是6626米的岗日嘎布山,山顶之上的积雪皆常年不化,发育了规模巨大的现代冰川群,形成奇伟瑰丽的来古冰川景区,同时为然乌湖提供
  • ”玖拾陆-碎碎念最近关于人生事的探讨综艺萌探的会不会选择知道自己哪天离开人世…我选择会…我觉得这并不是悲观的表现,如果我知道我自己的期限,我知道人生的尽头会是死
  • 兰摄拍景还能看,拍人好像真的差了一点[苦涩]我们一起去了小屋里,看了一眼就走了,因为那边老旧小区重造,而且小屋里着实有点“小”了。然后我们去上中顺的南迦喝咖啡,
  • 再见小王子的故乡——里昂 欢迎点击查看肖战的迷路日常 我猜孩子没戴隐形眼镜,大近视不戴眼镜真的超极的没安全感,恐怕跟错了人。 下一秒,额,好像很好拐的亚子?
  • 哭晕在厕所?远远不够! 万润新能破发,给打新族留下的是恐怖记忆,甚至心理创伤! 想想吧,中一签,直接亏损四万多,谁受得了? 四万多,散户在这个熊气弥漫的股