分享一篇专访:Groq CEO挑战Nvidia:2024年底,多数初创公司将使用LPUs,而不是GPU
看了这么多年商业科技故事,有一个很明确的结论,哪里有超额的收益,哪里就有蜂拥的竞争者,无论现在看起来新的竞争的胜率多么的低(谁能在10年前想象阿里巴巴的市值会被另外一家电子商务公司拼多多超过)。今天我发了《连线》对黄仁勋的专访,其中也谈到了Groq的竞争。黄不觉得Groq会对英伟达形成有效的竞争,但是黄并不轻松,因为他知道,即使不是Groq,也会也有其他人出现,突然在一夜(表面看起来是一夜之间,其实对手已经在多年前就蠢蠢欲动,暗度陈仓了)颠覆现有的商业模式、商业生态(颠覆式创新)。

我觉得Groq最有意思的一点,是它瞄准了一个利基市场,AI推理,然后在这个场景实现了一个很重要的特色:快快的速度。无论Groq是否能取得最终的成功,但是起码它有一个清晰的角色。不过问题是,Groq所谓的快速,是基于针对LLMs的优化之上的,它是否太过狭窄,而丧失了通用性。而英伟达的GPU则实现了通用的专用(并行加速)。
欧拉。

最后,Groq是一个2016年就成立的公司(OpenAI成立于2015年)。所以这正是我想强调的:“你突然听见蝉鸣,但是你并不知道它在地下蛰伏了多久”。

**
AI芯片竞争:Groq首席执行官挑战Nvidia,声称到2024年底,大多数初创公司将使用高速LPUs

来源:venturebeat.com
作者:莎朗·戈德曼
(sharongoldman on X)

大家都在谈论Nvidia令人瞠目结舌的收益结果——较一年前增长了整整265%。但不要忽视Groq,这家位于硅谷的公司正在为大型语言模型(LLM)推理(对现有模型进行决策或预测,而不是训练)开发新的人工智能芯片。上周末,Groq突然迎来了大多数初创公司梦寐以求的病毒式时刻。

当然,这并不像埃隆·马斯克(Elon Musk)关于完全无关的大型语言模型Grok的帖子那样在社交媒体上引起轰动。但我相信Nvidia的人们在Matt Shumer,HyperWrite的首席执行官,在X上发布关于Groq的“疯狂技术”的帖子后会注意到,该技术以“接近500 tok/s”的速度为Mixtral提供“几乎即时”的答案。

Shumer在X之后进行了一次公开演示,展示了一个“闪电般快速的答案引擎”,能在不到一秒钟的时间内提供“几百个字的事实性、引用的答案”——突然间,似乎AI领域的每个人都在谈论并尝试Groq的聊天应用程序,用户可以在其网站上选择由Llama和Mistral提供的输出。

这是在一个星期前的CNN采访中,Groq的首席执行官兼创始人Jonathan Ross展示了Groq为一个“打破速度记录”的音频聊天界面提供动力。

尽管目前没有任何公司能够挑战Nvidia的主导地位 - Nvidia在高端芯片市场上占据了80%以上的份额;其他人工智能芯片初创公司如SambaNova和Cerebras在人工智能推理方面仍未取得多大进展;Nvidia刚刚宣布第四季度收入达到220亿美元 - Groq的首席执行官兼创始人Jonathan Ross在接受我的采访时表示,推理的高昂成本使得他的初创公司的产品成为一种“超快速”,更便宜的选择,专门用于LLM。

在一个大胆的声明中,罗斯告诉我:“到年底,我们可能会成为大多数初创公司使用的基础设施”,并补充说:“我们非常支持初创公司 - 联系我们,我们会确保你支付的费用不会像其他地方那样高。”

一、Groq LPUs与Nvidia GPUs
Groq的网站将其LPUs(即“语言处理单元”)描述为“一种新型的端到端处理单元系统,为具有顺序组件的计算密集型应用程序提供最快的推理,例如AI语言应用程序(LLMs)”。

相比之下,Nvidia的GPU优化了并行图形处理,而不是LLMs。由于Groq的LPUs专门设计用于处理数据序列,如代码和自然语言,它们可以通过绕过GPU或CPU难以处理的两个方面(计算密度和内存带宽),更快地提供LLM输出。

此外,关于他们的聊天界面,Ross声称Groq与OpenAI等公司不同的另一个方面是,Groq不训练模型,因此不需要记录任何数据,可以保持聊天查询的私密性。

ChatGPT如果由Groq芯片提供动力,预计运行速度将提高13倍以上,那么OpenAI是否有可能成为Groq的合作伙伴?Ross没有具体说,但Groq音频聊天界面的演示版本告诉我,如果有互惠互利的情况下,他们“有可能合作。OpenAI可能有兴趣利用LPUs的独特能力进行语言处理项目。如果他们有相似的目标,这可能是一个令人兴奋的合作伙伴关系。”

二、Groq的LPUs真的是AI推理的游戏改变者吗?
我本应在几个月前与罗斯交谈,自从公司的公关代表在12月中旬联系我,称Groq是“准备赢得人工智能竞赛的美国芯片制造商”。我很好奇,但从未有时间接听电话。

但现在我肯定抽出时间:我想知道Groq是否只是快速发展的人工智能炒作周期中的最新参与者,即“只需要公关关注”?Groq的LPUs是否真的是人工智能推理的游戏改变者?在过去的一周里,对于Ross和他的200人小团队(他们称自己为“Groqsters”)来说,经历了一次特定的技术硬件成名后的生活是怎样的?

舒默的帖子是“引爆导火索的火柴”,罗斯在从巴黎一家酒店的视频通话中告诉我,他刚刚与Mistral团队共进午餐——这家法国开源LLM初创公司在过去几个月里已经享受到了自己的多个病毒式传播时刻。

他估计,在舒默发布帖子的24小时内,有超过3000人联系Groq寻求API访问,但他笑着说:“我们没有设置计费,所以不会向他们收费。目前我们只是让人们免费使用。”

但是当涉及到在硅谷运营初创企业的方方面面时,罗斯并不是一个新手——自从Groq成立于2016年以来,他一直在大力宣传该公司技术的潜力。通过快速的谷歌搜索,可以找到一篇2021年的福布斯报道,详细介绍了Groq筹集了3亿美元的资金,并且罗斯帮助发明了谷歌的张量处理单元(TPU),然后在2016年离开谷歌创办了Groq。

在Groq,Ross和他的团队构建了他所称的“非常不寻常的芯片,因为如果你正在构建一辆汽车,你可以从引擎开始,也可以从驾驶体验开始。而我们从驾驶体验开始——在设计芯片之前,我们花了前六个月的时间研究编译器。”

三、满足对Nvidia GPU的需求已经成为一个大生意了
正如我上周报告的那样,满足对Nvidia GPU的广泛需求已成为AI行业中的大生意,而这在去年夏天是硅谷最热门的话题。

它孕育了新的GPU云独角兽(Lamda、Together AI和Coreweave),而前GitHub CEO Nat Friedman昨天宣布他的团队甚至创建了一个针对GPU集群的Craigslist。当然,还有《华尔街日报》的报道,OpenAI CEO Sam Altman希望通过重塑AI芯片的世界来应对需求——这个项目可能耗资数万亿,并且有复杂的地缘政治背景。

罗斯声称,目前在GPU领域发生的一些事情实际上是对Groq所做的事情的回应。“这是一个小小的良性循环,”他说。例如,“Nvidia发现主权国家是他们正在做的一件大事,而我正在进行为期五周的巡回访问,试图与一些国家达成一些交易……当你在外面的时候你看不到这些,但有很多事情都在跟随着我们。”

他还大胆地反击了奥特曼提出的筹集高达7万亿美元的大规模人工智能芯片项目的努力。“我只想说我们可以用7000亿来完成它。”他说,“我们很实惠。”

他补充说,Groq还将为AI芯片的供应做出贡献,拥有充足的产能。

“到今年年底,我们肯定会拥有每秒2500万个令牌的容量,这是我们估计OpenAI在2023年底的水平,”他说。“然而,我们正在与各国合作部署硬件,以增加这个数字。就像阿联酋和许多其他国家一样。我来欧洲是有原因的 - 有各种各样的国家对此感兴趣。”

但与此同时,Groq还必须解决一些普通的当前问题 - 比如在公司上周的病毒式事件之后让人们为API付费的问题。当我问罗斯是否打算解决Groq的API计费问题时,罗斯说:“我们会研究一下。”他的公关代表也在电话中迅速插话:“是的,这将是我们的首要任务之一,乔纳森。”

【滕哈格:我继续对引援有否决权,安东尼很有潜力仍可信赖】 北京时间今晚23点,曼联将在英超联赛对阵富勒姆。曼联官网发布了滕哈格赛前新闻发布会的第二部分。

拉特克利夫说他和布雷斯福德作为俱乐部的决策者,会敲定一种比赛风格而教练会按照这种风格比赛,你同意吗?考虑到你已经拥有自己的风格,你对此感到满意吗?

当我刚刚到来的时候,我也得到了那样的指示,俱乐部决定比赛风格的做法很正常,所以你必须同意这一点。所以现在我就是这样工作的。所以我们希望这么踢。这是这家俱乐部的高层之前提出的。他们希望球队踢出积极主动且充满活力的攻势足球。也就是说,我认为在我执教期间,我们一直尝试这样比赛。

关于引进阿什沃斯的意向,你在阿贾克斯说过,你必须控制引援。那么你是否依然希望在他以及布雷斯福德组成的新体系中拥有对引援的控制权?

是的,我肯定有这种控制。我已经和他们谈过了,他们不会引进主教练不想要的球员,因为这行不通。我们将会在此基础上工作,一起拿出建议,让球员参与讨论,然后就是关于选择合适的球员,这是关于合作,这就是他们想要的工作方式。

在拉斯穆斯-霍伊伦缺阵的情况下,你可能不得不让马库斯-拉什福德出任前锋,但这意味着要让安东尼上场。他一直是一个重金买来的失意者。在接下来的几周里,你能依靠他吗?

是的,绝对可以,他必须证明他会做到,而且他会这么做的。他拥有巨大的潜力。安东尼最近没把这些展现出来,但我知道他的天赋,关键是他要证明他的天赋,这是他的事情。是的,他可能会获得机会。但是我认为机会始终存在,实际上你会面临竞争,现在他必须在训练中表现自己,而其他人也是如此。随着迪亚洛也伤愈,他在训练中也很出色。奥马里-福森也做的很好。所以,我们能填补空缺,所以也没有确定拉什福德就必须踢中锋。

我记得你在10月份谈到了当时的伤病,谈到了问题,以及俱乐部内部如何改善这一点,就在事情好转的时候,最近你们又遇到了一些挫折。这仍然是一个问题吗?你们现在经历的是任何一家俱乐部都会有的,还是这家俱乐部有什么不对劲的地方,导致伤病这么多?

我们已经关注过,是的,伤病情况在整个赛季都困扰着我们,有许多因素造成了影响。而我们或许必须在某些方面改进。不过,你们都看到了,有些因素你是无法影响的,这超出了你的能力范围。例如欧足联和国际足联增加了新的赛事,就会不断压缩俱乐部赛事的日程。你们还可以看到许多其他的俱乐部也有伤病问题,不仅仅是我们,所以这不是仅仅困扰曼联的问题。

关于芒特和马夏尔,他们距离复出还有多久?现在你失去了两名主力前锋,这是否表明这支球队可能没有你希望的那么强大?

在1月份得知马夏尔的消息时,我当时真的是很想再引进一名前锋,是的,因为我们在锋线位置的情况很脆弱,但FFP摆在那里,我们无法做到。所以,是的,我们只能用其他球员去填补空缺,以及想办法应对霍伊伦无法登场的状况,我们也有这样的选择去填补空缺。

在拉斯穆斯受伤的情况下,拉什福德本赛季只为球队打进了5个进球。我知道,斯科特-麦克托米奈为球队增加了进球数,但拉斯穆斯的受伤是否会威胁到你的赛季,让它脱轨,因为除了他之外,你们真的没能进很多球,会吗?

我认为加纳乔取得了许多的进球。

但那很多吗?7粒进球很多吗?

我认为这是不错的数据,对吧?拉什福德的能力很强,但他打进5球,他可以进更多的球。而且我觉得在过去几场比赛中,我们的锋线很有威胁,他们收获进球,只有霍伊伦破门吗?不是的,加纳乔进球了,拉什福德和麦克托米奈也是如此,B费同样能进球,所以我认为我们在各个位置都有得分手。真正让我担心的时候是在去年秋天,当时锋线球员没有进球,甚至都没有创造威胁,我认为目前他们都状态出色并且持续制造威胁。我非常有信心就算霍伊伦不在场,他们也会持续制造威胁,我们可以派出很强的锋线,我不认为对手能轻松对付,他们肯定会感到害怕的。

我尊重你说的,但在失去主力的情况下,你们的锋线被严重削弱了,对不对?我的意思就是,这很明显,对吗?

他在最近非常重要,但你说主要人物?我不那样看待,因为我认为尤其是加纳乔在过去几场比赛也踢得非常强势。

https://t.cn/A6jZqaYf 我的评分:[星星][星星][星星][星星][星星]
她妹那样,尽管她生气还是签字了,她闺蜜那样,她还是做伴娘了,她就是会把对方喜欢的东西都给对方,就是这样的性格,她不是傻,而是她就是这样的人,尽管她变强大了,她也不会报复伤害过她的人,她选择了拳击是因为尽管打了对方,但仍能和对手相拥抱。#热辣滚烫#


发布     👍 0 举报 写留言 🖊   
✋热门推荐
  • 运作,不拒绝借智慧和借鸡生蛋,完成资本归集,获得人生的第一桶金金钱永不眠END资本启示录(十)启示录为记录本博投资人生以顶层角度看造富灵活地行走,在资本市场的顶
  • 因为那时的我还是个未成年的孩子,而你已结婚并还有一个可爱的女儿,我们之间相差的年龄也就整整十岁吧?三位都各有各的可爱-其中H班长送了我两根士力架(因为觉得我瘦可
  • 遇见东方瑞士ღღ•̥̑ .̮ •̥̑).:*・゚ 喜欢的路线,同行的司机师傅兼向导非常给力 一起吃吃玩玩 接触自然看美景吃美食 这感觉真的太棒了[哪吒开心][哪
  • 说实话小编虽然没有残雪出名,也没有残雪的成就,但是残雪的确是小众作家,残雪的著述更多的是顾影自怜式的!她的文章大多毫无逻辑、支离破碎,更多的是天马行空的想象、梦
  • 日常记录。 我老公说。“老婆。下次我们生个女儿吧。我喜欢女儿。” 我妈说“要是成的话。现在孩子都半岁多了。咋会那么倒霉呀?” 跟我同样预产期的同事要回来上
  • 《甘草子·春寒谁忆》 文:张加好 枝上浑无一点春,流水半随尘。谁寄南楼薄幸人?榴花开湘裙。愿教青帝常为主,莫道翠苔点缤纷。付与玉樽浑不管,谁教天气作春阴?杨花
  • [思考]弃坑一年后重新回坑砍口垒(因为科罗拉多的美色),加上抓住了国庆节回老家度假期间从盒子里面越狱的通心粉鼠,得庆祝一下。 第一次微博抽奖,看看微博抽奖怎么玩
  • 【#无锡高架桥侧翻事故3死2伤#[蜡烛]】10月10日18时10分许,江苏省无锡市312国道K135处、锡港路上跨桥发生桥面侧翻事故。经现场搜救确认,桥下共有3
  • 关于做好2019年底至2020年新年安全检查以及排除安全隐患,控制车速,禁止包头进出站,抽头进出站,必须排队进出站,13-16秒上落客以及进出站必须打提示灯,做
  • #赵丽颖[超话]#zly#赵丽颖周翡# [给你小心心]#赵丽颖1016生日快乐# 如果你爱上了某个星球的一朵花。那么只要在夜晚仰望星空,就会觉得漫天的繁星像一
  • 花仙子下凡啦第一次买到真花做的花环[哈哈] 戴上我就是仙女本仙[女孩儿] 他们说像是Love Yourself拍的画报 隔岸观火来着 反正没人认识我穿着睡衣乱
  • 好像一切都是正在进行时 有时候看着厚厚的课本真的会觉得气馁 谁都会有的迷茫啊(。 ́︿ ̀。) ▫️万事开头难 今天绿野仙踪 美丽芭蕾 周六野瘦手臂☑️坚持✊
  • 凌晨时候几乎都是发周董歌,听完以后,我突然想到去年101刘人语唱的越长大越孤单,当时真的好有共鸣,想想自己101开始是应该应朋友要求去投票,最后粉了朱天天,也是
  • 你是我这辈子想要拥有的人 也是我最不想放弃的人, 我曾经向所有人炫耀过你 现在我瞒着所有人继续爱你 我没有放弃过与你的感情 也没有想过有一天你真的不要我了 真正
  • 始终无法理解年轻老师一节课三分之二的时间在谈论房产问题,采光布局房型balabala 我只想听我交学费应该听的不是听您划水的[馋嘴] 您吐槽生活不如意 买早饭还
  • #靳东[超话]##靳东温暖的味道##全世界最好的靳东# 昨天看着书记下乡了 小伙伴们又像是过年一样的开心 因为我们天天念叨 期待您营业 但是送机的小鲅鱼说您又感
  • 从梦幻中醒来,迷迷糊糊又清晰地记得在讨论一个问题,那就是"是和似"。 想理却又不清楚如何表达,依稀仿佛记得是争论一个场景还是一个人,是完全同于原型还是神似,
  • 谁能想到呢…跟 的宿舍卡拉OK回忆专场从下午四点半点进行到七点,洗完衣服吃完饭回到寝室又开始了九点到十一点的下半场。[拜拜]音乐包容性太强的我们,从小时候父母常
  • #原创[超话]# ✨✨『时空连线』✨✨ 我和我的真爱位于地球直径上的两端, 急得我都想开凿一条邃道让我们见面。 原来是梦!✨✨✨ 可是真这样做该愚蠢到极点
  • 早就想去明天的舞蹈风暴现场,思前想后最终放弃,可为什么我刚放弃,湖南卫视就给我打电话问我明天可不可以去,我怎么去啊,今天办公室就三人,一个我加两个领导!我就是个