分享一篇专访:Groq CEO挑战Nvidia:2024年底,多数初创公司将使用LPUs,而不是GPU
看了这么多年商业科技故事,有一个很明确的结论,哪里有超额的收益,哪里就有蜂拥的竞争者,无论现在看起来新的竞争的胜率多么的低(谁能在10年前想象阿里巴巴的市值会被另外一家电子商务公司拼多多超过)。今天我发了《连线》对黄仁勋的专访,其中也谈到了Groq的竞争。黄不觉得Groq会对英伟达形成有效的竞争,但是黄并不轻松,因为他知道,即使不是Groq,也会也有其他人出现,突然在一夜(表面看起来是一夜之间,其实对手已经在多年前就蠢蠢欲动,暗度陈仓了)颠覆现有的商业模式、商业生态(颠覆式创新)。

我觉得Groq最有意思的一点,是它瞄准了一个利基市场,AI推理,然后在这个场景实现了一个很重要的特色:快快的速度。无论Groq是否能取得最终的成功,但是起码它有一个清晰的角色。不过问题是,Groq所谓的快速,是基于针对LLMs的优化之上的,它是否太过狭窄,而丧失了通用性。而英伟达的GPU则实现了通用的专用(并行加速)。
欧拉。

最后,Groq是一个2016年就成立的公司(OpenAI成立于2015年)。所以这正是我想强调的:“你突然听见蝉鸣,但是你并不知道它在地下蛰伏了多久”。

**
AI芯片竞争:Groq首席执行官挑战Nvidia,声称到2024年底,大多数初创公司将使用高速LPUs

来源:venturebeat.com
作者:莎朗·戈德曼
(sharongoldman on X)

大家都在谈论Nvidia令人瞠目结舌的收益结果——较一年前增长了整整265%。但不要忽视Groq,这家位于硅谷的公司正在为大型语言模型(LLM)推理(对现有模型进行决策或预测,而不是训练)开发新的人工智能芯片。上周末,Groq突然迎来了大多数初创公司梦寐以求的病毒式时刻。

当然,这并不像埃隆·马斯克(Elon Musk)关于完全无关的大型语言模型Grok的帖子那样在社交媒体上引起轰动。但我相信Nvidia的人们在Matt Shumer,HyperWrite的首席执行官,在X上发布关于Groq的“疯狂技术”的帖子后会注意到,该技术以“接近500 tok/s”的速度为Mixtral提供“几乎即时”的答案。

Shumer在X之后进行了一次公开演示,展示了一个“闪电般快速的答案引擎”,能在不到一秒钟的时间内提供“几百个字的事实性、引用的答案”——突然间,似乎AI领域的每个人都在谈论并尝试Groq的聊天应用程序,用户可以在其网站上选择由Llama和Mistral提供的输出。

这是在一个星期前的CNN采访中,Groq的首席执行官兼创始人Jonathan Ross展示了Groq为一个“打破速度记录”的音频聊天界面提供动力。

尽管目前没有任何公司能够挑战Nvidia的主导地位 - Nvidia在高端芯片市场上占据了80%以上的份额;其他人工智能芯片初创公司如SambaNova和Cerebras在人工智能推理方面仍未取得多大进展;Nvidia刚刚宣布第四季度收入达到220亿美元 - Groq的首席执行官兼创始人Jonathan Ross在接受我的采访时表示,推理的高昂成本使得他的初创公司的产品成为一种“超快速”,更便宜的选择,专门用于LLM。

在一个大胆的声明中,罗斯告诉我:“到年底,我们可能会成为大多数初创公司使用的基础设施”,并补充说:“我们非常支持初创公司 - 联系我们,我们会确保你支付的费用不会像其他地方那样高。”

一、Groq LPUs与Nvidia GPUs
Groq的网站将其LPUs(即“语言处理单元”)描述为“一种新型的端到端处理单元系统,为具有顺序组件的计算密集型应用程序提供最快的推理,例如AI语言应用程序(LLMs)”。

相比之下,Nvidia的GPU优化了并行图形处理,而不是LLMs。由于Groq的LPUs专门设计用于处理数据序列,如代码和自然语言,它们可以通过绕过GPU或CPU难以处理的两个方面(计算密度和内存带宽),更快地提供LLM输出。

此外,关于他们的聊天界面,Ross声称Groq与OpenAI等公司不同的另一个方面是,Groq不训练模型,因此不需要记录任何数据,可以保持聊天查询的私密性。

ChatGPT如果由Groq芯片提供动力,预计运行速度将提高13倍以上,那么OpenAI是否有可能成为Groq的合作伙伴?Ross没有具体说,但Groq音频聊天界面的演示版本告诉我,如果有互惠互利的情况下,他们“有可能合作。OpenAI可能有兴趣利用LPUs的独特能力进行语言处理项目。如果他们有相似的目标,这可能是一个令人兴奋的合作伙伴关系。”

二、Groq的LPUs真的是AI推理的游戏改变者吗?
我本应在几个月前与罗斯交谈,自从公司的公关代表在12月中旬联系我,称Groq是“准备赢得人工智能竞赛的美国芯片制造商”。我很好奇,但从未有时间接听电话。

但现在我肯定抽出时间:我想知道Groq是否只是快速发展的人工智能炒作周期中的最新参与者,即“只需要公关关注”?Groq的LPUs是否真的是人工智能推理的游戏改变者?在过去的一周里,对于Ross和他的200人小团队(他们称自己为“Groqsters”)来说,经历了一次特定的技术硬件成名后的生活是怎样的?

舒默的帖子是“引爆导火索的火柴”,罗斯在从巴黎一家酒店的视频通话中告诉我,他刚刚与Mistral团队共进午餐——这家法国开源LLM初创公司在过去几个月里已经享受到了自己的多个病毒式传播时刻。

他估计,在舒默发布帖子的24小时内,有超过3000人联系Groq寻求API访问,但他笑着说:“我们没有设置计费,所以不会向他们收费。目前我们只是让人们免费使用。”

但是当涉及到在硅谷运营初创企业的方方面面时,罗斯并不是一个新手——自从Groq成立于2016年以来,他一直在大力宣传该公司技术的潜力。通过快速的谷歌搜索,可以找到一篇2021年的福布斯报道,详细介绍了Groq筹集了3亿美元的资金,并且罗斯帮助发明了谷歌的张量处理单元(TPU),然后在2016年离开谷歌创办了Groq。

在Groq,Ross和他的团队构建了他所称的“非常不寻常的芯片,因为如果你正在构建一辆汽车,你可以从引擎开始,也可以从驾驶体验开始。而我们从驾驶体验开始——在设计芯片之前,我们花了前六个月的时间研究编译器。”

三、满足对Nvidia GPU的需求已经成为一个大生意了
正如我上周报告的那样,满足对Nvidia GPU的广泛需求已成为AI行业中的大生意,而这在去年夏天是硅谷最热门的话题。

它孕育了新的GPU云独角兽(Lamda、Together AI和Coreweave),而前GitHub CEO Nat Friedman昨天宣布他的团队甚至创建了一个针对GPU集群的Craigslist。当然,还有《华尔街日报》的报道,OpenAI CEO Sam Altman希望通过重塑AI芯片的世界来应对需求——这个项目可能耗资数万亿,并且有复杂的地缘政治背景。

罗斯声称,目前在GPU领域发生的一些事情实际上是对Groq所做的事情的回应。“这是一个小小的良性循环,”他说。例如,“Nvidia发现主权国家是他们正在做的一件大事,而我正在进行为期五周的巡回访问,试图与一些国家达成一些交易……当你在外面的时候你看不到这些,但有很多事情都在跟随着我们。”

他还大胆地反击了奥特曼提出的筹集高达7万亿美元的大规模人工智能芯片项目的努力。“我只想说我们可以用7000亿来完成它。”他说,“我们很实惠。”

他补充说,Groq还将为AI芯片的供应做出贡献,拥有充足的产能。

“到今年年底,我们肯定会拥有每秒2500万个令牌的容量,这是我们估计OpenAI在2023年底的水平,”他说。“然而,我们正在与各国合作部署硬件,以增加这个数字。就像阿联酋和许多其他国家一样。我来欧洲是有原因的 - 有各种各样的国家对此感兴趣。”

但与此同时,Groq还必须解决一些普通的当前问题 - 比如在公司上周的病毒式事件之后让人们为API付费的问题。当我问罗斯是否打算解决Groq的API计费问题时,罗斯说:“我们会研究一下。”他的公关代表也在电话中迅速插话:“是的,这将是我们的首要任务之一,乔纳森。”

TA《利兹正在前进,喧闹声说明了一切--夺冠确实很重要》

在洛菲尔德路(Lowfields Road)的一端,利兹联体育场的东北角,有一幅 "冠军 "壁画,是马特乌斯-克利赫(Mateusz Klich)在 2020 年利兹联升级后设计的。岁月流逝,但壁画的色彩,那些耀眼的蓝色和黄色,一如既往地强烈,成为人群穿梭于球场内外的鲜艳背景。

这幅壁画是克利赫的主意,一方面是因为他对涂鸦有着不为人知的热情,另一方面也是因为这个场合需要这样的壁画。克利赫不会永远留在利兹。他离开俱乐部已经超过 12 个月了。但他的街头艺术作品会永远留在利兹,而且从美学角度来说,也应该如此。

总有一天,埃兰路球场会得到它所需要的大修,但如果俱乐部有任何意识或历史感的话,重建将保留克利赫的砖块。

晋级有两面性:交易和情感,第一面的现实是无法回避的,在这个过程中,每家冠军俱乐部都在努力摆脱困境。但其中触及灵魂的部分,让人流连忘返的部分,以及队长抱着奖杯入睡的部分,才是这项运动最原始的形式。我不想替克利赫说话,他并没有花一天时间用喷漆罐来庆祝利兹联队即将获得电视转播收入的事实。没有派对,没有涂鸦。

在昨晚莱斯特城队来访之前,丹尼尔-法尔克(Daniel Farke)在谈到英冠联赛冠军头衔--真正的冠军头衔本身--究竟有多重要时,从他的回答中可以听到商业与娱乐之间的冲突。他承认,这场比赛的目的是以任何方式逃离英冠联赛,有时你会同情英冠联赛,因为你在其中的目的只是为了摆脱这种地位。谢谢你所做的一切,再见。

这其中有体育方面的原因,也有经济方面的原因。但时刻呢?它们很重要,能引起共鸣。无论是在看台上还是在球场上,它们都不是交易。它们是足球存在的核心,是壁画的主题。

像昨天这样的时刻,你只能尝试去理解。

法尔克发现自己所在的城市在 2020 年获得了晋级,但他们并没有如愿以偿。

在这里,他们等待了 16 年,却没能获得完整的体验。马塞洛-贝尔萨带领利兹联队夺冠的那个夜晚,人们无处可去。人们会从爱尔兰、斯堪的纳维亚、南美等地迅速赶来,不惜一切代价。相反,Covid-19 先到了。

有几千人打破了社交距离规定,他们出来了,请原谅他们。俱乐部在洛菲尔德路为冠军奖杯颁奖时摆放了一辆敞篷巴士,这在一定程度上是在当地政府的坚持下采取的一种策略,目的是鼓励自发赶来的人群迅速入场,然后转身散去。没有大规模夺冠游行,没有协调的庆祝活动,球员和球迷被东看台后面的蓝色大门隔开。

贝尔萨说,"这份工作带给我们的最大感受 "就是让球迷们感受到了球队的晋级,他只能想象一个没有Covid的市中心会是什么样子。

那么,莱斯特来到埃兰路,冠军是否重要?重要,也不重要。不重要,因为没有人会妄想利兹联队需要在哪个级别才能实现他们的潜力。有一种观点认为,在英冠联赛中生活更有趣,没有那么公式化或可预测,但当莱斯特城队成为一个罕见的例外,来到埃兰路球场并围着自己的球门团团转时,这种观点也就只能维持这么长时间了。

然而,足球运动中存在着一种风险,即一切都要服从大局,一切都只是达到未定义的目的的手段。不管有没有Covid,这就是 2020 年的美妙之处;利兹联队更关心的是他们正在做什么,而不是他们下一步可能做什么。

埃兰路昨天经历了爱、恨和疯狂的所有阶段。其他球场,如安菲尔德球场,并不能垄断气氛的平衡。利兹的气氛可以让他们中的佼佼者怦然心动。

赛前,莱斯特城是一支值得关注的球队,他们领先第二名利兹联九分,而且根据法尔克的估计,从纸面实力来看,莱斯特城是英冠联赛中最好的球队,即使某些数据显示的情况有所不同。埃兰路球场支持自己在如此大的赛场上取得胜利,它毫不掩饰自己的荒凉,客队球员最终都想逃离这里。这几乎是这座球场学会疏导压力的方式。

曼城的表现非常出色,他们理应晋级。但莱斯特城有谁准备好乘坐巡游巴士了呢?

在埃兰路球场,他们也还没有准备好,冠军依然是莱斯特城的。但利兹联从未在一个赛季中连续赢得比现在多的九场联赛。在冠军联赛中,没有人拥有他们这样的势头。

埃兰路球场外的砖墙有足够的空间再画一幅壁画,法尔克的抽屉里也有足够的空间再放第三枚冠军奖牌。

https://t.cn/A6Y0rzIB

恩里克:明年球队的球员会更少,但我们必须一直去创造竞争力
巴黎将在法甲主场交手雷恩,球队主帅恩里克出席赛前新闻发布会。

球队现状

取得一系列的好成绩总是积极的,保持良好的活力固然是好事情,但是不要放松,这就是我们在每周训练备战中所面临的挑战。

球队控球数据很不错

我们有很多积极的统计数据,但是我希望球员们取得提高做得更好,不希望我们会就此满足。

谈球员的动力

我们目前领先第二名(比较多),这意味着我们可能缺乏动力,这也是我们必须要面对的事情。我们的目标是不断赢得比赛,联赛最后的三分之一阶段将到来,我们需要在所有比赛中表现出色,明天将会是一场非常艰难的比赛。

谈马尔基尼奥斯

我不是在谈论转会问题,很少有球员现在离开巴黎,那些离开的人是因为他们合同结束或者俱乐部出售。就马尔基尼奥斯而言,我们必须接受外界的批评,他是一位顶级球员,始终处在他的最高水准,他对于我们而言是非常重要的球员。

谈小埃梅里

现在来谈论我对于他的期望而言显得有些不太可能,因为他现在的表现超出我的预期,我想谈论的是他依据队友需要拿出自身表现的能力,我从未见过如此有智慧的球员,他能够理解并且很好地补充队友,这是几乎没有人看得到的,这是梦幻般的,他对于我们而言是重要的球员。

球队的进攻线

记者朋友们,你们想要谈论的是上场最多的球员的事情,而我想谈论的是所有攻击线球员。对于一支球队而言,要在这个级别上有所斩获我们就需要所有的攻击手,无一例外。我们有很多球员,可以在进攻中产生影响,作为一名教练我很喜欢这种局面。

谈姆巴佩

我不认为我的所有球员间有任何区别,即将到来的比赛对于我们而言非常这样,我们希望继续证明我们能在所有比赛中对阵任何对手都表现出色,作为巴黎球员是不允许放松的。

欧冠比赛很艰难

这是非常有效的反思,这意味着当下的足球界各方差距很小,没有任何一支球队能够确保晋级,我们也是第一支意识到面对皇家社会是需要经历困难的,所以欧冠中也没有其他球队比我们拥有更多的希望。

马尔基尼奥斯的伤势

没太大问题,他很好。

谈对手雷恩

这是一支拥有高水平球员的球队,他们在进攻与防守上都很出色,这对于我们而言是一次考验,就像对阵摩纳哥的比赛一样,他们是迫使我们展现自身实力的对手。

谈球队轮换

你能猜出我的首发11人吗?我的目标是拥有22位首发球员,我知道这是不可能的但是这是我的目标。我希望每个位置有两位球员。当一个球员没有机会踢比赛时,他可能会放弃,但是最重要的是他必须去战斗去竞争,这很重要。这就是我在球队中所尝试的的活力输出,我们有共同的目标,这样球队的支持者就能看到一支正在战斗的球队。

训练方法

我们在足球中所做的一切都与接下来要踢的比赛有直接关系,例如本周我们进行了恢复,然后高压防守训练等等,这是任何教练的正常工作逻辑。我们根据目标、我们所见以及即将发生的事情来进行工作,与我的同行没有什么区别,很简单我们每年必须让球队有所提高,明年我们的球员会更少了,但是我们必须创造出竞争力。


发布     👍 0 举报 写留言 🖊   
✋热门推荐
  •   他拿扇子点了点我,“我不上你身办事儿是有原因的,像那个姓黄的那样请仙上身看事儿,纵然看得准,也只是年轻时候风光一时,等到老了,身体就会垮掉。  我这一动作惹
  • 你现在要在乎的无非三件事,你的钱,你的健康,你内心的平静,不要相信压力会转化成为动力,你的压力只会转化成病例。努力的最大目的,不是为了要感动谁,也不是要做给谁看
  • ”就这么一句话把我敲打了千遍 万遍时啊 运啊这个是一个人命里带的但是在你的时运来临之前你要付出的太多 太多这几年 时常 自怨自艾回头想想不是命运不眷顾是自己站在
  • 反观周深这张新专歌词写的也很有深度很有内涵,但是我就是能一下抓住他想表达的东西,最最最戳我的是我能在他的歌里找到自己的影子,那些可能亲朋都不了解的我,竟然在一个
  • ▲ 如果它临时突然这样涨价的,应该是可以在平台投诉的吧,不过就是得各种找客服,比较费时间。你可以刷开最新的评价,看一眼,一般是刚住玩的旅客,也更真实。
  • 10大人际关系法则,读懂受益终身! 1、感情不强求,人心不强留 缘起时起,缘尽还无,不外如是。 凡事都是有定数的,不能强求。 意气相投就真心相处,看
  • ~如果你天天积极乐观,你的气场就是正能量的,会吸引大量好的人、好的事,所以你的世界就是美好的; ~如果你整日怨天尤人,你的气场就是负能量的,会吸引
  •   将军向宠,性行淑均,晓畅军事,试用于昔日,先帝称之曰能,是以众议举宠为督。若无兴德之言,则责攸之、祎、允等之慢,以彰其咎;陛下亦宜自谋,以咨诹善道,察纳雅言
  • “没想到一上午就把我们6个人的欠薪问题全部解决了,有了这份调解协议的保障,我们心里也踏实多了!”  我们离开了负三层,直接坐电梯去了胡斌的办公室。
  • 更让我坚定我要粉苏新皓的是我朋友说“你的小苏在五番”我真的很震惊的[允悲]都说心疼男人倒霉一辈子,但我还是来了[悲伤]怒买三份周边,我说我要送他高位出道[泪]可
  • 万一被陌生人带走,万一上了火车,开往不知哪个地方,我一定会断肠,一定会发疯,疯了也会满世界去找,还有如果,我不会活到今天!       三十多年过去了,今天我仍
  • ”厉斯年皱紧眉头,还没有说话,就听到言零惊慌失措的尖叫声,他眉宇间笼罩着一抹阴鹜,冷冷道:“我马上去提人,不过你也知道,这需要时间。11.如果有一天,你发现我在
  • 看了很喜欢的摄影师举办的摄影展是温柔可爱的人儿去了成都潮人新聚集地麓湖CPI不同于东郊记忆刻意的精致感和时尚感CPI多了很多松弛感有表演变形记的行为艺术家坐在湖
  •   她慌乱抬头,对上那一双漆黑如墨的眼睛,连忙道歉:“斯承,对不起……”  男人微皱着眉,冷硬凌厉的面容上已经覆上了不耐烦:“顾芳菲,你是不是又发病,忘了昨天发
  • 从一个位于瑞士侏罗山的小镇,到现在成为代表瑞士手表产品质量和设计的品牌之一,天梭本身就是一个传奇,它向世界述说着一个品牌不断成长,正如公司的宗旨:非凡创意,源于
  • 因此,如果你正寻找一些品质优良、设计时尚的男装,不妨来杭州一试,相信你定能找到让自己心动的高仿男装。在这里,不仅可以找到经典的设计款式,还能够享受到与名牌真品一
  • 有哪些你舍不得换的个性签名? 1. 已知黎明将至,抬头尽是朝阳。 2. 出发,到新的爱与新的喧嚣中去。 3. 无论多大都要热爱童话,英雄和魔法。 4.
  • 浪琴l4.220.2腕表无论从款式还是质量来看在全球的钟表行业中也是屈指可数的品牌,高仿浪琴手表不仅仅是提供给爱表人士的时尚追求,也为网购手表作为计时器来使用也
  • 美联社分析,由于以色列不是ICC成员国,即使发出逮捕令,内塔尼亚胡和加兰特也不会立即面临被起诉的风险,但卡里姆·汗的声明加深了以色列在推进战争过程中的孤立状态,
  • ”是啊,这世界上,痛苦的是连一个可以思念的人都没有,还好,我有,我知道,你会懂。比赛结束后我一个人回学校的路上,去吃了上次的男朋友吃的长安大排档,一个人吃真的特