拾象科技CEO李广密的这个采访给出的信息和判断太多了，节选一下，顺序有一定打乱，强烈建议大家看原文或者去听播客，链接：https://t.cn/A6lmccU9
- OpenAI 是在一年前做出的 GPT-4， Anthropic 是半年前做出来的，Google 是下个月才能真正推出 GPT-4，全球其他团队可能还需要 6- 12 个月才能做出来。从 GPT-3 到 GPT-3.5，很多公司有机会达到，但是从 GPT-3.5 到 GPT-4 难度会增加 5-10 倍，只有极少数公司能到。
- 模型公司的壁垒很像台积电或者 SpaceX，有很强的先发效应和规模效应的，但现在还不知道能不能像互联网范式一样有网络效应。
- 全球第一梯队的模型，如果没有 100 亿美金的储备、而且有机会转化成 GPU，是没有办法待在全球第一梯队的，这是一个硬标准。
- 2024 年可能基本上会决定大概的格局。窗口就是未来 12 个月，如果未来 12 个月追不上去，后面再翻转其实是很难了。模型竞争很残酷，很像造芯片或者做 SpaceX，最理想化的格局是很可能只剩一家，最领先的模型又最便宜，没有理由用第二家，但因为有抗衡微软跟 OpenAI 联盟的阵营在，所以会有不同的阵营，这样推演下来可能大概率是 2-3 家。
- 2024 年的叙事肯定是多模态，Google Gemini 就是打了一个新的开端。
- OpenAI 一年做到 10 多亿美元的 ARR（编注：最新的报道是16亿美元），明年可能是五六十亿美元的 ARR，它可能是历史上增长最快的公司。但整个市场上其他的大模型 native 的产品所有的 ARR 加在一起是不到 10 亿美金的。
- 硅谷 VC 几乎都错过了大模型的投资，也同样都错过了对 SpaceX 和 Tesla 的投资，这几件事都是典型的重投入、早期看不到商业模式、风险很大，不符合硅谷 VC 的典型投资偏好。
- 三个头部厂商：微软和 OpenAI，其次是亚马逊和 Google 支持的 Anthropic，第三个是 Google，它自成一派，Apple 跟 Tesla 是潜在的关键变量。
有三个大生意和大模型最相关，首先是芯片，英伟达在这一波就很激进，第二波是公有云，微软的云和亚马逊的云是两个是最大的，可能未来模型都是要跑在云上，所以云厂商拿未来每年营收的 3- 5 个点去投模型公司也很合理。第三个大生意是终端，手机和车，所以 Apple 和 Tesla 未来会是更关键的阵营。
- X.ai 现在是晚了 6- 12 个月的，未来有大于 50% 的概率追上；开源模型有可能未来就等于 Meta。
- 关于全球对大模型的投入，OpenAI 未来训练模型可能还需要至少得200-300 亿美金， Google 也不能低于这个数，Anthropic 大概也需要 100-200 亿美金，未来几年，3-5 年至少要花 1000 亿美金赌下去。
- 关于大模型产品：1.大模型是最核心的，没有模型可能是没有所谓的 AI native 应用。2.智能是最关键的变量，过去的产品经验可能在今天是一种包袱，只是模型之上怼很多的功能、UI、 UX 有可能是徒劳的，更本质的是要理解模型的能力是什么。
- 那些复刻GPT-4的厂商是如何做到的：
1.全球范围真的对大模型能有实际大贡献的天才 researcher 可能就两三百个人，天才科学家的聚集效应是很强的，这种人和这种 research 文化其实是非常重要的，不是所有巨头都具备这样的条件。
2.GPT-4 的短期壁垒是数据，尤其是 pre-training 和 post-training 阶段的数据，全球范围真正有 GPT-4 数据 know-how 的只有两三百个人，而且几乎都在目前头部的三家模型公司，其他公司想搞清楚这件事至少得经过几百次、甚至几千次充足的实验，小几万张卡是一个必要条件。
3.训练成本，如果 Claude-3 和 GPT-4.5 训练成本可能 2 到 3 亿美元，那再往后的 25、26 年，更下一代的模型训练成本至少可能是 10 亿美元，甚至说 30、50 亿美元。
4.另外一个核心变量可能还是取决于大家是不是信仰 scaling law，以及能不能做到、能不能继续 scaling 下去，这件事可能是长期的唯一关键变量，只有极少数的科学家是很信的，比如说 Character.AI 的 Noam， Anthropic 的 Dario，还有 OpenAI 的 Ilya，他们三个对 scaling law 的贡献也是最大的，同时也是信仰最强的。
- 关于大模型成本：
训练成本其实是分两个部分，一部分是实验成本，一部分是最终大规模训练的成本。可以理解为一年当中是有 9 个月要做实验的，实验就是用小尺寸的模型做训练，做足训练之后，2-3 个月做一次大的训练，这一次就像一次大的火箭的发射，所以简单按时间来分，3/ 4 的成本用在做实验， 1/ 4 用在大的训练，也就是“发射”。
模型参数量在 700 亿是一个分界点， 700 亿以下能容忍非常多的错误，模型不会在训练过程中崩掉，700 亿参数以上每往上扩大一个级别，遇到的训练的难度是指数级提升的，模型越大越容易出错。
OpenAI 的成本优化能力是很强的，比如说他们训练完 GPT-4 以后，因为具备了这个训练能力了，可以再重新训练一个 GPT-3.5、把 3.5 的推理成本降得非常低。
现在共识是下一代就是多模态模型，各种模态的数据要从头 pre-train 进去，而不是用现在的 Flamingo 挂起来，视频数据的 pre-train 其实比文本的 token 整个更复杂，要高出一个量级的 GPU 资源。如果参数量又扩大一倍，又是一个多模态的模型，它需要的 GPU 资源可能是之前的 10-20 倍以上的，而且还包含了优化能力。
下一代模型实际算力可能是当年 GPT-4 的 16- 32 倍的提升，如果这样算下去，到 2025 年训练一个大的模型，他估计可能花费要 10- 30 亿美元之间。
- 开源与闭源之争：
开源模型是追不上闭源模型的，而且差距肯定会越来越大，大模型很像芯片或者 Space X，因为大模型它不是一个传统意义的软件开源，模型不可编码，不可解释，大家没办法一起做贡献，包括 GPU 要在单一一个集训练起来训练才更高效。
开源模型的使命不是做最聪明的模型，而是承接先进模型溢出的很多能力，做民主化。因为未来很多用户和企业的需求是分层的，可能有相当大比例的需求是通过一定能力的模型就可以覆盖的，很多企业和大规模的用户优先考虑的是成本问题，这部分是开源的优势。
开源模型在 2024 年追齐 GPT-4 还是挺挑战的。
下一个开源模型重要的方向是端侧，端侧意味着很多推理成本可以放到端侧，会让 AI 公司的成本结构发生很大的变化。
- 一个模型公司最重要的是至少有一个天才的科学家。上半场可能不一定是 CEO，但科学家一定是最重要的，以及团队的科学家文化，能够持续不断的探索、做实验是最重要的，下半场有可能是商业和应用。
- Sam Altman 跟乔布斯和马斯克好像不太像一类人，乔布斯和马斯克在硅谷几乎没有朋友，但 Sam 在硅谷所有人都是朋友，Sam 更像是一个政客。
- OpenAI 是在一年前做出的 GPT-4， Anthropic 是半年前做出来的，Google 是下个月才能真正推出 GPT-4，全球其他团队可能还需要 6- 12 个月才能做出来。从 GPT-3 到 GPT-3.5，很多公司有机会达到，但是从 GPT-3.5 到 GPT-4 难度会增加 5-10 倍，只有极少数公司能到。
- 模型公司的壁垒很像台积电或者 SpaceX，有很强的先发效应和规模效应的，但现在还不知道能不能像互联网范式一样有网络效应。
- 全球第一梯队的模型，如果没有 100 亿美金的储备、而且有机会转化成 GPU，是没有办法待在全球第一梯队的，这是一个硬标准。
- 2024 年可能基本上会决定大概的格局。窗口就是未来 12 个月，如果未来 12 个月追不上去，后面再翻转其实是很难了。模型竞争很残酷，很像造芯片或者做 SpaceX，最理想化的格局是很可能只剩一家，最领先的模型又最便宜，没有理由用第二家，但因为有抗衡微软跟 OpenAI 联盟的阵营在，所以会有不同的阵营，这样推演下来可能大概率是 2-3 家。
- 2024 年的叙事肯定是多模态，Google Gemini 就是打了一个新的开端。
- OpenAI 一年做到 10 多亿美元的 ARR（编注：最新的报道是16亿美元），明年可能是五六十亿美元的 ARR，它可能是历史上增长最快的公司。但整个市场上其他的大模型 native 的产品所有的 ARR 加在一起是不到 10 亿美金的。
- 硅谷 VC 几乎都错过了大模型的投资，也同样都错过了对 SpaceX 和 Tesla 的投资，这几件事都是典型的重投入、早期看不到商业模式、风险很大，不符合硅谷 VC 的典型投资偏好。
- 三个头部厂商：微软和 OpenAI，其次是亚马逊和 Google 支持的 Anthropic，第三个是 Google，它自成一派，Apple 跟 Tesla 是潜在的关键变量。
有三个大生意和大模型最相关，首先是芯片，英伟达在这一波就很激进，第二波是公有云，微软的云和亚马逊的云是两个是最大的，可能未来模型都是要跑在云上，所以云厂商拿未来每年营收的 3- 5 个点去投模型公司也很合理。第三个大生意是终端，手机和车，所以 Apple 和 Tesla 未来会是更关键的阵营。
- X.ai 现在是晚了 6- 12 个月的，未来有大于 50% 的概率追上；开源模型有可能未来就等于 Meta。
- 关于全球对大模型的投入，OpenAI 未来训练模型可能还需要至少得200-300 亿美金， Google 也不能低于这个数，Anthropic 大概也需要 100-200 亿美金，未来几年，3-5 年至少要花 1000 亿美金赌下去。
- 关于大模型产品：1.大模型是最核心的，没有模型可能是没有所谓的 AI native 应用。2.智能是最关键的变量，过去的产品经验可能在今天是一种包袱，只是模型之上怼很多的功能、UI、 UX 有可能是徒劳的，更本质的是要理解模型的能力是什么。
- 那些复刻GPT-4的厂商是如何做到的：
1.全球范围真的对大模型能有实际大贡献的天才 researcher 可能就两三百个人，天才科学家的聚集效应是很强的，这种人和这种 research 文化其实是非常重要的，不是所有巨头都具备这样的条件。
2.GPT-4 的短期壁垒是数据，尤其是 pre-training 和 post-training 阶段的数据，全球范围真正有 GPT-4 数据 know-how 的只有两三百个人，而且几乎都在目前头部的三家模型公司，其他公司想搞清楚这件事至少得经过几百次、甚至几千次充足的实验，小几万张卡是一个必要条件。
3.训练成本，如果 Claude-3 和 GPT-4.5 训练成本可能 2 到 3 亿美元，那再往后的 25、26 年，更下一代的模型训练成本至少可能是 10 亿美元，甚至说 30、50 亿美元。
4.另外一个核心变量可能还是取决于大家是不是信仰 scaling law，以及能不能做到、能不能继续 scaling 下去，这件事可能是长期的唯一关键变量，只有极少数的科学家是很信的，比如说 Character.AI 的 Noam， Anthropic 的 Dario，还有 OpenAI 的 Ilya，他们三个对 scaling law 的贡献也是最大的，同时也是信仰最强的。
- 关于大模型成本：
训练成本其实是分两个部分，一部分是实验成本，一部分是最终大规模训练的成本。可以理解为一年当中是有 9 个月要做实验的，实验就是用小尺寸的模型做训练，做足训练之后，2-3 个月做一次大的训练，这一次就像一次大的火箭的发射，所以简单按时间来分，3/ 4 的成本用在做实验， 1/ 4 用在大的训练，也就是“发射”。
模型参数量在 700 亿是一个分界点， 700 亿以下能容忍非常多的错误，模型不会在训练过程中崩掉，700 亿参数以上每往上扩大一个级别，遇到的训练的难度是指数级提升的，模型越大越容易出错。
OpenAI 的成本优化能力是很强的，比如说他们训练完 GPT-4 以后，因为具备了这个训练能力了，可以再重新训练一个 GPT-3.5、把 3.5 的推理成本降得非常低。
现在共识是下一代就是多模态模型，各种模态的数据要从头 pre-train 进去，而不是用现在的 Flamingo 挂起来，视频数据的 pre-train 其实比文本的 token 整个更复杂，要高出一个量级的 GPU 资源。如果参数量又扩大一倍，又是一个多模态的模型，它需要的 GPU 资源可能是之前的 10-20 倍以上的，而且还包含了优化能力。
下一代模型实际算力可能是当年 GPT-4 的 16- 32 倍的提升，如果这样算下去，到 2025 年训练一个大的模型，他估计可能花费要 10- 30 亿美元之间。
- 开源与闭源之争：
开源模型是追不上闭源模型的，而且差距肯定会越来越大，大模型很像芯片或者 Space X，因为大模型它不是一个传统意义的软件开源，模型不可编码，不可解释，大家没办法一起做贡献，包括 GPU 要在单一一个集训练起来训练才更高效。
开源模型的使命不是做最聪明的模型，而是承接先进模型溢出的很多能力，做民主化。因为未来很多用户和企业的需求是分层的，可能有相当大比例的需求是通过一定能力的模型就可以覆盖的，很多企业和大规模的用户优先考虑的是成本问题，这部分是开源的优势。
开源模型在 2024 年追齐 GPT-4 还是挺挑战的。
下一个开源模型重要的方向是端侧，端侧意味着很多推理成本可以放到端侧，会让 AI 公司的成本结构发生很大的变化。
- 一个模型公司最重要的是至少有一个天才的科学家。上半场可能不一定是 CEO，但科学家一定是最重要的，以及团队的科学家文化，能够持续不断的探索、做实验是最重要的，下半场有可能是商业和应用。
- Sam Altman 跟乔布斯和马斯克好像不太像一类人，乔布斯和马斯克在硅谷几乎没有朋友，但 Sam 在硅谷所有人都是朋友，Sam 更像是一个政客。
Read｜分享一份传媒英文书单
▫️《Understanding Media: The Extensions of Man》
Marshall Mcluhan
▫️《The theory of Communicative Action》Jirgen Habermas
▫️《Introduction to Communication Studies》John Fiske
▫️《Amusing Ourselves to Death》
Neil Postman
▫️《Diffusion of Innovation》
Everett M.Rogers
▫️《The Shallows: What the Internet Is Doing to Our Brains》
Nicholas Carr
▫️《Manufacturing Consent: The Political Economy of the Mass Media》
Edward S. Herman & Noam Chomsky
▫️《Relevance: Communication and Cognition》
Dan Sperber&Deirdre Wilson
▫️《The Medium is the Massage》
Marshall McLuhan & Quentin Fiore
#studyaccount[超话]##读书##好书推荐#
▫️《Understanding Media: The Extensions of Man》
Marshall Mcluhan
▫️《The theory of Communicative Action》Jirgen Habermas
▫️《Introduction to Communication Studies》John Fiske
▫️《Amusing Ourselves to Death》
Neil Postman
▫️《Diffusion of Innovation》
Everett M.Rogers
▫️《The Shallows: What the Internet Is Doing to Our Brains》
Nicholas Carr
▫️《Manufacturing Consent: The Political Economy of the Mass Media》
Edward S. Herman & Noam Chomsky
▫️《Relevance: Communication and Cognition》
Dan Sperber&Deirdre Wilson
▫️《The Medium is the Massage》
Marshall McLuhan & Quentin Fiore
#studyaccount[超话]##读书##好书推荐#
【研究发现：闻女性的眼泪可将男性的攻击性降低44%】
一项有趣的研究发现，嗅闻女性的眼泪能显著降低男性的攻击性，并减少与攻击有关的大脑网络的活动。研究认为，这种效应是由眼泪中的化学信号引起的，这种物质在啮齿动物身上也能看到，具有保护功能。
查尔斯-达尔文（Charles Darwin）对情绪化的眼泪感到困惑；他认为眼泪除了润滑眼睛之外没有其他作用。尽管人们认为流眼泪是人类独有的特征，但自达尔文之后，研究人员发现哺乳动物的眼泪中含有作为社会信号的化学物质，其中之一就是减少攻击性。
首先，研究人员测试了嗅闻女性眼泪是否会降低男性的攻击性。研究人员从六名 22 至 25 岁的人体捐献者身上收集了"情感"眼泪，这些捐献者单独观看了悲伤的电影片段，以诱发哭泣。25名男性被要求与他们被告知是人类但实际上是计算机算法的对手进行二人金钱游戏。游戏的目的是激发男性对对手的攻击性反应，因为他们会认为对手在作弊。如果有机会，男性可以通过让对手输钱来报复对手，而自己却不会从中获利。
在玩游戏之前，参与者嗅闻女性的眼泪或生理盐水（两者都是无味的），但不告诉他们嗅闻的是什么。研究人员观察到，接触眼泪后，攻击性降低了 43.7%。为了评估研究结果的稳健性，研究人员进行了自举分析，这是一种统计程序，通过对单个数据集进行重新采样来创建许多模拟样本。分析发现，偶然获得这一结果的概率为2.9%，这表明人类情感泪液中的化学信号与啮齿类动物一样，具有阻断攻击行为的主要功能。
接下来，研究人员分析了嗅闻眼泪对参与者大脑的影响。在接触了眼泪或生理盐水后，26 名男性参与者在进行功能磁共振成像（fMRI）扫描的同时玩起了金钱游戏。研究人员注意到，与攻击行为有关的两个大脑结构--左侧前脑岛皮层（AIC）和双侧前额叶皮层（PFC）--在接触眼泪后活动减少。实验条件（眼泪与生理盐水）与这些区域的活动有明显的相关性。
在研究大脑的功能连接时，他们发现眼泪只对左侧AIC产生影响，而左侧AIC与右侧杏仁核和梨状皮层的连接显著增加。除了共享结构连接外，这些区域还是功能网络的一部分，与嗅觉（嗅觉）和攻击行为有关。
该研究的另一位通讯作者诺姆-索贝尔（Noam Sobel）说："我们已经证明，眼泪能激活嗅觉受体，改变与攻击有关的大脑回路，显著减少攻击行为。这些研究结果表明，眼泪是一种'化学毯'，能提供防止攻击行为的保护--这种效应在啮齿动物和人类中很常见，或许也适用于其他哺乳动物。"
事实上，2022年的一项研究发现，当狗与主人团聚而不是与熟悉的非主人团聚时，它们的泪量会显著增加，这表明它们会流下幸福的眼泪。不过，还需要进一步的研究来确定这些眼泪中是否含有能被其他狗或人类接收到的化学信号。
这项研究发表在《PLOS生物学》杂志上。
一项有趣的研究发现，嗅闻女性的眼泪能显著降低男性的攻击性，并减少与攻击有关的大脑网络的活动。研究认为，这种效应是由眼泪中的化学信号引起的，这种物质在啮齿动物身上也能看到，具有保护功能。
查尔斯-达尔文（Charles Darwin）对情绪化的眼泪感到困惑；他认为眼泪除了润滑眼睛之外没有其他作用。尽管人们认为流眼泪是人类独有的特征，但自达尔文之后，研究人员发现哺乳动物的眼泪中含有作为社会信号的化学物质，其中之一就是减少攻击性。
首先，研究人员测试了嗅闻女性眼泪是否会降低男性的攻击性。研究人员从六名 22 至 25 岁的人体捐献者身上收集了"情感"眼泪，这些捐献者单独观看了悲伤的电影片段，以诱发哭泣。25名男性被要求与他们被告知是人类但实际上是计算机算法的对手进行二人金钱游戏。游戏的目的是激发男性对对手的攻击性反应，因为他们会认为对手在作弊。如果有机会，男性可以通过让对手输钱来报复对手，而自己却不会从中获利。
在玩游戏之前，参与者嗅闻女性的眼泪或生理盐水（两者都是无味的），但不告诉他们嗅闻的是什么。研究人员观察到，接触眼泪后，攻击性降低了 43.7%。为了评估研究结果的稳健性，研究人员进行了自举分析，这是一种统计程序，通过对单个数据集进行重新采样来创建许多模拟样本。分析发现，偶然获得这一结果的概率为2.9%，这表明人类情感泪液中的化学信号与啮齿类动物一样，具有阻断攻击行为的主要功能。
接下来，研究人员分析了嗅闻眼泪对参与者大脑的影响。在接触了眼泪或生理盐水后，26 名男性参与者在进行功能磁共振成像（fMRI）扫描的同时玩起了金钱游戏。研究人员注意到，与攻击行为有关的两个大脑结构--左侧前脑岛皮层（AIC）和双侧前额叶皮层（PFC）--在接触眼泪后活动减少。实验条件（眼泪与生理盐水）与这些区域的活动有明显的相关性。
在研究大脑的功能连接时，他们发现眼泪只对左侧AIC产生影响，而左侧AIC与右侧杏仁核和梨状皮层的连接显著增加。除了共享结构连接外，这些区域还是功能网络的一部分，与嗅觉（嗅觉）和攻击行为有关。
该研究的另一位通讯作者诺姆-索贝尔（Noam Sobel）说："我们已经证明，眼泪能激活嗅觉受体，改变与攻击有关的大脑回路，显著减少攻击行为。这些研究结果表明，眼泪是一种'化学毯'，能提供防止攻击行为的保护--这种效应在啮齿动物和人类中很常见，或许也适用于其他哺乳动物。"
事实上，2022年的一项研究发现，当狗与主人团聚而不是与熟悉的非主人团聚时，它们的泪量会显著增加，这表明它们会流下幸福的眼泪。不过，还需要进一步的研究来确定这些眼泪中是否含有能被其他狗或人类接收到的化学信号。
这项研究发表在《PLOS生物学》杂志上。
✋热门推荐