Tiago Ramalho是Recursive AI的首席执行官，前Deepmind员工(？)，他认为，AI领域的下一次突破应该是硬件而非软件了。
目前的硬件，基本上还是冯诺依曼体系，计算和存储是分开的，尽管有合并在一个CPU中的，但不是主流，这样的话，神经网络中的计算和搬运数据(存储)严重不成比例，大多能耗(算力)都用在后者而非前者上了。而碳基生物脑(尤其是人脑)是在神经元内部完成计算的，这样就大大节省了能耗。目前有厂商也在做计算存储合二为一的工作，但考虑到这种结构专用性太强，而各家的神经网络软件解决方案又经常发生变动，因而导致正常的厂家没法针对特定神经网络来设计一款能为赚钱的硬件，毕竟，你刚为某个神经网络设计生产出硬件，人家咔咔又改了，这硬件厂商的钱不就白瞎了。
AK对此表示高度赞同。
以上是简要介绍，太具体的，等有空再聊。

看一本小书《孙正义的头脑》，上面写到人脑的神经元数量在300亿个左右，而根据摩尔定律，孙正义在2006年计算认为2018年人类的电脑或手机的晶体管数量可以达到300亿以上。所以粗略查了一下，2018年苹果A12处理器采用7纳米工艺后晶体管数量在69亿，并未达到预测，但是在这两年5nm工艺基础上开发的A14手机处理器，晶体管已经达到118亿个，而用5nm工艺制作的Mac芯片已经达到1140个晶体管这一惊人的数量!
那么问题来了，对于手机处理器何时能达到与人脑神经元数量一样的晶体管?需要3nm工艺吗？在这个体积下300亿个会不会是一个极限?这是巧合吗？突破这个极限后手机也真正相当于一个辅助人脑了吗？

【迈向模仿人脑的光电芯片】人类的大脑由860亿个神经元组成，这些神经元通过神经网络连接在一起，可以完成非凡的计算能力。这是如何做到的？

IEEE Spectrum最近与科罗拉多州博尔德国家标准与技术研究所的物理学家Jeffrey Shainline进行了交谈，他的工作可能会为这个问题带来一些启发。Shainline正在寻求一种计算方法，这种方法可以为高级形式的人工智能提供动力，即所谓的尖峰神经网络，与目前广泛使用的人工神经网络相比，它更接近于模拟大脑的工作方式。如今，主流范式使用运行在数字计算机上的软件来创建具有多层神经元的人工神经网络。事实证明，这些“深层”人工神经网络非常成功，但它们需要巨大的计算资源和能量才能运行。这些能源需求正在迅速增长：尤其是，训练深层神经网络所涉及的计算变得不可持续。

长期以来，研究人员一直被这样一种前景所吸引，即创造出更能反映生物神经元网络中发生的事情的人工神经网络。当一个神经元接受来自多个其他神经元的信号时，它可能会达到一个激活阈值水平，导致它“激发”，这意味着它会产生一个输出信号尖峰，然后发送到其他神经元，可能会诱导其中一些神经元也被激发。

一些公司已经生产了用于实现电子脉冲神经网络的芯片。Shainline的研究重点是在这种网络中使用超导光电元件。他的工作最近从研究理论可能性发展到进行硬件实验。他向Spectrum讲述了他实验室的这些最新进展。

更多内容，请见：https://t.cn/A6XVQvJi