很长的文章，但如果看明白了，你对忆阻器的了解就超过了99%的人
https://t.cn/A6W4Zzms
全球首颗忆阻器芯片，清华团队突破了什么？ | 陈经
风云之声 2023-10-18 20:03 发表于安徽
以下文章来源于腾讯科技 ，作者腾讯科技
图片
近日，清华大学集成电路学院教授吴华强团队研制出一颗新型芯片，能高效“片上学习”不少人工智能任务。这颗芯片的核心元器件是“忆阻器”，架构是“存算一体”，创新点在于能耗只有常规系统的3%，研究水平很高，2023年9月14日在线发表在《科学》上。
美国芯片产业出口管制的背景下，芯片话题自带热度，清华的这个高水平芯片成果，引发了不少人的兴趣，希望看到中国芯片技术的新突破，但又感觉看不懂，这里我们需要关注“存算一体”、“忆阻器”以及“片上学习”这三个点，以及它们的协同一体化。
日常的编程，大多是在软件层面进行，其中“软硬件结合”、“嵌入式编程”指的是开发者能够对传感器、相机之类的硬件外设进行连接、SDK调用，但不需要知道硬件细节。
再深入，编程可以延伸到操作系统、指令集层面，这要求开发者对整个计算系统更为了解，用汇编语言之类的办法或者绕开普通编程与界面工具的限制，直接对系统进行深层调用，进而提高效率，但这还是在软件层面，思维都是基于0-1数值逻辑的。
继续深入，就涉及到到芯片层面。由于芯片和系统架构决定了计算系统的特性，有一定实力的公司会直接使用芯片进行开发，甚至自研复杂的芯片。目前阶段，制造芯片与传统IT产业01逻辑有区别，更像是一个在硅片上以纳米尺度绣花的物理化学过程，它的基础是半导体元器件。所以，芯片设计，是IT业真正“软硬兼修”的连接环节。它一头要理解指令集、操作系统、程序逻辑、人工智能等软件知识，一头又要和元器件、芯片架构等底层硬件知识打交道。
近年来，由于神经网络、深度学习的流行，业界在芯片设计层面对神经网络的研究也很热门。清华的忆阻器芯片，就是把以上各类知识综合到一起，深入理解之后的创新。在这个层面，如何存储、更新数据，都需要深入思索，并作出创新。
01 存储的逻辑
一个计算过程，不一定是0-1数值逻辑的，而是还原到物理信号在器件之中传导的层面来理解，涉及电流、电压、功耗等物理数值。
例如，芯片中一种存储数据的元器件叫SRAM，有电就能保持数据不变，基本单元由6个晶体管（Transistor）构成，即6T。
作为对比，清华新型芯片用来存储数据的元器件叫“忆阻器”（Memristor，是Memory和Resistor，即内存和电阻的组合词），其“秘密武器”基本单元（Cell）由晶体管和忆阻器构成，比如1T1R、2T2R，即一个晶体管、一个忆阻器或者两个晶体管、两个忆阻器。
把这些元器件的特性弄清楚了，就能看明白清华的忆阻器芯片怎么回事。
图片
图为存储1个bit的6T SRAM结构
上图就是一个典型的6T结构SRAM的基本单元的电路图，其中上方两个PU代指PMOS晶体管，下方两个PD代指NMOS晶体管，其导通状态由gate——PU与PD边上的竖线——的高低电平控制。PMOS晶体管是低电平导通，高电平阻断。NMOS晶体管导通状态正好相反，即低电平阻断，高电平导通。
两个PU和两个PD，这4个晶体管存储了1个bit的信息，由SNL与SNR两点的高低电平状态代表，其中任意一个点与电源Vdd导通，就是高电平，与接地GND导通，就是低电平。在这个架构中，SNL与SNR状态必然相对，一高一低。
假设SNL与VDD导通，SNL是高电平，此时SNR会与GND导通，SNR是低电平，在这个前提条件下：
● 左PU连到SNR低电平导通，右PU连到SNL高电平阻断（PMOS特性）
● 左PD连到SNR低电平阻断，右PD连到SNL高电平导通（NMOS特性）
此时，就有一个“电源VDD-左PU-SNL”的通路（SNL与VDD导通，与高电平的状态相符），以及“SNR-右PD-GND”的通路（与SNR的低电平状态相符），把它叫状态1。
假设SNL与GND导通，SNR与Vdd导通，SNL为低电平，SNR为高电平。在这个前提条件下类似推理，导通的电路变成“VDD-右PU-SNR”（所以SNR是高电平），以及“SNL-左PD-GND”（所以SNL是低电平），叫它状态0。
4个晶体管就是这样存储一个bit的，要点是四个晶体管组成两个“反相器”交叉连接。
SRAM的基本单元是6T结构，包含6个晶体管，前面只提到4个，剩下两个就是NMOS的PG晶体管。
WL是字线（Word Line)，一般是低电平，让两个NMOS的PG晶体管阻断，让存储切断外界连接保持数据。WL设成高电平，PG就导通了，外界通过BL与BLB两个位线（Bit Line）进行读写。
读操作时，BL与BLB都设置成1，与SNL和SNR连接“分压”。SNL为0时，BL的电压会下降，BLB的电压不变，二者产生一个“电压差”，经过信号放大输出，就读出了0。SNL为1，BL与BLB会产生相反方向的电压差，读出为1。
写操作时原理类似。写入1，就将BL设置成1，BLB设置成0，反相器受到影响，SNL会变成1，SNR变成0，存入bit数据1。写入0时，BL为0，BLB为1，反相器也会相应调整状态。
一个现象是，SRAM的读操作相对简明，反相器的状态不变，不管如何BL与BLB总会产生电压差，0和1的反向区别明显，输出不会搞混。但是写操作就要复杂一些，反相器的状态会从0变1（或者1变0），这有一个过程。
可以看出，即使是最基本的一个bit的存储，基于CMOS晶体管的元器件架构也不简单（C是Complementary互补，指PMOS和NMOS配合）。它需要接上电源才能保持存储，读写有一些特性，各类存储的读写速度差异很大。实际应用，需要冯·诺依曼体系架构，即程序指令和数据一起存储在CPU之外的内存里，经总线调入CPU中执行。
图片
图为冯·诺依曼瓶颈，CPU和内存之间的总线，成了“内存墙”，限制了CPU计算性能的发挥
02 冯·诺依曼瓶颈与忆阻器
近年来，因深度学习而超级火爆的神经网络计算中，人们发现了“冯·诺依曼瓶颈”。
在神经网络概念中，Neurons是神经元节点，而神经元之间的连接叫“突触”（Synapses），其连接的数量远多于神经元节点数，CPU的高速缓存中可以放下神经元的数据，突触数据就放不下了，只能放在内存中。
然而，随着神经网络规模变得极为庞大，在训练与推导中，需要频繁更新神经元与突触的状态，导致海量数据在内存与CPU之间搬运，往往是算得快、搬得慢，经低速总线（Bus)的数据通信成为架构瓶颈。虽然有多CPU（或者说Processor)并行的方案，但由于模型越来越大，会导致CPU之间的通信需求爆炸，所以并不能彻底解决问题。
用传统计算机的CPU架构进行神经网络运算，能耗高、速度慢，GPU用超级多的计算核心加速，能解决慢速的问题，但能耗不低，需要散热。英伟达告诉人们，价格也不便宜——核心难点就是数据在处理器芯片与分离的内存（off-chip memory)之间搬运太多，占了训练的大部分能耗与时间。云计算可以解决部分问题，堆资源能耗先不管了，但是不少边缘计算（edge computing)任务，如手机平板，是对能耗敏感的。
面对这种问题，一个自然的想法是“存算一体”，让CPU直接抓取存储，算了又存回，消除中间的总线瓶颈。
“存算一体”的概念显然需要纳米级的新型半导体元器件支持，一个看上去很好的候选是忆阻器交叉阵列（Memristor Crossbar）。
Memristor就是忆阻器，它的出现有些离奇。1971年伯克利的蔡少棠根据理论推导提出，在电阻、电容、电感之外，可能存在第四种基本元器件，取名忆阻器，其基本特性是电阻随着电流改变，电流消失了，电阻停留不动，直到反向电流将电阻推回原值。这能简单实现高电阻1低电阻0的存储状态，而且尺寸小、能耗低，掉电也还是保持存储。如果能用它当计算机的基本存储单元，电脑关机再开机，瞬间就还原了，掉电不损失信息。
这种听上去性质很优秀的元器件，长期只是理论探讨，没有现实对应的物质。突破一直要等到2008年5月《自然》报导，惠普Stanley Williams团队真的找到了有忆阻器性质的物质：二氧化钛。
惠普的发现是，将一块极薄的二氧化钛分成两半，一半正常。另一半“掺杂”，少了一些氧原子带正电，电流通过时电阻较小。当电流再流向正常的一半时，在电场影响下缺氧的“掺杂物”也往这边游移，整体的电阻就降低了。反过来，电流从正常侧流向“掺杂”侧时，电场又会把“掺杂物”住回推，电阻就增加了，这正是理论中忆阻器的特性。
之后这方面的研究开始兴起，主要应用就是寻找冯·诺依曼之外的新架构，如神经形态处理器（Neuromorphic Processor），它有仿生学的优点，功耗低、自学习、自修复、鲁棒性等等，比神经网络的思想更为深刻。
神经网络架构简单模仿人类神经元连接，功耗高、堆砌规模，而基于忆阻器的神经形态处理器，更为深入地模拟人类神经元的运作机制，表现出来的计算特性更接近人。
03 忆阻器交叉阵列与神经网络
现在我们可以如介绍6T的SRAM结构那样，对神经形态处理器的基本元器件忆阻器交叉阵列进行解释了。
图片
忆阻器突触原理图
上图为忆阻器最基本的突触连接图，一前一后两个神经元（实际应用中还是用CMOS晶体管来实现），中间的突触连接经过一个忆阻器。两个神经元发出尖峰电流经过忆阻器，两边的峰值差异，会让忆阻器的电阻值升高或者降低。
图片
忆阻器交叉阵列
上图为忆阻器应用的元器件“忆阻器交叉阵列”的示意图，这个结构就如6T SRAM一样可以存储数据，进行读写操作，但远不止一个bit，功能要强大得多。它分为交叉的上下两层导线，每个交叉点中间都有一个忆阻器连接。BP、CNN等神经网络数据结构，网络是从输入层到中间层（隐藏层）再到输出层，一层层前后连接的，熟悉的人一看就明白，这个Crossbar很象是用一个矩阵存储了两层之间的全连接权重。
图片
BP神经网络结构，一个隐藏层
简单介绍，神经网络分为“前向推导”和“反向传播训练”两个过程。
以清华团队论文中用的，MINST数据集中的28*28的手写数字图像识别为例，神经网络节点是3层的，784*100*10，输入层是784（它等于28*28）个节点，中间层是100个节点，输出层是10个节点，对应0-9。应用时是前向推导，784个输入节点的数值乘上连接权重，中间层某结点的所有784个连接乘数相加，就是这个节点的状态数值。这相当于用784维的向量乘以784*100的矩阵，得到100维的向量。再用中间层的向量，乘以100*10的权重矩阵，得到10维的向量。
例如某种理想情况下，输出层0-7的节点上数值为0，8节点上的数值为1，9节点的数值为0，那么识别结果就是数字“8”。
应用之前，要根据标注好的样本反复训练，才能实现成功的前向推导。这就是著名的，几乎所有神经网络架构都用的反向传播（Back Propagation)训练。
开始时，权重是乱的，单步训练对标准样本的输入，先前向推导得到输出层向量，但结果可能是错误的。如对样本“8”，算出来输出层9节点的数值为1，其它节点数值为0。将输出层的数值与样本数值比较，算出一个误差向量（8和9节点有误差了），将这个误差向中间层、输入层反向传播，用“梯度下降”的原则更新经过的连接的权重。
多次训练后，前向推导的结果就与样本数值基本一致了，也就是误差接近于0了，网络就有模式识别功能了。
在常规理解中，权重数据是以矩阵形式存在常见的内存的，存算是分离的。忆阻器交叉阵列用忆阻器来存储权重，它也有具体的读写过程。与SRAM相比，一个特别的优点是，不用通电，数据就以电阻的形势保存在忆阻器里了。而且，忆阻器交叉阵列具有“存算一体”的特性。
图片
读写Memristor Crossbar交叉点的数据
如果要读取上部第i行与下部第j行的交叉点mij的数值，就给上部第i行导线加个数值为V的电压，其它行以及下部导线全部接地。这样就会有一个电流I从下部第j行导线通过，用电压V和欧姆定律算出mij的电阻值，它就是V/I，将它读取出来。
往mij写数据时，要将上部第i行导线加电压V，下部第j行导线接地，其它导线全部加电压V/2。这样只有mij的忆阻器被施加了电压V，其它节点的电压差都是0。电压V超过域值，将改变mij的电阻值，升高或者降低都行。
可以看出，交叉阵列读写的数值不是0和1，而是忆阻器的电阻。如果将高电阻当成1、低电阻当成0，那就还是精确的二进制逻辑，就体现不出新架构的优势，这在忆阻器交叉阵列的训练中可以体现。
图片
训练其实就是更新突触连接的权重，最终目标是将误差降到最小，其实里面一堆权重具体数值人们也看不懂了，但是最后的状态输出是看得懂的。忆阻器交叉阵列的训练也是如此，反向传播去更新交叉点的电阻值，具体值人们并不关心，只要减小误差就行了。
权重更新时，不是一下变一大步（开始误差大，步子可以大点），而是会小步小步地挪，逐渐减小误差。对电阻值的更新也是如此，有一个精细微调的感觉。
https://t.cn/A6W4Zzms
全球首颗忆阻器芯片，清华团队突破了什么？ | 陈经
风云之声 2023-10-18 20:03 发表于安徽
以下文章来源于腾讯科技 ，作者腾讯科技
图片
近日，清华大学集成电路学院教授吴华强团队研制出一颗新型芯片，能高效“片上学习”不少人工智能任务。这颗芯片的核心元器件是“忆阻器”，架构是“存算一体”，创新点在于能耗只有常规系统的3%，研究水平很高，2023年9月14日在线发表在《科学》上。
美国芯片产业出口管制的背景下，芯片话题自带热度，清华的这个高水平芯片成果，引发了不少人的兴趣，希望看到中国芯片技术的新突破，但又感觉看不懂，这里我们需要关注“存算一体”、“忆阻器”以及“片上学习”这三个点，以及它们的协同一体化。
日常的编程，大多是在软件层面进行，其中“软硬件结合”、“嵌入式编程”指的是开发者能够对传感器、相机之类的硬件外设进行连接、SDK调用，但不需要知道硬件细节。
再深入，编程可以延伸到操作系统、指令集层面，这要求开发者对整个计算系统更为了解，用汇编语言之类的办法或者绕开普通编程与界面工具的限制，直接对系统进行深层调用，进而提高效率，但这还是在软件层面，思维都是基于0-1数值逻辑的。
继续深入，就涉及到到芯片层面。由于芯片和系统架构决定了计算系统的特性，有一定实力的公司会直接使用芯片进行开发，甚至自研复杂的芯片。目前阶段，制造芯片与传统IT产业01逻辑有区别，更像是一个在硅片上以纳米尺度绣花的物理化学过程，它的基础是半导体元器件。所以，芯片设计，是IT业真正“软硬兼修”的连接环节。它一头要理解指令集、操作系统、程序逻辑、人工智能等软件知识，一头又要和元器件、芯片架构等底层硬件知识打交道。
近年来，由于神经网络、深度学习的流行，业界在芯片设计层面对神经网络的研究也很热门。清华的忆阻器芯片，就是把以上各类知识综合到一起，深入理解之后的创新。在这个层面，如何存储、更新数据，都需要深入思索，并作出创新。
01 存储的逻辑
一个计算过程，不一定是0-1数值逻辑的，而是还原到物理信号在器件之中传导的层面来理解，涉及电流、电压、功耗等物理数值。
例如，芯片中一种存储数据的元器件叫SRAM，有电就能保持数据不变，基本单元由6个晶体管（Transistor）构成，即6T。
作为对比，清华新型芯片用来存储数据的元器件叫“忆阻器”（Memristor，是Memory和Resistor，即内存和电阻的组合词），其“秘密武器”基本单元（Cell）由晶体管和忆阻器构成，比如1T1R、2T2R，即一个晶体管、一个忆阻器或者两个晶体管、两个忆阻器。
把这些元器件的特性弄清楚了，就能看明白清华的忆阻器芯片怎么回事。
图片
图为存储1个bit的6T SRAM结构
上图就是一个典型的6T结构SRAM的基本单元的电路图，其中上方两个PU代指PMOS晶体管，下方两个PD代指NMOS晶体管，其导通状态由gate——PU与PD边上的竖线——的高低电平控制。PMOS晶体管是低电平导通，高电平阻断。NMOS晶体管导通状态正好相反，即低电平阻断，高电平导通。
两个PU和两个PD，这4个晶体管存储了1个bit的信息，由SNL与SNR两点的高低电平状态代表，其中任意一个点与电源Vdd导通，就是高电平，与接地GND导通，就是低电平。在这个架构中，SNL与SNR状态必然相对，一高一低。
假设SNL与VDD导通，SNL是高电平，此时SNR会与GND导通，SNR是低电平，在这个前提条件下：
● 左PU连到SNR低电平导通，右PU连到SNL高电平阻断（PMOS特性）
● 左PD连到SNR低电平阻断，右PD连到SNL高电平导通（NMOS特性）
此时，就有一个“电源VDD-左PU-SNL”的通路（SNL与VDD导通，与高电平的状态相符），以及“SNR-右PD-GND”的通路（与SNR的低电平状态相符），把它叫状态1。
假设SNL与GND导通，SNR与Vdd导通，SNL为低电平，SNR为高电平。在这个前提条件下类似推理，导通的电路变成“VDD-右PU-SNR”（所以SNR是高电平），以及“SNL-左PD-GND”（所以SNL是低电平），叫它状态0。
4个晶体管就是这样存储一个bit的，要点是四个晶体管组成两个“反相器”交叉连接。
SRAM的基本单元是6T结构，包含6个晶体管，前面只提到4个，剩下两个就是NMOS的PG晶体管。
WL是字线（Word Line)，一般是低电平，让两个NMOS的PG晶体管阻断，让存储切断外界连接保持数据。WL设成高电平，PG就导通了，外界通过BL与BLB两个位线（Bit Line）进行读写。
读操作时，BL与BLB都设置成1，与SNL和SNR连接“分压”。SNL为0时，BL的电压会下降，BLB的电压不变，二者产生一个“电压差”，经过信号放大输出，就读出了0。SNL为1，BL与BLB会产生相反方向的电压差，读出为1。
写操作时原理类似。写入1，就将BL设置成1，BLB设置成0，反相器受到影响，SNL会变成1，SNR变成0，存入bit数据1。写入0时，BL为0，BLB为1，反相器也会相应调整状态。
一个现象是，SRAM的读操作相对简明，反相器的状态不变，不管如何BL与BLB总会产生电压差，0和1的反向区别明显，输出不会搞混。但是写操作就要复杂一些，反相器的状态会从0变1（或者1变0），这有一个过程。
可以看出，即使是最基本的一个bit的存储，基于CMOS晶体管的元器件架构也不简单（C是Complementary互补，指PMOS和NMOS配合）。它需要接上电源才能保持存储，读写有一些特性，各类存储的读写速度差异很大。实际应用，需要冯·诺依曼体系架构，即程序指令和数据一起存储在CPU之外的内存里，经总线调入CPU中执行。
图片
图为冯·诺依曼瓶颈，CPU和内存之间的总线，成了“内存墙”，限制了CPU计算性能的发挥
02 冯·诺依曼瓶颈与忆阻器
近年来，因深度学习而超级火爆的神经网络计算中，人们发现了“冯·诺依曼瓶颈”。
在神经网络概念中，Neurons是神经元节点，而神经元之间的连接叫“突触”（Synapses），其连接的数量远多于神经元节点数，CPU的高速缓存中可以放下神经元的数据，突触数据就放不下了，只能放在内存中。
然而，随着神经网络规模变得极为庞大，在训练与推导中，需要频繁更新神经元与突触的状态，导致海量数据在内存与CPU之间搬运，往往是算得快、搬得慢，经低速总线（Bus)的数据通信成为架构瓶颈。虽然有多CPU（或者说Processor)并行的方案，但由于模型越来越大，会导致CPU之间的通信需求爆炸，所以并不能彻底解决问题。
用传统计算机的CPU架构进行神经网络运算，能耗高、速度慢，GPU用超级多的计算核心加速，能解决慢速的问题，但能耗不低，需要散热。英伟达告诉人们，价格也不便宜——核心难点就是数据在处理器芯片与分离的内存（off-chip memory)之间搬运太多，占了训练的大部分能耗与时间。云计算可以解决部分问题，堆资源能耗先不管了，但是不少边缘计算（edge computing)任务，如手机平板，是对能耗敏感的。
面对这种问题，一个自然的想法是“存算一体”，让CPU直接抓取存储，算了又存回，消除中间的总线瓶颈。
“存算一体”的概念显然需要纳米级的新型半导体元器件支持，一个看上去很好的候选是忆阻器交叉阵列（Memristor Crossbar）。
Memristor就是忆阻器，它的出现有些离奇。1971年伯克利的蔡少棠根据理论推导提出，在电阻、电容、电感之外，可能存在第四种基本元器件，取名忆阻器，其基本特性是电阻随着电流改变，电流消失了，电阻停留不动，直到反向电流将电阻推回原值。这能简单实现高电阻1低电阻0的存储状态，而且尺寸小、能耗低，掉电也还是保持存储。如果能用它当计算机的基本存储单元，电脑关机再开机，瞬间就还原了，掉电不损失信息。
这种听上去性质很优秀的元器件，长期只是理论探讨，没有现实对应的物质。突破一直要等到2008年5月《自然》报导，惠普Stanley Williams团队真的找到了有忆阻器性质的物质：二氧化钛。
惠普的发现是，将一块极薄的二氧化钛分成两半，一半正常。另一半“掺杂”，少了一些氧原子带正电，电流通过时电阻较小。当电流再流向正常的一半时，在电场影响下缺氧的“掺杂物”也往这边游移，整体的电阻就降低了。反过来，电流从正常侧流向“掺杂”侧时，电场又会把“掺杂物”住回推，电阻就增加了，这正是理论中忆阻器的特性。
之后这方面的研究开始兴起，主要应用就是寻找冯·诺依曼之外的新架构，如神经形态处理器（Neuromorphic Processor），它有仿生学的优点，功耗低、自学习、自修复、鲁棒性等等，比神经网络的思想更为深刻。
神经网络架构简单模仿人类神经元连接，功耗高、堆砌规模，而基于忆阻器的神经形态处理器，更为深入地模拟人类神经元的运作机制，表现出来的计算特性更接近人。
03 忆阻器交叉阵列与神经网络
现在我们可以如介绍6T的SRAM结构那样，对神经形态处理器的基本元器件忆阻器交叉阵列进行解释了。
图片
忆阻器突触原理图
上图为忆阻器最基本的突触连接图，一前一后两个神经元（实际应用中还是用CMOS晶体管来实现），中间的突触连接经过一个忆阻器。两个神经元发出尖峰电流经过忆阻器，两边的峰值差异，会让忆阻器的电阻值升高或者降低。
图片
忆阻器交叉阵列
上图为忆阻器应用的元器件“忆阻器交叉阵列”的示意图，这个结构就如6T SRAM一样可以存储数据，进行读写操作，但远不止一个bit，功能要强大得多。它分为交叉的上下两层导线，每个交叉点中间都有一个忆阻器连接。BP、CNN等神经网络数据结构，网络是从输入层到中间层（隐藏层）再到输出层，一层层前后连接的，熟悉的人一看就明白，这个Crossbar很象是用一个矩阵存储了两层之间的全连接权重。
图片
BP神经网络结构，一个隐藏层
简单介绍，神经网络分为“前向推导”和“反向传播训练”两个过程。
以清华团队论文中用的，MINST数据集中的28*28的手写数字图像识别为例，神经网络节点是3层的，784*100*10，输入层是784（它等于28*28）个节点，中间层是100个节点，输出层是10个节点，对应0-9。应用时是前向推导，784个输入节点的数值乘上连接权重，中间层某结点的所有784个连接乘数相加，就是这个节点的状态数值。这相当于用784维的向量乘以784*100的矩阵，得到100维的向量。再用中间层的向量，乘以100*10的权重矩阵，得到10维的向量。
例如某种理想情况下，输出层0-7的节点上数值为0，8节点上的数值为1，9节点的数值为0，那么识别结果就是数字“8”。
应用之前，要根据标注好的样本反复训练，才能实现成功的前向推导。这就是著名的，几乎所有神经网络架构都用的反向传播（Back Propagation)训练。
开始时，权重是乱的，单步训练对标准样本的输入，先前向推导得到输出层向量，但结果可能是错误的。如对样本“8”，算出来输出层9节点的数值为1，其它节点数值为0。将输出层的数值与样本数值比较，算出一个误差向量（8和9节点有误差了），将这个误差向中间层、输入层反向传播，用“梯度下降”的原则更新经过的连接的权重。
多次训练后，前向推导的结果就与样本数值基本一致了，也就是误差接近于0了，网络就有模式识别功能了。
在常规理解中，权重数据是以矩阵形式存在常见的内存的，存算是分离的。忆阻器交叉阵列用忆阻器来存储权重，它也有具体的读写过程。与SRAM相比，一个特别的优点是，不用通电，数据就以电阻的形势保存在忆阻器里了。而且，忆阻器交叉阵列具有“存算一体”的特性。
图片
读写Memristor Crossbar交叉点的数据
如果要读取上部第i行与下部第j行的交叉点mij的数值，就给上部第i行导线加个数值为V的电压，其它行以及下部导线全部接地。这样就会有一个电流I从下部第j行导线通过，用电压V和欧姆定律算出mij的电阻值，它就是V/I，将它读取出来。
往mij写数据时，要将上部第i行导线加电压V，下部第j行导线接地，其它导线全部加电压V/2。这样只有mij的忆阻器被施加了电压V，其它节点的电压差都是0。电压V超过域值，将改变mij的电阻值，升高或者降低都行。
可以看出，交叉阵列读写的数值不是0和1，而是忆阻器的电阻。如果将高电阻当成1、低电阻当成0，那就还是精确的二进制逻辑，就体现不出新架构的优势，这在忆阻器交叉阵列的训练中可以体现。
图片
训练其实就是更新突触连接的权重，最终目标是将误差降到最小，其实里面一堆权重具体数值人们也看不懂了，但是最后的状态输出是看得懂的。忆阻器交叉阵列的训练也是如此，反向传播去更新交叉点的电阻值，具体值人们并不关心，只要减小误差就行了。
权重更新时，不是一下变一大步（开始误差大，步子可以大点），而是会小步小步地挪，逐渐减小误差。对电阻值的更新也是如此，有一个精细微调的感觉。
感谢这个夏天遇到了云昀众生 尊重piko的选择 只要你喜欢就好 祝piko早日追到张张 永远最真诚的小狗！ 不磕啦！
“黑黢黢的洱海边，有一个拉着我看烟火的少年，一把带我跳进了拔不出来的沼泽地”“我这只蜗牛愿意向前迈一步”
“那是我苍白的感情史上浓墨重彩的一笔”
“黑黢黢的洱海旁有一个拉着我去海边看烟火的少年”
“我知道自己不是张张的理想型，但是我没有办法将这些归类到不继续追求她的理由之中”
“我会反复融化一块叫做张京云的冰”
“黑黢黢的洱海边，有一个拉着我看烟火的少年，一把带我跳进了拔不出来的沼泽地”“我这只蜗牛愿意向前迈一步”
“那是我苍白的感情史上浓墨重彩的一笔”
“黑黢黢的洱海旁有一个拉着我去海边看烟火的少年”
“我知道自己不是张张的理想型，但是我没有办法将这些归类到不继续追求她的理由之中”
“我会反复融化一块叫做张京云的冰”
最简单快捷高级修福大法，人人都可以轻松完成！“野外沙石造佛塔”
一般的人对于消业积福通常的方式都是念经持咒礼拜忏悔，辅助一些放生，行善的功德，大部分人都把精力和时间放到了修的阶段，行的阶段很欠缺，所以相应的程度自然有很大的差异。
修的目的为了行，只有行才能取得看得见摸得着的效果，修就像我们读书学知识，清净自己的身心，拓展自己的眼界，打开自己的心量，改变自己固有的思维模式，属于“软件”。行属于“硬件”，修的程度一般不易判断，但行的结果却显而易见。修是因，行是缘，有因有缘才会有果。有修有行才能快速圆满世间出世间的一切。
今天与诸位分享的是行之有效，效果快速的法门之一------造塔。
造塔为什么会有那么大的功德和利益那？
《譬喻经》举出十种造塔之殊胜果报：
(一)不生于边国
(二)不受贫困
(三)不得愚痴邪见之身
(四)可得十六大国之王位
(五)寿命长远
(六)可得金刚那罗延力
(七)可得无比广大之福德
(八)得蒙诸佛菩萨之慈悲
(九)具足三明、六通、八解脱
(十)得往生十方净土
《造塔延命功德经》童子七日命终，嬉戏以沙土造塔，延寿七年，得转轮王福 !
修上福者，无过造塔，悲愍救护一切众生，诸天善神常来守护，不相舍离，如影随形，发生大王无边福利。大王，建立佛塔，福利难思，三世如来，所共称赞。——《佛说造塔延命功德经》
造塔的功德和利益只做一个大致的概要，具体大家可以网上查询。
那么造塔诸法中，如何造塔最为方便？这里站在实践角度为大家推荐一种人人都可做的方便方法：
依照《法华经》以及《造塔延命功德经》所说摧沙为塔最为方便，虽然所造之塔并不圆满，但是福德并不虚假。因此，或者江河湖海之边，堆沙为塔，或者荒郊野外之地，垒土浮屠，福不唐捐。
诚如《僧祇律》中说：“真金百千担，持用行布施，不如一泥团，散心治佛塔。”
又如《宝箧印陀罗尼经》云：或人随力，以一丸泥涂塔坏壁，运一拳石扶塔礩倾，由此功德，增福延寿，命终之后成转轮王。
我个人有一个建议，野外造塔时，可以口中吟诵 “启禀十方三世佛，我今造作诸佛塔” ，如此的吟诵，是为了提醒自己的发心是为了造塔，提醒自己所堆的沙土堆不是普通的土堆，而是佛塔；这也等于在对十方佛说明自己的发心是造塔。造塔的形状一般是下面大，上面渐渐变小，用石头垒塔也要遵循这个原理，而且石块不少于三层！造塔之后，再做如下回向即可：愿以此功德，普及于一切。我等与众生，皆共成佛道。
提问：野外所造砂石泥土之塔，或为风水人畜之力所毁，造塔之福德毁否？
回答：所造之塔在法界中存在十分钟，就有10分钟的福德，存在1个小时，就有1个小时的福德，存在1天，就有1天的福德；譬如《造塔延命功德经》中，有一童子嬉戏造塔，仅仅只是用沙子堆了一个和自己的手的长度一样高的塔，仅仅依靠这个福德，居然延寿7年！
试想，这样的佛塔必然存世不久的，但是所产生的福德却延长了这个孩子的七年寿命！试想，即便如此不持久的造塔之福，尚且如此利益，既然如此，又何必顾及野外造塔没有福德呢？
提问：野外造塔有什么注意的吗？
回答：海边造塔，防止海水涨潮或者距离潮水太近导致不安全；河边造塔，防止上游水库开闸泄洪；其他野外行动，防止虫蛇之害以及其他相应的安全事故。
所以，一旦你把一堆不值钱的土石砂砾堆成佛塔之后，立即比黄金供养布施的福德还大，这是律典里面说的。
因此，与其到野外游山玩水做一些没有意义的事情，何不造塔呢？#福报#
一般的人对于消业积福通常的方式都是念经持咒礼拜忏悔，辅助一些放生，行善的功德，大部分人都把精力和时间放到了修的阶段，行的阶段很欠缺，所以相应的程度自然有很大的差异。
修的目的为了行，只有行才能取得看得见摸得着的效果，修就像我们读书学知识，清净自己的身心，拓展自己的眼界，打开自己的心量，改变自己固有的思维模式，属于“软件”。行属于“硬件”，修的程度一般不易判断，但行的结果却显而易见。修是因，行是缘，有因有缘才会有果。有修有行才能快速圆满世间出世间的一切。
今天与诸位分享的是行之有效，效果快速的法门之一------造塔。
造塔为什么会有那么大的功德和利益那？
《譬喻经》举出十种造塔之殊胜果报：
(一)不生于边国
(二)不受贫困
(三)不得愚痴邪见之身
(四)可得十六大国之王位
(五)寿命长远
(六)可得金刚那罗延力
(七)可得无比广大之福德
(八)得蒙诸佛菩萨之慈悲
(九)具足三明、六通、八解脱
(十)得往生十方净土
《造塔延命功德经》童子七日命终，嬉戏以沙土造塔，延寿七年，得转轮王福 !
修上福者，无过造塔，悲愍救护一切众生，诸天善神常来守护，不相舍离，如影随形，发生大王无边福利。大王，建立佛塔，福利难思，三世如来，所共称赞。——《佛说造塔延命功德经》
造塔的功德和利益只做一个大致的概要，具体大家可以网上查询。
那么造塔诸法中，如何造塔最为方便？这里站在实践角度为大家推荐一种人人都可做的方便方法：
依照《法华经》以及《造塔延命功德经》所说摧沙为塔最为方便，虽然所造之塔并不圆满，但是福德并不虚假。因此，或者江河湖海之边，堆沙为塔，或者荒郊野外之地，垒土浮屠，福不唐捐。
诚如《僧祇律》中说：“真金百千担，持用行布施，不如一泥团，散心治佛塔。”
又如《宝箧印陀罗尼经》云：或人随力，以一丸泥涂塔坏壁，运一拳石扶塔礩倾，由此功德，增福延寿，命终之后成转轮王。
我个人有一个建议，野外造塔时，可以口中吟诵 “启禀十方三世佛，我今造作诸佛塔” ，如此的吟诵，是为了提醒自己的发心是为了造塔，提醒自己所堆的沙土堆不是普通的土堆，而是佛塔；这也等于在对十方佛说明自己的发心是造塔。造塔的形状一般是下面大，上面渐渐变小，用石头垒塔也要遵循这个原理，而且石块不少于三层！造塔之后，再做如下回向即可：愿以此功德，普及于一切。我等与众生，皆共成佛道。
提问：野外所造砂石泥土之塔，或为风水人畜之力所毁，造塔之福德毁否？
回答：所造之塔在法界中存在十分钟，就有10分钟的福德，存在1个小时，就有1个小时的福德，存在1天，就有1天的福德；譬如《造塔延命功德经》中，有一童子嬉戏造塔，仅仅只是用沙子堆了一个和自己的手的长度一样高的塔，仅仅依靠这个福德，居然延寿7年！
试想，这样的佛塔必然存世不久的，但是所产生的福德却延长了这个孩子的七年寿命！试想，即便如此不持久的造塔之福，尚且如此利益，既然如此，又何必顾及野外造塔没有福德呢？
提问：野外造塔有什么注意的吗？
回答：海边造塔，防止海水涨潮或者距离潮水太近导致不安全；河边造塔，防止上游水库开闸泄洪；其他野外行动，防止虫蛇之害以及其他相应的安全事故。
所以，一旦你把一堆不值钱的土石砂砾堆成佛塔之后，立即比黄金供养布施的福德还大，这是律典里面说的。
因此，与其到野外游山玩水做一些没有意义的事情，何不造塔呢？#福报#
✋热门推荐