这本限定公开了部分个人采访
意外的属于逻辑性强的类型
con上气氛组最近参与的门把多了起来被说声音都混在一起了整理一下吧
美容也好乐器也好都是因为喜欢才开始的
现在韩语比中文好，大概家族里耳朵都好使，姐姐也是语言方面的工作能说好几国语言，对音程的偏差很敏感
本来家里就有钢琴闲置，小时候学过但是完全不记得
想什么时候在con现场披露钢琴（阪蛋再弹一次给我看求你了[苦涩]）
有在自作曲是jpop类型，觉得藤井风一架钢琴就能巡演超帅，目标是在爵士酒吧弹自己写的歌（[疑问]）
写词也有，有快完成的歌，但是面世还得再等等
意外的属于逻辑性强的类型
con上气氛组最近参与的门把多了起来被说声音都混在一起了整理一下吧
美容也好乐器也好都是因为喜欢才开始的
现在韩语比中文好，大概家族里耳朵都好使，姐姐也是语言方面的工作能说好几国语言，对音程的偏差很敏感
本来家里就有钢琴闲置，小时候学过但是完全不记得
想什么时候在con现场披露钢琴（阪蛋再弹一次给我看求你了[苦涩]）
有在自作曲是jpop类型，觉得藤井风一架钢琴就能巡演超帅，目标是在爵士酒吧弹自己写的歌（[疑问]）
写词也有，有快完成的歌，但是面世还得再等等
很长的文章，但如果看明白了，你对忆阻器的了解就超过了99%的人
https://t.cn/A6W4Zzms
全球首颗忆阻器芯片，清华团队突破了什么？ | 陈经
风云之声 2023-10-18 20:03 发表于安徽
以下文章来源于腾讯科技 ，作者腾讯科技
图片
近日，清华大学集成电路学院教授吴华强团队研制出一颗新型芯片，能高效“片上学习”不少人工智能任务。这颗芯片的核心元器件是“忆阻器”，架构是“存算一体”，创新点在于能耗只有常规系统的3%，研究水平很高，2023年9月14日在线发表在《科学》上。
美国芯片产业出口管制的背景下，芯片话题自带热度，清华的这个高水平芯片成果，引发了不少人的兴趣，希望看到中国芯片技术的新突破，但又感觉看不懂，这里我们需要关注“存算一体”、“忆阻器”以及“片上学习”这三个点，以及它们的协同一体化。
日常的编程，大多是在软件层面进行，其中“软硬件结合”、“嵌入式编程”指的是开发者能够对传感器、相机之类的硬件外设进行连接、SDK调用，但不需要知道硬件细节。
再深入，编程可以延伸到操作系统、指令集层面，这要求开发者对整个计算系统更为了解，用汇编语言之类的办法或者绕开普通编程与界面工具的限制，直接对系统进行深层调用，进而提高效率，但这还是在软件层面，思维都是基于0-1数值逻辑的。
继续深入，就涉及到到芯片层面。由于芯片和系统架构决定了计算系统的特性，有一定实力的公司会直接使用芯片进行开发，甚至自研复杂的芯片。目前阶段，制造芯片与传统IT产业01逻辑有区别，更像是一个在硅片上以纳米尺度绣花的物理化学过程，它的基础是半导体元器件。所以，芯片设计，是IT业真正“软硬兼修”的连接环节。它一头要理解指令集、操作系统、程序逻辑、人工智能等软件知识，一头又要和元器件、芯片架构等底层硬件知识打交道。
近年来，由于神经网络、深度学习的流行，业界在芯片设计层面对神经网络的研究也很热门。清华的忆阻器芯片，就是把以上各类知识综合到一起，深入理解之后的创新。在这个层面，如何存储、更新数据，都需要深入思索，并作出创新。
01 存储的逻辑
一个计算过程，不一定是0-1数值逻辑的，而是还原到物理信号在器件之中传导的层面来理解，涉及电流、电压、功耗等物理数值。
例如，芯片中一种存储数据的元器件叫SRAM，有电就能保持数据不变，基本单元由6个晶体管（Transistor）构成，即6T。
作为对比，清华新型芯片用来存储数据的元器件叫“忆阻器”（Memristor，是Memory和Resistor，即内存和电阻的组合词），其“秘密武器”基本单元（Cell）由晶体管和忆阻器构成，比如1T1R、2T2R，即一个晶体管、一个忆阻器或者两个晶体管、两个忆阻器。
把这些元器件的特性弄清楚了，就能看明白清华的忆阻器芯片怎么回事。
图片
图为存储1个bit的6T SRAM结构
上图就是一个典型的6T结构SRAM的基本单元的电路图，其中上方两个PU代指PMOS晶体管，下方两个PD代指NMOS晶体管，其导通状态由gate——PU与PD边上的竖线——的高低电平控制。PMOS晶体管是低电平导通，高电平阻断。NMOS晶体管导通状态正好相反，即低电平阻断，高电平导通。
两个PU和两个PD，这4个晶体管存储了1个bit的信息，由SNL与SNR两点的高低电平状态代表，其中任意一个点与电源Vdd导通，就是高电平，与接地GND导通，就是低电平。在这个架构中，SNL与SNR状态必然相对，一高一低。
假设SNL与VDD导通，SNL是高电平，此时SNR会与GND导通，SNR是低电平，在这个前提条件下：
● 左PU连到SNR低电平导通，右PU连到SNL高电平阻断（PMOS特性）
● 左PD连到SNR低电平阻断，右PD连到SNL高电平导通（NMOS特性）
此时，就有一个“电源VDD-左PU-SNL”的通路（SNL与VDD导通，与高电平的状态相符），以及“SNR-右PD-GND”的通路（与SNR的低电平状态相符），把它叫状态1。
假设SNL与GND导通，SNR与Vdd导通，SNL为低电平，SNR为高电平。在这个前提条件下类似推理，导通的电路变成“VDD-右PU-SNR”（所以SNR是高电平），以及“SNL-左PD-GND”（所以SNL是低电平），叫它状态0。
4个晶体管就是这样存储一个bit的，要点是四个晶体管组成两个“反相器”交叉连接。
SRAM的基本单元是6T结构，包含6个晶体管，前面只提到4个，剩下两个就是NMOS的PG晶体管。
WL是字线（Word Line)，一般是低电平，让两个NMOS的PG晶体管阻断，让存储切断外界连接保持数据。WL设成高电平，PG就导通了，外界通过BL与BLB两个位线（Bit Line）进行读写。
读操作时，BL与BLB都设置成1，与SNL和SNR连接“分压”。SNL为0时，BL的电压会下降，BLB的电压不变，二者产生一个“电压差”，经过信号放大输出，就读出了0。SNL为1，BL与BLB会产生相反方向的电压差，读出为1。
写操作时原理类似。写入1，就将BL设置成1，BLB设置成0，反相器受到影响，SNL会变成1，SNR变成0，存入bit数据1。写入0时，BL为0，BLB为1，反相器也会相应调整状态。
一个现象是，SRAM的读操作相对简明，反相器的状态不变，不管如何BL与BLB总会产生电压差，0和1的反向区别明显，输出不会搞混。但是写操作就要复杂一些，反相器的状态会从0变1（或者1变0），这有一个过程。
可以看出，即使是最基本的一个bit的存储，基于CMOS晶体管的元器件架构也不简单（C是Complementary互补，指PMOS和NMOS配合）。它需要接上电源才能保持存储，读写有一些特性，各类存储的读写速度差异很大。实际应用，需要冯·诺依曼体系架构，即程序指令和数据一起存储在CPU之外的内存里，经总线调入CPU中执行。
图片
图为冯·诺依曼瓶颈，CPU和内存之间的总线，成了“内存墙”，限制了CPU计算性能的发挥
02 冯·诺依曼瓶颈与忆阻器
近年来，因深度学习而超级火爆的神经网络计算中，人们发现了“冯·诺依曼瓶颈”。
在神经网络概念中，Neurons是神经元节点，而神经元之间的连接叫“突触”（Synapses），其连接的数量远多于神经元节点数，CPU的高速缓存中可以放下神经元的数据，突触数据就放不下了，只能放在内存中。
然而，随着神经网络规模变得极为庞大，在训练与推导中，需要频繁更新神经元与突触的状态，导致海量数据在内存与CPU之间搬运，往往是算得快、搬得慢，经低速总线（Bus)的数据通信成为架构瓶颈。虽然有多CPU（或者说Processor)并行的方案，但由于模型越来越大，会导致CPU之间的通信需求爆炸，所以并不能彻底解决问题。
用传统计算机的CPU架构进行神经网络运算，能耗高、速度慢，GPU用超级多的计算核心加速，能解决慢速的问题，但能耗不低，需要散热。英伟达告诉人们，价格也不便宜——核心难点就是数据在处理器芯片与分离的内存（off-chip memory)之间搬运太多，占了训练的大部分能耗与时间。云计算可以解决部分问题，堆资源能耗先不管了，但是不少边缘计算（edge computing)任务，如手机平板，是对能耗敏感的。
面对这种问题，一个自然的想法是“存算一体”，让CPU直接抓取存储，算了又存回，消除中间的总线瓶颈。
“存算一体”的概念显然需要纳米级的新型半导体元器件支持，一个看上去很好的候选是忆阻器交叉阵列（Memristor Crossbar）。
Memristor就是忆阻器，它的出现有些离奇。1971年伯克利的蔡少棠根据理论推导提出，在电阻、电容、电感之外，可能存在第四种基本元器件，取名忆阻器，其基本特性是电阻随着电流改变，电流消失了，电阻停留不动，直到反向电流将电阻推回原值。这能简单实现高电阻1低电阻0的存储状态，而且尺寸小、能耗低，掉电也还是保持存储。如果能用它当计算机的基本存储单元，电脑关机再开机，瞬间就还原了，掉电不损失信息。
这种听上去性质很优秀的元器件，长期只是理论探讨，没有现实对应的物质。突破一直要等到2008年5月《自然》报导，惠普Stanley Williams团队真的找到了有忆阻器性质的物质：二氧化钛。
惠普的发现是，将一块极薄的二氧化钛分成两半，一半正常。另一半“掺杂”，少了一些氧原子带正电，电流通过时电阻较小。当电流再流向正常的一半时，在电场影响下缺氧的“掺杂物”也往这边游移，整体的电阻就降低了。反过来，电流从正常侧流向“掺杂”侧时，电场又会把“掺杂物”住回推，电阻就增加了，这正是理论中忆阻器的特性。
之后这方面的研究开始兴起，主要应用就是寻找冯·诺依曼之外的新架构，如神经形态处理器（Neuromorphic Processor），它有仿生学的优点，功耗低、自学习、自修复、鲁棒性等等，比神经网络的思想更为深刻。
神经网络架构简单模仿人类神经元连接，功耗高、堆砌规模，而基于忆阻器的神经形态处理器，更为深入地模拟人类神经元的运作机制，表现出来的计算特性更接近人。
03 忆阻器交叉阵列与神经网络
现在我们可以如介绍6T的SRAM结构那样，对神经形态处理器的基本元器件忆阻器交叉阵列进行解释了。
图片
忆阻器突触原理图
上图为忆阻器最基本的突触连接图，一前一后两个神经元（实际应用中还是用CMOS晶体管来实现），中间的突触连接经过一个忆阻器。两个神经元发出尖峰电流经过忆阻器，两边的峰值差异，会让忆阻器的电阻值升高或者降低。
图片
忆阻器交叉阵列
上图为忆阻器应用的元器件“忆阻器交叉阵列”的示意图，这个结构就如6T SRAM一样可以存储数据，进行读写操作，但远不止一个bit，功能要强大得多。它分为交叉的上下两层导线，每个交叉点中间都有一个忆阻器连接。BP、CNN等神经网络数据结构，网络是从输入层到中间层（隐藏层）再到输出层，一层层前后连接的，熟悉的人一看就明白，这个Crossbar很象是用一个矩阵存储了两层之间的全连接权重。
图片
BP神经网络结构，一个隐藏层
简单介绍，神经网络分为“前向推导”和“反向传播训练”两个过程。
以清华团队论文中用的，MINST数据集中的28*28的手写数字图像识别为例，神经网络节点是3层的，784*100*10，输入层是784（它等于28*28）个节点，中间层是100个节点，输出层是10个节点，对应0-9。应用时是前向推导，784个输入节点的数值乘上连接权重，中间层某结点的所有784个连接乘数相加，就是这个节点的状态数值。这相当于用784维的向量乘以784*100的矩阵，得到100维的向量。再用中间层的向量，乘以100*10的权重矩阵，得到10维的向量。
例如某种理想情况下，输出层0-7的节点上数值为0，8节点上的数值为1，9节点的数值为0，那么识别结果就是数字“8”。
应用之前，要根据标注好的样本反复训练，才能实现成功的前向推导。这就是著名的，几乎所有神经网络架构都用的反向传播（Back Propagation)训练。
开始时，权重是乱的，单步训练对标准样本的输入，先前向推导得到输出层向量，但结果可能是错误的。如对样本“8”，算出来输出层9节点的数值为1，其它节点数值为0。将输出层的数值与样本数值比较，算出一个误差向量（8和9节点有误差了），将这个误差向中间层、输入层反向传播，用“梯度下降”的原则更新经过的连接的权重。
多次训练后，前向推导的结果就与样本数值基本一致了，也就是误差接近于0了，网络就有模式识别功能了。
在常规理解中，权重数据是以矩阵形式存在常见的内存的，存算是分离的。忆阻器交叉阵列用忆阻器来存储权重，它也有具体的读写过程。与SRAM相比，一个特别的优点是，不用通电，数据就以电阻的形势保存在忆阻器里了。而且，忆阻器交叉阵列具有“存算一体”的特性。
图片
读写Memristor Crossbar交叉点的数据
如果要读取上部第i行与下部第j行的交叉点mij的数值，就给上部第i行导线加个数值为V的电压，其它行以及下部导线全部接地。这样就会有一个电流I从下部第j行导线通过，用电压V和欧姆定律算出mij的电阻值，它就是V/I，将它读取出来。
往mij写数据时，要将上部第i行导线加电压V，下部第j行导线接地，其它导线全部加电压V/2。这样只有mij的忆阻器被施加了电压V，其它节点的电压差都是0。电压V超过域值，将改变mij的电阻值，升高或者降低都行。
可以看出，交叉阵列读写的数值不是0和1，而是忆阻器的电阻。如果将高电阻当成1、低电阻当成0，那就还是精确的二进制逻辑，就体现不出新架构的优势，这在忆阻器交叉阵列的训练中可以体现。
图片
训练其实就是更新突触连接的权重，最终目标是将误差降到最小，其实里面一堆权重具体数值人们也看不懂了，但是最后的状态输出是看得懂的。忆阻器交叉阵列的训练也是如此，反向传播去更新交叉点的电阻值，具体值人们并不关心，只要减小误差就行了。
权重更新时，不是一下变一大步（开始误差大，步子可以大点），而是会小步小步地挪，逐渐减小误差。对电阻值的更新也是如此，有一个精细微调的感觉。
https://t.cn/A6W4Zzms
全球首颗忆阻器芯片，清华团队突破了什么？ | 陈经
风云之声 2023-10-18 20:03 发表于安徽
以下文章来源于腾讯科技 ，作者腾讯科技
图片
近日，清华大学集成电路学院教授吴华强团队研制出一颗新型芯片，能高效“片上学习”不少人工智能任务。这颗芯片的核心元器件是“忆阻器”，架构是“存算一体”，创新点在于能耗只有常规系统的3%，研究水平很高，2023年9月14日在线发表在《科学》上。
美国芯片产业出口管制的背景下，芯片话题自带热度，清华的这个高水平芯片成果，引发了不少人的兴趣，希望看到中国芯片技术的新突破，但又感觉看不懂，这里我们需要关注“存算一体”、“忆阻器”以及“片上学习”这三个点，以及它们的协同一体化。
日常的编程，大多是在软件层面进行，其中“软硬件结合”、“嵌入式编程”指的是开发者能够对传感器、相机之类的硬件外设进行连接、SDK调用，但不需要知道硬件细节。
再深入，编程可以延伸到操作系统、指令集层面，这要求开发者对整个计算系统更为了解，用汇编语言之类的办法或者绕开普通编程与界面工具的限制，直接对系统进行深层调用，进而提高效率，但这还是在软件层面，思维都是基于0-1数值逻辑的。
继续深入，就涉及到到芯片层面。由于芯片和系统架构决定了计算系统的特性，有一定实力的公司会直接使用芯片进行开发，甚至自研复杂的芯片。目前阶段，制造芯片与传统IT产业01逻辑有区别，更像是一个在硅片上以纳米尺度绣花的物理化学过程，它的基础是半导体元器件。所以，芯片设计，是IT业真正“软硬兼修”的连接环节。它一头要理解指令集、操作系统、程序逻辑、人工智能等软件知识，一头又要和元器件、芯片架构等底层硬件知识打交道。
近年来，由于神经网络、深度学习的流行，业界在芯片设计层面对神经网络的研究也很热门。清华的忆阻器芯片，就是把以上各类知识综合到一起，深入理解之后的创新。在这个层面，如何存储、更新数据，都需要深入思索，并作出创新。
01 存储的逻辑
一个计算过程，不一定是0-1数值逻辑的，而是还原到物理信号在器件之中传导的层面来理解，涉及电流、电压、功耗等物理数值。
例如，芯片中一种存储数据的元器件叫SRAM，有电就能保持数据不变，基本单元由6个晶体管（Transistor）构成，即6T。
作为对比，清华新型芯片用来存储数据的元器件叫“忆阻器”（Memristor，是Memory和Resistor，即内存和电阻的组合词），其“秘密武器”基本单元（Cell）由晶体管和忆阻器构成，比如1T1R、2T2R，即一个晶体管、一个忆阻器或者两个晶体管、两个忆阻器。
把这些元器件的特性弄清楚了，就能看明白清华的忆阻器芯片怎么回事。
图片
图为存储1个bit的6T SRAM结构
上图就是一个典型的6T结构SRAM的基本单元的电路图，其中上方两个PU代指PMOS晶体管，下方两个PD代指NMOS晶体管，其导通状态由gate——PU与PD边上的竖线——的高低电平控制。PMOS晶体管是低电平导通，高电平阻断。NMOS晶体管导通状态正好相反，即低电平阻断，高电平导通。
两个PU和两个PD，这4个晶体管存储了1个bit的信息，由SNL与SNR两点的高低电平状态代表，其中任意一个点与电源Vdd导通，就是高电平，与接地GND导通，就是低电平。在这个架构中，SNL与SNR状态必然相对，一高一低。
假设SNL与VDD导通，SNL是高电平，此时SNR会与GND导通，SNR是低电平，在这个前提条件下：
● 左PU连到SNR低电平导通，右PU连到SNL高电平阻断（PMOS特性）
● 左PD连到SNR低电平阻断，右PD连到SNL高电平导通（NMOS特性）
此时，就有一个“电源VDD-左PU-SNL”的通路（SNL与VDD导通，与高电平的状态相符），以及“SNR-右PD-GND”的通路（与SNR的低电平状态相符），把它叫状态1。
假设SNL与GND导通，SNR与Vdd导通，SNL为低电平，SNR为高电平。在这个前提条件下类似推理，导通的电路变成“VDD-右PU-SNR”（所以SNR是高电平），以及“SNL-左PD-GND”（所以SNL是低电平），叫它状态0。
4个晶体管就是这样存储一个bit的，要点是四个晶体管组成两个“反相器”交叉连接。
SRAM的基本单元是6T结构，包含6个晶体管，前面只提到4个，剩下两个就是NMOS的PG晶体管。
WL是字线（Word Line)，一般是低电平，让两个NMOS的PG晶体管阻断，让存储切断外界连接保持数据。WL设成高电平，PG就导通了，外界通过BL与BLB两个位线（Bit Line）进行读写。
读操作时，BL与BLB都设置成1，与SNL和SNR连接“分压”。SNL为0时，BL的电压会下降，BLB的电压不变，二者产生一个“电压差”，经过信号放大输出，就读出了0。SNL为1，BL与BLB会产生相反方向的电压差，读出为1。
写操作时原理类似。写入1，就将BL设置成1，BLB设置成0，反相器受到影响，SNL会变成1，SNR变成0，存入bit数据1。写入0时，BL为0，BLB为1，反相器也会相应调整状态。
一个现象是，SRAM的读操作相对简明，反相器的状态不变，不管如何BL与BLB总会产生电压差，0和1的反向区别明显，输出不会搞混。但是写操作就要复杂一些，反相器的状态会从0变1（或者1变0），这有一个过程。
可以看出，即使是最基本的一个bit的存储，基于CMOS晶体管的元器件架构也不简单（C是Complementary互补，指PMOS和NMOS配合）。它需要接上电源才能保持存储，读写有一些特性，各类存储的读写速度差异很大。实际应用，需要冯·诺依曼体系架构，即程序指令和数据一起存储在CPU之外的内存里，经总线调入CPU中执行。
图片
图为冯·诺依曼瓶颈，CPU和内存之间的总线，成了“内存墙”，限制了CPU计算性能的发挥
02 冯·诺依曼瓶颈与忆阻器
近年来，因深度学习而超级火爆的神经网络计算中，人们发现了“冯·诺依曼瓶颈”。
在神经网络概念中，Neurons是神经元节点，而神经元之间的连接叫“突触”（Synapses），其连接的数量远多于神经元节点数，CPU的高速缓存中可以放下神经元的数据，突触数据就放不下了，只能放在内存中。
然而，随着神经网络规模变得极为庞大，在训练与推导中，需要频繁更新神经元与突触的状态，导致海量数据在内存与CPU之间搬运，往往是算得快、搬得慢，经低速总线（Bus)的数据通信成为架构瓶颈。虽然有多CPU（或者说Processor)并行的方案，但由于模型越来越大，会导致CPU之间的通信需求爆炸，所以并不能彻底解决问题。
用传统计算机的CPU架构进行神经网络运算，能耗高、速度慢，GPU用超级多的计算核心加速，能解决慢速的问题，但能耗不低，需要散热。英伟达告诉人们，价格也不便宜——核心难点就是数据在处理器芯片与分离的内存（off-chip memory)之间搬运太多，占了训练的大部分能耗与时间。云计算可以解决部分问题，堆资源能耗先不管了，但是不少边缘计算（edge computing)任务，如手机平板，是对能耗敏感的。
面对这种问题，一个自然的想法是“存算一体”，让CPU直接抓取存储，算了又存回，消除中间的总线瓶颈。
“存算一体”的概念显然需要纳米级的新型半导体元器件支持，一个看上去很好的候选是忆阻器交叉阵列（Memristor Crossbar）。
Memristor就是忆阻器，它的出现有些离奇。1971年伯克利的蔡少棠根据理论推导提出，在电阻、电容、电感之外，可能存在第四种基本元器件，取名忆阻器，其基本特性是电阻随着电流改变，电流消失了，电阻停留不动，直到反向电流将电阻推回原值。这能简单实现高电阻1低电阻0的存储状态，而且尺寸小、能耗低，掉电也还是保持存储。如果能用它当计算机的基本存储单元，电脑关机再开机，瞬间就还原了，掉电不损失信息。
这种听上去性质很优秀的元器件，长期只是理论探讨，没有现实对应的物质。突破一直要等到2008年5月《自然》报导，惠普Stanley Williams团队真的找到了有忆阻器性质的物质：二氧化钛。
惠普的发现是，将一块极薄的二氧化钛分成两半，一半正常。另一半“掺杂”，少了一些氧原子带正电，电流通过时电阻较小。当电流再流向正常的一半时，在电场影响下缺氧的“掺杂物”也往这边游移，整体的电阻就降低了。反过来，电流从正常侧流向“掺杂”侧时，电场又会把“掺杂物”住回推，电阻就增加了，这正是理论中忆阻器的特性。
之后这方面的研究开始兴起，主要应用就是寻找冯·诺依曼之外的新架构，如神经形态处理器（Neuromorphic Processor），它有仿生学的优点，功耗低、自学习、自修复、鲁棒性等等，比神经网络的思想更为深刻。
神经网络架构简单模仿人类神经元连接，功耗高、堆砌规模，而基于忆阻器的神经形态处理器，更为深入地模拟人类神经元的运作机制，表现出来的计算特性更接近人。
03 忆阻器交叉阵列与神经网络
现在我们可以如介绍6T的SRAM结构那样，对神经形态处理器的基本元器件忆阻器交叉阵列进行解释了。
图片
忆阻器突触原理图
上图为忆阻器最基本的突触连接图，一前一后两个神经元（实际应用中还是用CMOS晶体管来实现），中间的突触连接经过一个忆阻器。两个神经元发出尖峰电流经过忆阻器，两边的峰值差异，会让忆阻器的电阻值升高或者降低。
图片
忆阻器交叉阵列
上图为忆阻器应用的元器件“忆阻器交叉阵列”的示意图，这个结构就如6T SRAM一样可以存储数据，进行读写操作，但远不止一个bit，功能要强大得多。它分为交叉的上下两层导线，每个交叉点中间都有一个忆阻器连接。BP、CNN等神经网络数据结构，网络是从输入层到中间层（隐藏层）再到输出层，一层层前后连接的，熟悉的人一看就明白，这个Crossbar很象是用一个矩阵存储了两层之间的全连接权重。
图片
BP神经网络结构，一个隐藏层
简单介绍，神经网络分为“前向推导”和“反向传播训练”两个过程。
以清华团队论文中用的，MINST数据集中的28*28的手写数字图像识别为例，神经网络节点是3层的，784*100*10，输入层是784（它等于28*28）个节点，中间层是100个节点，输出层是10个节点，对应0-9。应用时是前向推导，784个输入节点的数值乘上连接权重，中间层某结点的所有784个连接乘数相加，就是这个节点的状态数值。这相当于用784维的向量乘以784*100的矩阵，得到100维的向量。再用中间层的向量，乘以100*10的权重矩阵，得到10维的向量。
例如某种理想情况下，输出层0-7的节点上数值为0，8节点上的数值为1，9节点的数值为0，那么识别结果就是数字“8”。
应用之前，要根据标注好的样本反复训练，才能实现成功的前向推导。这就是著名的，几乎所有神经网络架构都用的反向传播（Back Propagation)训练。
开始时，权重是乱的，单步训练对标准样本的输入，先前向推导得到输出层向量，但结果可能是错误的。如对样本“8”，算出来输出层9节点的数值为1，其它节点数值为0。将输出层的数值与样本数值比较，算出一个误差向量（8和9节点有误差了），将这个误差向中间层、输入层反向传播，用“梯度下降”的原则更新经过的连接的权重。
多次训练后，前向推导的结果就与样本数值基本一致了，也就是误差接近于0了，网络就有模式识别功能了。
在常规理解中，权重数据是以矩阵形式存在常见的内存的，存算是分离的。忆阻器交叉阵列用忆阻器来存储权重，它也有具体的读写过程。与SRAM相比，一个特别的优点是，不用通电，数据就以电阻的形势保存在忆阻器里了。而且，忆阻器交叉阵列具有“存算一体”的特性。
图片
读写Memristor Crossbar交叉点的数据
如果要读取上部第i行与下部第j行的交叉点mij的数值，就给上部第i行导线加个数值为V的电压，其它行以及下部导线全部接地。这样就会有一个电流I从下部第j行导线通过，用电压V和欧姆定律算出mij的电阻值，它就是V/I，将它读取出来。
往mij写数据时，要将上部第i行导线加电压V，下部第j行导线接地，其它导线全部加电压V/2。这样只有mij的忆阻器被施加了电压V，其它节点的电压差都是0。电压V超过域值，将改变mij的电阻值，升高或者降低都行。
可以看出，交叉阵列读写的数值不是0和1，而是忆阻器的电阻。如果将高电阻当成1、低电阻当成0，那就还是精确的二进制逻辑，就体现不出新架构的优势，这在忆阻器交叉阵列的训练中可以体现。
图片
训练其实就是更新突触连接的权重，最终目标是将误差降到最小，其实里面一堆权重具体数值人们也看不懂了，但是最后的状态输出是看得懂的。忆阻器交叉阵列的训练也是如此，反向传播去更新交叉点的电阻值，具体值人们并不关心，只要减小误差就行了。
权重更新时，不是一下变一大步（开始误差大，步子可以大点），而是会小步小步地挪，逐渐减小误差。对电阻值的更新也是如此，有一个精细微调的感觉。
混社会，要明白的“人性潜规则”：
1、精神背叛，女性比男性高；肉体背叛，男性比女性高。
2、有孙子，千万不要带外孙。
3、整天很忙的人，发不了财。
4、不谈钱的人，永远不会成熟。
5、语言犀利简单的人，一般智慧高。
6、一定要远离酒男，暴力男。
7、一个人越不容易动怒，也就说明他手里的底牌越多。
8、普通人不给别人带来烦恼，是一种善良；强者不给自己带来烦恼，是一种智慧。
9、在生存面前，人是利益的产物。
10、当一个人开始夸你的时候，不要高兴得太早，不要太过飘飘然，这很可能只是一种铺垫，只是为了说后面的“然而”“不过”“但是”，这些话可能就不是什么好话了。
11、看透人性，你会发现万物的底层逻辑，拥有全局观。
12、任何人都是环境的产物，这是人性规律。13、99%的人都是看结果，别人只会羡慕你的财富，不会在意它是怎么来的。
14、人的“生理层面”的自然属性是，人类总是要求拥有快乐、而不是痛苦。
15、当其他情况不变时，只要价格提高，商品的需求量就会减少；价格下降到一定程度，需求量就会增加。
16、遇到挑衅，一定要果断报复，这不是小心眼，而是为了建立起鲜明的威慑，以免被其他人当软柿子捏。
17、与任何人的关系，你若想留住，就别把它看得太重。只要看得太重，就必然会失去。18、教育并不能改变人性，只能改良人性。19、人都是欺软怕硬，你越老实就越容易被欺负，你越是好说话，别人就越不拿你当回事。20、不管是在社会上，还是在情感上，做人都不能太老实。混社会太老实的话，容易成为被人利用的工具，吃力不讨好，还容易被人欺负和伤害；情感上太老实的话，则容易沦为可怜的接盘侠。
21、如果你溺爱一只狗，把它喂得过饱，那么它可能会失去求生的欲望和能力。同样，如果你对一个人过度好，他可能会依赖你，失去独立和自立的能力。
22、这个世界根本没有什么桃花源的爱情，一旦接触柴米油盐，就像被咬了一口的苹果放在空气当中，都会腐烂。
23、很多时候，不会说话就少说话，起码不会出错。
24、一个牛人的出现，一定经历过你想象不到的事情与灾难。
25、别总想着和别人建立深厚关系，君子之交淡如水，君子从来不跟任何人走太近，只有小人和废物才特别喜欢到处交朋友。
26、什么东西最能伤害你？你最在意的东西。27、如果一个人经常在小事上犹豫纠结，那么他大概率一辈子都很纠结。这种人难成大事。28、通过合群给自己找安全感，最大的愚蠢就是迎合别人的人，往往丢掉的是自己的人生。
29、假如你不能及时展露自己的锋芒，不能让自己显得强势一点，欺负你的一定会越来越多。
30、为什么你被伤害？被玩弄？被利用？遭背叛？被情困？至今一事无成？因为你老好人、太善良，对人性一无所知……
1、精神背叛，女性比男性高；肉体背叛，男性比女性高。
2、有孙子，千万不要带外孙。
3、整天很忙的人，发不了财。
4、不谈钱的人，永远不会成熟。
5、语言犀利简单的人，一般智慧高。
6、一定要远离酒男，暴力男。
7、一个人越不容易动怒，也就说明他手里的底牌越多。
8、普通人不给别人带来烦恼，是一种善良；强者不给自己带来烦恼，是一种智慧。
9、在生存面前，人是利益的产物。
10、当一个人开始夸你的时候，不要高兴得太早，不要太过飘飘然，这很可能只是一种铺垫，只是为了说后面的“然而”“不过”“但是”，这些话可能就不是什么好话了。
11、看透人性，你会发现万物的底层逻辑，拥有全局观。
12、任何人都是环境的产物，这是人性规律。13、99%的人都是看结果，别人只会羡慕你的财富，不会在意它是怎么来的。
14、人的“生理层面”的自然属性是，人类总是要求拥有快乐、而不是痛苦。
15、当其他情况不变时，只要价格提高，商品的需求量就会减少；价格下降到一定程度，需求量就会增加。
16、遇到挑衅，一定要果断报复，这不是小心眼，而是为了建立起鲜明的威慑，以免被其他人当软柿子捏。
17、与任何人的关系，你若想留住，就别把它看得太重。只要看得太重，就必然会失去。18、教育并不能改变人性，只能改良人性。19、人都是欺软怕硬，你越老实就越容易被欺负，你越是好说话，别人就越不拿你当回事。20、不管是在社会上，还是在情感上，做人都不能太老实。混社会太老实的话，容易成为被人利用的工具，吃力不讨好，还容易被人欺负和伤害；情感上太老实的话，则容易沦为可怜的接盘侠。
21、如果你溺爱一只狗，把它喂得过饱，那么它可能会失去求生的欲望和能力。同样，如果你对一个人过度好，他可能会依赖你，失去独立和自立的能力。
22、这个世界根本没有什么桃花源的爱情，一旦接触柴米油盐，就像被咬了一口的苹果放在空气当中，都会腐烂。
23、很多时候，不会说话就少说话，起码不会出错。
24、一个牛人的出现，一定经历过你想象不到的事情与灾难。
25、别总想着和别人建立深厚关系，君子之交淡如水，君子从来不跟任何人走太近，只有小人和废物才特别喜欢到处交朋友。
26、什么东西最能伤害你？你最在意的东西。27、如果一个人经常在小事上犹豫纠结，那么他大概率一辈子都很纠结。这种人难成大事。28、通过合群给自己找安全感，最大的愚蠢就是迎合别人的人，往往丢掉的是自己的人生。
29、假如你不能及时展露自己的锋芒，不能让自己显得强势一点，欺负你的一定会越来越多。
30、为什么你被伤害？被玩弄？被利用？遭背叛？被情困？至今一事无成？因为你老好人、太善良，对人性一无所知……
✋热门推荐