回复：Jeff hawkins的Numenta的研究成果BAM

HTM理论表明细胞可以是这么些状态：
-活跃的(产生尖峰的)
-不活跃的(不产生尖峰的或者非常缓慢的产生尖峰的)
-预测的(不产生尖峰的但是去极化的)
-在预测的状态之后活跃的(一个迷你燃烧紧随着尖峰的产生)

这些HTM神经元的状态不同于其他神经网络模型，这值得一些解释。首先，公认是一些生物神经元以不同速率产生尖峰，这些速率取决于它们的输入有多匹配于他们理想的“接受域”。然而，单个神经元对网络的性能从来都不是必不可少的；活跃细胞的数量是最重要的，任何单个神经元都可以停止工作，这对网络的影响很小。因此，产生尖峰速率这个变量是不必要的，对于新皮层的功能来说，因此它是一个我们选择在HTM模型忽略的属性。我们可以通过在SDR中使用更多比特来弥补变量编码的不足。所有迄今为止创建的HTM实现都工作得很好，即使没有编码速率变量。避免编码速率变量的第二个原因是二进制单元状态使得软件和硬件实现更加简单。HTM系统几乎不需要浮点运算，这在任何速率编码系统中都是必需的。硬件实现HTM将是非常简单的，它不需要浮点数学。有可编程计算机的类比。当人们第一次开始建造可编程计算机时，一些设计者提倡用十进制逻辑。二进制逻辑胜出，因为它是能更简单地被造出来。

虽然HTM神经元没有可变速率输出，但它们确实包含了其他理论中不存在的两个新的状态。当一个神经元的识别从远端或尖端树突传来的模式时，树突产生局部NMDA尖峰，这使得细胞体去极化而不产生体尖峰。在HTM理论里，这种内部去极化状态的细胞代表了未来活动的预测，其在序列记忆起着至关重要的作用。最后，在某些条件下，神经元会开始随着一些微爆燃尖峰燃烧。一个能导致一个微爆燃条件是当细胞从一个以前去极化状态开始燃烧。一个微爆燃小突触激活了突触后细胞的代谢性受体，从而导致长期的去极化和学习效果。虽然微爆燃的神经科学还没有解决，HTM理论需要系统当输入是被预测时能与没有被预测时表现不同。微爆燃和代谢型受体能满足HTM的需求。通过调用代谢效应的神经元可以在输入停止后保持活跃而且可以表现出增强的学习效果。这两种状态，预测（去极化）和预测之后的活跃（微爆燃）是一个很好的例子，一个HTM理论如何结合自上而下的系统级理论需要与具体生物细节来得到为生物学提供新见解。

3.3.2 稀疏表征并集之神经预测
HTM序列记忆同时预测未来会发生的多件事。这种能力是SDR的并属性的一个例子。生物等效为多组细胞（SDRs）被同时去极化。由于每个表示是稀疏的，可以同时作出许多预测。例如，考虑实现HTM序列记忆的神经元层。如果1%在层的神经元活动，导致20种不同的预测，那么大约20%的神经元会在去极化或者说预测状态。即使有神经元去极化20%，系统能可靠地检测其中一个预测是否发生。作为一个人，你不会意识到这些预测，因为预测的细胞没有产生尖峰。但是，如果发生意外输入，网络会检测到它，并且你会意识到某事是错误的。

3.3.3 依靠突触存储稀疏表征
计算机存储器通常被称为“随机存取存储器”，一个字节存储在硬盘或存储器芯片上的存储器上。要访问字节的值，你需要知道它在内存中的地址。“随机”一词意味着只要你有要检索的项目的地址，就可以按任意顺序检索信息。记忆在脑中被称为“联想记忆”。在联想记忆，一个SDR是链接到另一个SDR，这个SDR又链接到另一个SDR，等。SDR是通过“联想”回忆其他SDR的。这没有集中式存储器，也没有随机存取。每一个神经元参与形成SDRs和学习联想。

考虑一个神经元，我们要识别一个特定的活动模式。为了实现这一点，神经元在当前模式活跃细胞上形成突触。如上所述，一个神经元只需要形成少量的突触，通常少于二十，只要模式稀疏，就能在大量的细胞中准确地识别模式。形成新的突触是大脑几乎所有记忆的基础。

但是，我们不希望只有一个神经元识别模式，我们希望一组神经元识别模式。这样一个SDR将引起另一个SDR。我们希望SDR模式“a”来调用SDR模式“b”，如果模式“B”中的每个活跃细胞形成二十个突触到模式“A”时所有活跃细胞的随便20个上，这就可以实现。

如果两个模式“A”和“B”是同一个神经元群中的后继模式，那么学会从“A”到“B”的关联是一个过渡，并形成序列记忆的基础。如果模式“A”和“B”在不同的细胞群，那么模式“A”将同时激活模式“B”，如果模式“A”的神经元连接到神经元的远端突触模式“B”，那么“B”模式将被预测。如果模式A中的神经元与模式“B”的神经元的近端突触连接，那么“B”模式神经元将被激活。

所有联想记忆运算使用相同的基本记忆机制，即在神经元树突节上形成新的突触。因为所有的神经元都有几十个树突和上千个突触，每个神经元不只是识别一个模式，而是几十个独立的模式。每个神经元参与许多不同的SDRs。(译者注：译者在这里感到有些困惑。。。为什么每个神经元不是识别一种本征模式？)

3.4 总结
SDRs是大脑的语言，和HTM理论定义了如何创建、存储和召回SDRs和SDRs的序列。在这一章中我们学到的关于SDRs的强大的数学性质，这些性质使得大脑和HTM能学习序列并能泛化。

第4章 编码器
在这一章中，我们描述了如何将数据编码为HTM所使用的稀疏表征（SDR）。我们解释了一些现有的编码器，这些都可以通过开源项目nupic获取，我们也讨论了创建新的数据类型的编码器的要求。

4.1 什么是一个编码器?
分层时序记忆（HTM）提供了一个灵活的和生物精确的框架，用于解决预测，分类和异常检测问题的广泛的数据类型（Hawkins 和Ahmad，2015）。HTM系统需要数据输入的形式为稀疏表征（SDRs）（Ahmad和Hawkins，2016）。SDRs与标准的计算机表示完全不同，例如ASCII编码文本，SDRs直接把意义编码在表征中。SDR由一个大的比特数组组成，其中大部分是0。少数是1。每一位具有一定的语义，所以如果两SDRs超过几个重叠的一位，那么这两个SDRs有相似的意义。

任何可以转换成SDR的数据都可以使用HTM系统广泛的应用。因此，使用HTM系统的第一步是使用我们称之为编码器的数据源转换成SDR。编码器将数据的原始格式转换成可以被送入HTM系统的SDR。编码器负责确定哪些输出位应该是1，哪些应该是零，对于一个给定的输入值，以这样的方式来捕捉数据的重要语义特性。类似的输入值必须产生高度重叠的SDRs。

编码过程类似于人类和其他动物的感觉器官的功能。比如耳蜗，是一种特殊的结构，转换环境中一定频率和振幅的声音为稀疏的活跃神经元（Webster等，1992；Schuknecht，1974）。这个过程的基本机制（图1）包括一组内毛细胞组织为对不同频率敏感。当适当的声音发生时，毛细胞刺激神经元向大脑发出信号。以这种方式触发的神经元集包括编码的声音作为一个稀疏表征。