回复：Jeff hawkins的Numenta的研究成果BAM

5.1.3 伪代码
本节包含的SP函数的具体伪代码，分为四个阶段：初始化、重叠计算，抑制，和学习。在初始化（第1阶段）之后，SP算法的计算程序的每一次迭代都经历三个不同的阶段（依次为第2阶段到第4阶段），这些阶段以序列形式发生。
代码中使用的各种数据结构和支持程序在结尾的表X定义。

5.1.3.1 阶段1:初始化SP算法参数
在接收任何输入之前，SP算法通过为每个细胞柱计算一些初始潜在突触来初始化。这包括从输入空间中选择的随机集合（在细胞柱的inhibition radius内）。每个输入由一个突触表示，并分配一个随机permanence值。随机permanence值是用两个标准选择的。第一，值的选择是在connectedPerm周围很小范围内，connectedPerm是最小的permanence值,在这个值上突触被认为是“连接的”（译者注：其实是连接着，但不能通信）。这使得潜在的突触经过少量的训练迭代即可连接（或断开连接）。第二，每一细胞柱在输入区域都有一个自然中心，而permanence值对这个中心有偏差，所以它们在中心附近有更高的值。

阶段2：为每一个细胞柱用现有输入计算overlap(重叠值)
给定输入向量，这一步用这个向量计算出每个细胞柱的overlap。每个细胞柱的overlap简单地就是与活跃比特相连的connected synapses的数量，乘以一个细胞柱的boost因子。
1. for c in columns
2. overlap(c)=0
3. for s in connectedSynapses(c)
4. overlap(c)=overlap(c)+input(t,s.sourceInput)
5. Overlap(c)=overlap(c)*boost(c)

5.1.3.4. 更新突触permanence值以及内部变量
最后一个阶段进行学习，必要时更新所有突触的 permanence值，以及boost值和inhibition半径。主要学习规则实现在第14-20行。对于细胞柱中的胜者，如果突触是活跃的，它的permanence值是递增的，否则是递减的；permanence值被限制为0和1之间。注意，非胜者细胞柱的突触上的permanence值不被修改。
第21-27行实现boosting。有两种不同的机制来帮助一个细胞柱学习连接。如果细胞柱获胜频率（如测量activeDutyCycle）与它的邻居相比不够，其总体boost值设置为大于1（行22-23）。如果一个细胞柱比它的邻居更频繁地活跃，它的整体boost值设置为小于1。boostFunction是一个指数函数，取决于一个细胞柱的活跃频率和其邻居的活跃频率的差值。如果细胞柱的connected synapses不与任何输入经常重叠（反映在overlapDutyCycle），它的permanence值提升（第24-27行）。注意，一旦关闭学习，Boost（c）就被冻结了
最后，在第四阶段的最后，inhibition radius将被重新计算(行28).

5.1.4. 参数
SP算法有许多影响维度、学习机制和整体性能的参数。在这里，我们将详细讨论一些参数，以及不同的值如何影响SP。该参数的作用在以前的伪代码描述过，一个完整的数据结构、算法参数和程序的列表在下面的表1和表2。

5.1.4.1. SP算法结构
定义在SP算法参数中的细胞柱维度(columnDimensions)决定了HTM区域的维度。如果我们分配4096 个细胞柱，这个区域是一个4096数组的细胞柱。然而，对于一个视觉系统，同样数量的细胞柱将会作为一个两维数组，所以这个区域的柱结构将会是64×64.我们也能定义一个三维拓扑。
细胞柱维度控制输出形状，通过指定SP算法的输入参数来控制对细胞柱的输入。输入尺寸（inputDimensions）被像细胞柱维度一样定义，维度数必须匹配。输入空间的一个细胞柱有连接到这个细胞柱receptive field的潜力，这杯potential radius（potentialRadius）参数控制。这个值将决定在整个HTM层中一个细胞柱影响的范围。一个小的潜在半径将保持一个细胞柱的接受域，然而一个非常大的potential radius将会让细胞柱覆盖整个输入空间。

5.1.4.2 Inhibition
全局抑制打开（globalInhibition =True），最活跃的细胞柱被从整个层中选取。否则胜者细胞柱被从其局部领域中选取。前面提供了一个显著提升性能的boost，这在实践中被我们频繁使用。全局抑制关闭时，细胞柱抑制只影响在局部领域。细胞柱领域是inhibition radius的函数（inhibitionRadius），一个内部动态被计算来度量SP算法，是一个连接着的所有细胞柱的接受域的平均尺寸的函数。细胞柱的接受域能部分被上面介绍的potential radius参数控制；它不能被明确设置，应为SP算法中细胞柱的接受域是动态的。
但是我们可以指定活跃细胞柱的密度，用localAreaDensity或numActiveColumnsPerInhArea。在抑制过程中，这些参数将用于计算在局部抑制区域内保留最大激活比特的细胞柱。使用前一个参数，你将指定一个密度，因此实际细胞柱的数目将随着细胞柱改变其接受域的尺寸而改变。使用后一个参数，密度随着接收域的变化而波动，但活跃细胞柱的最大数量保持不变。

5.1.4.3. 学习
学习率可以用突触permanence值的增量和减量来指定，通常前者比后者更大。

5.1.4.4. 细胞柱活跃性
虽然列可能在竞争中胜出，为了活跃其激活必须大于阈值（stimulusThreshold）。这里的目的是防止噪声激活细胞柱，这有助于SP避免琐碎模式。
Boosting可以有助于驱动细胞柱竞争激活。Boosting被用活跃性和overlap duty cycles来检测(activeDutyCycle(c)和overlapDutyCycle(c),分别地)。抑制后，如果一个细胞柱的active duty cycle低于相邻细胞柱的active duty cycles，则其内部boosting因子（boosting（c））将高于1。如果一个细胞柱的active duty cycle高于相邻细胞柱的active duty cycle，则其boosting因子将低于1，这有助于推动细胞柱之间的竞争，并实现使用SP所有细胞柱。在抑制前，如果细胞柱的overlap duty cycle低于最低可接受值（被动态计算作为minPctOverlapDutyCycle和邻居细胞柱overlap duty cycle的函数），那么它所有的permanence值使用Increment amount增加。一个低于平均的duty cycle意味着细胞柱先前学习的输入不再活跃，或它们中的绝大多数已被其他细胞柱“劫持”。通过提升所有突触permanences值来应对在inhibition前一个低于平均的duty cycle，我们允许一个细胞柱去搜索新输入。

5.1.5. 参数，数据结构，程序
下表总结了SP算法的数据结构、程序和参数，包括典型程序的推荐参数设置。

第6章 时序记忆
6.1 时序记忆算法细节
时序记忆算法做两件事：它学习从SP算法形成的SDRs序列，并且它做出预测。更具体地，TM算法：
1. 形成一个捕捉了前一个输入时序语境的稀疏输入的表达
2. 基于前一个输入时序语境和当前输入形成一个预测
我们将会具体地讨论这几个步骤，但是首先我们展示一些重要术语和概念。