回复：Jeff hawkins的Numenta的研究成果BAM

第3章 稀疏表征
在这一章中我们介绍了稀疏表征（SDRs），在大脑和HTM系统中的信息表达的基本形式。我们谈论一些有用的SDR的数学性质，然后讨论SDR是如何被大脑使用的。

3.1 什么是一个稀疏表征?
人工智能最有趣的挑战之一是知识表示的问题。用计算机传统的计算机科学方法来表示日常的事实和关系是困难的。基本的问题是，我们对世界的认识不分为离散的事实与明确的关系。我们所知道的几乎所有的东西都有例外，概念之间的关系太多，定义不清，无法映射到传统的计算机数据结构上。

大脑没有这个问题。他们表达信息使用的方法称为稀疏表征(SDRs)。SDRs及其数学性质对生物智能来说是必不可少的。大脑所做的和每一个原理在这本书中描述了的都基于SDR。SDRs是大脑的语言。人类智力的灵活性和创造性离不开这种表征方法。因此，如果我们想要的智能机器是拥有同样的灵活性和创造性，他们需要的是基于相同的表征方法，SDRs。

一个SDR由几千个比特组成，在任何时刻，一个小部分的比特是置为1的，其余的是置为0的。在SDR中的比特对应于大脑中的神经元，一个1是相对活跃的神经元，而一个0是一个相对不活跃的神经元。SDRs的最重要的属性是，每一位都有意义。因此，在任何特殊表征激活位的集合编码了被表达的语义属性的集合。没有位是被标记的（也就是说，没有人指定每个比特的含义），而是，比特语义意义是通过学习来的。如果两个SDRs在同一地点有激活比特位，他们拥有相同的那些位表示的语义属性。通过确定两SDRs的重叠（两个SDR的等效比特位都被置为1）马上就可以看到两个稀疏表征的语义是否相似或语义上不同。由于这种语义重叠性，基于SDRs的系统基于语义相似能自动泛化。

HTM理论定义了如何创建、存储和召回的SDR和SDR的序列。它不像计算机里的数据是围绕着内存移动。相反，一组活跃的神经元，在一个固定的神经元群，随着时间的推移而变化。某一瞬间一组神经元代表一件事，下一刻它代表另一件事。在一组神经元，一个在某一时间点的SDR可以关联链接到下一个出现的SDR。以这种方式，SDR序列被学习。在不同的细胞群体之间（层到层或区域到区域）也发生关联连接。在一个区域的神经元编码的含义不同于另一区域中的神经元编码的含义。这样，一个模态的SDR，如声音，可以关联的以另一种方式调用一个SDR，如视觉。

任何类型的概念都可以在SDR中编码，包括不同类型的感官数据、单词、位置和行为。这就是为什么新皮层是一个通用的学习机。大脑皮层的各个区域使用的SDR而不“知道”SDR所代表的现实世界。HTM系统的工作方式相同。只要输入是适当的SDR格式，HTM算法将工作。在HTM为基础的系统中，知识是固有于数据中的，而不是在算法中。

为了更好地理解SDR性能可以考虑信息是怎么典型地被计算机表达的和SDR与计算机使用的表示方法的优缺点。在计算机中，我们用字节和字表示信息。例如，为了表示医学病人的信息，计算机程序可以用一个字节存储病人的年龄和另一个字节来存储病人的性别。数据结构，如列表和树被用来组织相关的信息片段。这种类型的表示工作良好当我们需要代表的信息是被很好的定义了的。然而，人工智能研究人员发现，为了使计算机智能化，它需要知道大量的知识，其结构没有得到很好的定义。

例如，如果我们想让我们的智能计算机了解汽车呢？想想所有你知道的关于汽车的事情。你知道它们做什么，如何驾驶它们，如何进入和离开它们，如何清洁它们，它们可以损坏的方式，不同的控制做了什么，在引擎盖下将发现什么，如何改变轮胎等。我们知道汽车的形状和他们的声音。如果你只是考虑轮胎，你可能会想起不同类型的轮胎，不同品牌的轮胎，他们如何不均匀磨损，最好的方式来旋转它们，等等。

每一块知识都会在不断扩大的社团网络中带来其他知识。例如，汽车有门，但其他物体也有门，如房屋，飞机，邮箱和电梯。我们凭直觉知道这些门有什么相似和不同之处，我们可以根据以前的经验来预测我们从未见过的新门类型。我们（大脑）很容易通过联想来回忆大量的事实和关系。但是，当AI科学家试图将这种类型的知识编码成计算机时，他们发现很难。

在计算机中，信息用8，32，或64位的字来表示。每个1和0被组合着来使用，从所有的1到所有0，这有时被称为“密集”表示。稠密表示的一个例子是字母表的ASCII码。在ASCII中，字母“M”表示为：
01101101

请注意，这是所有八位数字的组合编码了“M”，在特定位上的比特单独并不表示任何事情。你不能说第三位是什么意思，所有的八位的组合是必需的。注意密集表示是脆弱的。例如，如果您在ASCII码中将M仅更改一位为：

你得到一个完全不同的字母，“E”的代表。一个错误的位和完全改变的语义。

没有什么关于01101101告诉你它代表什么或它有什么属性。它是一种纯粹的抽象和抽象的表达。稠密表示的意义必须存储在其他地方。

相反，正如前面提到的，它有上千位。在每个时刻，一小部分的比特是1，其余的是0，一个SDR可能有2000位其中2%（或40位）是1，其余是0，如图1所示。