网页
资讯
视频
图片
知道
文库
贴吧
地图
采购
进入贴吧
全吧搜索
吧内搜索
搜贴
搜人
进吧
搜标签
日
一
二
三
四
五
六
签到排名:今日本吧第
个签到,
本吧因你更精彩,明天继续来努力!
本吧签到人数:0
一键签到
成为超级会员,使用一键签到
一键签到
本月漏签
0
次!
0
成为超级会员,赠送8张补签卡
如何使用?
点击日历上漏签日期,即可进行
补签
。
连续签到:
天 累计签到:
天
0
超级会员单次开通12个月以上,赠送连续签到卡3张
使用连续签到卡
04月27日
漏签
0
天
人工智能吧
关注:
114,023
贴子:
505,303
看贴
图片
吧主推荐
视频
游戏
首页
上一页
4
5
6
7
8
9
10
11
12
13
下一页
尾页
268
回复贴,共
18
页
,跳到
页
确定
<<返回人工智能吧
>0< 加载中...
回复:Jeff hawkins的Numenta的研究成果BAM
取消只看楼主
收藏
回复
水瓶座Karl
自动驾驶
6
该楼层疑似违规已被系统折叠
隐藏此楼
查看此楼
并集特性有多可靠?并集特性没有漏匹配的风险,如果给定的向量是在集合中的,它的位的重叠将是完美的,且与其他模式无关。然而,并联属性增加错匹配的可能性。随着向量的数目M,增加到足够大,并集将饱和地充满激活着的比特,几乎任何其他随机向量将导致一个错误匹配。理解这种关系是很重要的,这样我们才能保持在并集属性的可行限制集中。
水瓶座Karl
自动驾驶
6
该楼层疑似违规已被系统折叠
隐藏此楼
查看此楼
水瓶座Karl
自动驾驶
6
该楼层疑似违规已被系统折叠
隐藏此楼
查看此楼
上述推导允许我们,在一定的条件下,我们可以存储SDRs作为并集而不用担心误匹配。例如,考虑SDR参数n=1024和w=2.存一个M=20的向量集,误配率是1/680.然而,如果增加w到20,错配率将急剧下降到1/5500000000.这是并属性的一个卓越的特性。事实上,如果增加M到40,错配率依旧优于1/100000.
水瓶座Karl
自动驾驶
6
该楼层疑似违规已被系统折叠
隐藏此楼
查看此楼
得到一个对并属性的感性认识.并向量的激活比特数的期望值是.这比线性增长慢,这被114楼最后一个公式所表示;额外的并集或运算对并向量贡献的激活比特越来越少。考虑一个例子,M=80,20%为非激活比特。我们考虑一个额外的向量,其拥有40个激活比特,它至少有一个激活比特处于那20%空间的概率是不小的,因此不会错配。这就是说,仅仅那些所有激活比特都在其余80%位的向量才会是误匹配。当我们增加n和w,可以或运算的模式数量可靠地大量地增加。如图8所示,如果n和w足够大,即使M增加,错配率依旧可行地小。
水瓶座Karl
自动驾驶
6
该楼层疑似违规已被系统折叠
隐藏此楼
查看此楼
水瓶座Karl
自动驾驶
6
该楼层疑似违规已被系统折叠
隐藏此楼
查看此楼
水瓶座Karl
自动驾驶
6
该楼层疑似违规已被系统折叠
隐藏此楼
查看此楼
水瓶座Karl
自动驾驶
6
该楼层疑似违规已被系统折叠
隐藏此楼
查看此楼
正如你想到的,错误率会随着阈值降低而升高。但这可以通过权衡增大n来缓解这个后果。假设n=1024和w=20.当存一个M=20的并向量时,完美匹配的错配率是1/5e9.如果阈值变为19则错配率成了1/1.23e8.当阈值为18时,错配率升到1/4e6.然而,如果增加n到2048,即使是18的阈值,错配率将显著减小到1/2.23e11.这个例子展示了并属性的抗噪性,也展示了我们更大主体的:一个SDR数量的线性改变能超指数性地改善错误率。
水瓶座Karl
自动驾驶
6
该楼层疑似违规已被系统折叠
隐藏此楼
查看此楼
3.2.9 计算效率
尽管SDR向量非常大,但我们讨论的所有的运算的时间复杂度只随着激活比特数线性增加。这就是说,运算是独立在激活比特位的,w,而不是向量的尺寸,n.对于一个HTM系统这很重要,因为实际上w远小于n.更进一步讲,向量是二值的,这允许运算能在大多数CPU上飞快的进行。如果用更标准的距离衡量,那些典型的O(n)复杂度涉及浮点运算的操作则不会这样。
水瓶座Karl
自动驾驶
6
该楼层疑似违规已被系统折叠
隐藏此楼
查看此楼
接下来的部分,我们将讨论人脑是如何利用SDRs的数学特性的,还有这是怎么被表现在HTM系统中的。
水瓶座Karl
自动驾驶
6
该楼层疑似违规已被系统折叠
隐藏此楼
查看此楼
3.3 稀疏表征在大脑和在分层时序记忆系统
稀疏表征及其数学原理如何与大脑中的信息存储和检索有关?在这一节中我们将列出一些SDRs的方法,其被应用在大脑和HTM理论相应的部分。
水瓶座Karl
自动驾驶
6
该楼层疑似违规已被系统折叠
隐藏此楼
查看此楼
3.3.1 神经细胞的激活是稀疏的
如果你观察大脑皮层的神经元群,他们的活动将是稀疏的,其中一个低百分比的神经元是高度活跃的(尖峰),剩余的神经元处于非活跃状态或尖峰形成非常缓慢。SDRs代表一组神经元的活动,1和0分别代表活跃和相对不活跃的神经元。HTM系统的所有功能都是基于神经元和SDR之间的这种基本的对照。
水瓶座Karl
自动驾驶
6
该楼层疑似违规已被系统折叠
隐藏此楼
查看此楼
生物神经元的活性比简单的1或0更复杂。神经元发出尖峰,这在某种意义上是一个二进制输出,但不同类型的神经元和不同的条件下的尖峰的频率和模式有很大的不同。关于如何解释神经元的输出有不同的观点。一个极端的论点是,每个单独的尖峰事件的时间是有影响的;内尖峰时间编码着信息。其他理论家认为神经元的输出作为一个标量值,对应于尖峰形成的速度。然而,这已被证明,有时新皮层可以非常迅速地执行显著的任务以至于所涉及的神经元没有足够的时间来产生即使一个尖峰。在这些任务中,内尖峰时间和尖峰速率不能编码信息。有时,神经元开始以一种快速接力的方式形成两到四个迷你燃烧尖峰,在它进入以稳定速率形成尖峰之前。这些微小的燃烧可以在突触后细胞中产生持久的效应,后突触细胞即接受这种输入的细胞。
水瓶座Karl
自动驾驶
6
该楼层疑似违规已被系统折叠
隐藏此楼
查看此楼
HTM理论表明细胞可以是这么些状态:
-活跃的(产生尖峰的)
-不活跃的(不产生尖峰的或者非常缓慢的产生尖峰的)
-预测的(不产生尖峰的但是去极化的)
-在预测的状态之后活跃的(一个迷你燃烧紧随着尖峰的产生)
水瓶座Karl
自动驾驶
6
该楼层疑似违规已被系统折叠
隐藏此楼
查看此楼
这些HTM神经元的状态不同于其他神经网络模型,这值得一些解释。首先,公认是一些生物神经元以不同速率产生尖峰,这些速率取决于它们的输入有多匹配于他们理想的“接受域”。然而,单个神经元对网络的性能从来都不是必不可少的;活跃细胞的数量是最重要的,任何单个神经元都可以停止工作,这对网络的影响很小。因此,产生尖峰速率这个变量是不必要的,对于新皮层的功能来说,因此它是一个我们选择在HTM模型忽略的属性。我们可以通过在SDR中使用更多比特来弥补变量编码的不足。所有迄今为止创建的HTM实现都工作得很好,即使没有编码速率变量。避免编码速率变量的第二个原因是二进制单元状态使得软件和硬件实现更加简单。HTM系统几乎不需要浮点运算,这在任何速率编码系统中都是必需的。硬件实现HTM将是非常简单的,它不需要浮点数学。有可编程计算机的类比。当人们第一次开始建造可编程计算机时,一些设计者提倡用十进制逻辑。二进制逻辑胜出,因为它是能更简单地被造出来。
登录百度账号
扫二维码下载贴吧客户端
下载贴吧APP
看高清直播、视频!
贴吧页面意见反馈
违规贴吧举报反馈通道
贴吧违规信息处理公示