|  客服中心  |  合作联系
搜刊网
学术热点
行业资讯
自动化所提出具有同层侧向激励和抑制的卷积脉冲神经网络模型
发布时间:2020-05-12 来源:自动化研究所 访问:

  如果有人朝你扔过来一个球,通常你会怎么办?——当然是马上把它接住。

  这个问题是不是很简单?但实际上,这一过程是最复杂的处理过程之一:首先,在复杂的背景环境下,球进入人的视野,被视网膜捕捉到后,经视觉通路发送到大脑处理视觉信息的脑区,进行更加彻底的图像分析。同时视皮层与其他脑区协作,判断物体的种类,预测它的行进轨迹,最终通过传出神经控制肌肉的运动,决定人的下一步行动:举起双手、接住球。上述过程只在零点几秒内发生,几乎完全是下意识的行为,也很少会出差错。

  为了让计算机模仿这一过程,首先需要让计算机做到像人类那样“看”,尤其是在嘈杂背景下像人类那样快速准确地“看”,成为近年来视觉感知这一研究领域备受关注的关键问题之一。

  近年来,基于梯度反向传播的脉冲神经网络(SNN)训练方法逐渐兴起。在这种训练方法下,SNN能够在保留神经元内部动力学的同时获得较好的性能。

  在此基础上,中国科学院自动化研究所听觉模型与认知计算团队模仿刻画视听觉系统神经元侧向作用的数学模型动态神经场,提出了具有侧向作用的SNN——LISNN,用于图像识别任务。并且在测试中,根据侧向作用的动力学特点,人为加入噪声以验证侧向作用对网络鲁棒性的提升。

  在生物神经系统的感受器中存在着临近神经元间的相互抑制和相互激励。其中,侧向抑制最初为解释马赫带效应而提出,即人们在明暗变化边界上常常会在亮处看到一条更亮的光带而在暗区看到一条更暗的线条(见图1)。这种侧向作用后来在鲎、猫等多种动物的不同感觉系统中被证实并应用在仿生的计算模型中。

  LISNN的结构如图2所示,前端是两层具有卷积感受野的脉冲神经元层,每层后面有一层平均池化层,后端是两层全连接的脉冲神经元层。具有卷积感受野的脉冲神经元在模型中承担特征提取的功能,类似于感受器的作用,因此只在这层结构中使用侧向作用。在侧向作用机制下,每个脉冲神经元的膜电位都额外受邻域内的其他神经元上一时刻状态的影响。在目前已有的使用侧向作用的计算模型中,侧向作用系数往往是固定的和神经元间距离相关的函数,而LISNN中的侧向作用系数则可以通过反向传播进行学习。

  该研究工作分别在静态数据集MNISTFashion MNIST、动态数据集N-MNIST上对LISNN的性能进行了验证。输入数据以特定方式编码为一定长度的脉冲序列,每个时刻的序列规模与原图像(或事件点坐标范围)相同。模型在MNISTN-MNIST数据集上均取得了和已有最好性能相近的结果;在Fashion-MNIST数据集上则取得了SNN中的最好性能。本模型与已发表模型的性能对比见图3-5

  除此之外,团队还选择在MNISTFashion MNIST的测试集中加入不同水平的高斯噪声和脉冲噪声,以进一步测试侧向作用对网络鲁棒性的提升。图6展示了部分原始图片和加噪后的图片。

  7中,灰线和蓝线分别代表LISNN和没有侧向作用的SNN在添加了高斯噪声的测试集上的准确率;黄线和橙线分别代表LISNN和没有侧向作用的SNN在添加了脉冲噪声的测试集上的准确率。在大部分情况下,LISNN的性能损失都小于没有侧向作用的SNN,尤其是在训练集中没有添加噪声数据的情况下。

  与传统的神经网络算法相比,所提算法能取得较好的性能并自然地实现对噪声干扰的抗性,具有一定理论研究价值和工程实用价值。

  论文信息:Xiang Cheng, Yunzhe Hao, Jiaming Xu, Bo Xu. LISNN: Improving Spiking Neural Networks with Lateral Interactions for Robust Object Recognition. IJCAI, 2020.

 src=http://www.cas.ac.cn/syky/./W020200511356759291297.png1 马赫带效应示意(图引wiki

 src=http://www.cas.ac.cn/syky/./W020200511356760394368.png2 LISNN模型结构示意图

 src=http://www.cas.ac.cn/syky/./W020200511356761653105.png3 静态图像数据集MNIST上,LISNN模型与已发表模型准确率对比

 src=http://www.cas.ac.cn/syky/./W020200511356762782731.png4 静态图像数据集Fashion MNIST上,LISNN模型与已发表模型准确率对比

 src=http://www.cas.ac.cn/syky/./W020200511356763624128.png5 动态图像数据集N-MNIST上,LISNN模型与已发表模型准确率对比

 src=http://www.cas.ac.cn/syky/./W020200511356764421794.png6 a)三行依次为原始MNIST测试集图片、加入高斯噪声后的图片、加入脉冲噪声后的图片;b)三行依次为原始Fashion MNIST测试集图片、加入高斯噪声后的图片、加入脉冲噪声后的图片

 src=http://www.cas.ac.cn/syky/./W020200511356765257385.png 7 a)模型在无噪声的MNIST训练集上训练;(b)模型在无噪声的Fashion MNIST训练集上训练;c)模型在有高斯噪声的MNIST训练集上训练;(d)模型在有高斯噪声的Fashion MNIST训练集上训练

相关文章
热门资讯
摘要:9月28日-29日,《两岸关系》杂志社社长任勉一行3人来漯河临颍就陈星聚杯太极拳比赛筹备工作情况进行调...
精品推荐
摘要:摘 要:健康的心理素质是健康人的必备素质。在学科教学中进行心理健康的教育,是心理健康教育的重要途径...
热门期刊
内蒙古气象内蒙古气象
《内蒙古气象》杂志,于1977年经国家新闻出版总署批准正式创刊,CN:15-1116/P,本刊在国内外有广泛的覆盖面,题材...
广西中医药广西中医药
《广西中医药》杂志,双月刊,于1977年经国家新闻出版总署批准正式创刊,由广西中医药大学主管,广西中医药大学;广...
高校招生高校招生
《高校招生》杂志,于1992年经国家新闻出版总署批准正式创刊,CN:51-1611/G4,本刊在国内外有广泛的覆盖面,题材新...
河南科技河南科技
《河南科技》杂志,于1985年经国家新闻出版总署批准正式创刊,CN:41-1081/T,本刊在国内外有广泛的覆盖面,题材新...
中国农村科技中国农村科技
《中国农村科技》杂志,于1994年经国家新闻出版总署批准正式创刊,CN:11-3491/N,本刊在国内外有广泛的覆盖面,题...
河北经贸大学学报(综合版)河北经贸大学学报(综合版)
《河北经贸大学学报(综合版)》是由河北经贸大学主办的自然科学和社会科学合刊的综合性学术理论刊物,创刊于200...

友情链接
中教杯 国家新闻出版总署 中国知网 万方数据 维普网 中国科学院 中国国家图书馆 央视英文版 中国留学网 中青网 中国国家人才网 中国经济网 中国日报网 中国新闻网 中国学术期刊网
关于我们
平台简介
诚聘英才
企业文化
竞争优势
版权信息
服务条款
客服承诺
常见问题
版权声明
合作加盟
期刊加盟
广告服务
联系我们
网站导航
期刊大全
论文下载
课题申报
学术会议
编辑QQ
编辑联络
2007-2023
中文学术期刊检索机构
bianjibu777@qq.com
联系我们

版权所有©2007- 2023 中国学术期刊网(qikanw.com) All Rights Reserved 京ICP备2021008252号
本站是学术论文网络平台,若期刊网有侵犯您的版权,请及时与期刊网客服取得联系,联系信箱: bianjibu777@qq.com    
中国学术期刊网