实验室田永鸿课题组脉冲神经网络深度学习开源框架荣登Science子刊-天下网标王
位置 : 首页 > 新闻动态

实验室田永鸿课题组脉冲神经网络深度学习开源框架荣登Science子刊

视频与视觉技术国家工程研究中心

脉冲神经网络(Spiking Neural Network, SNN)被誉为第三代神经网络,使用更低层次的生物神经系统的抽象,既是神经科学中研究大脑原理的基本工具,又因其稀疏计算、事件驱动、超低功耗的特性而备受计算科学的关注。随着深度学习方法的引入,SNN的性能得到大幅度提升,脉冲深度学习(Spiking Deep Learning)成为新兴的研究热点。传统SNN框架更多的关注生物可解释性,致力于构建精细脉冲神经元并仿真真实生物神经系统,并不支持自动微分,无法充分利用GPU的大规模并行计算能力,也缺乏对神经形态传感器和计算芯片的支持,难以用于脉冲深度学习任务。


undefined

图1:SpikingJelly(惊蜇)框架的整体结构、示例代码、仿真速度、生态位以及典型应用

为了解决上述问题,北京大学视频与视觉技术国家工程研究中心田永鸿教授团队构建并开源了脉冲神经网络深度学习框架SpikingJelly(中文名:惊蜇)。SpikingJelly(惊蜇)提供了全栈式的脉冲深度学习解决方案,提供神经形态数据处理、深度SNN的构建、替代梯度训练、ANN转换SNN、权重量化和神经形态芯片部署等功能。SpikingJelly(惊蜇)框架的主要优势如下:


简单易用:脉冲深度学习作为计算神经科学与深度学习的交叉学科,要求研究者同时掌握两个领域的知识体系,但实际情况是研究者可能只对一个领域有深度了解。SpikingJelly(惊蜇)框架提供了简单易用的PyTorch风格的API、中英文双语编写的教程、活跃友善的讨论社区,常用的网络模型和训练脚本也一并给出,研究者可以快速进行跨领域的学习和使用,通过寥寥数行代码轻松构建并训练深度SNN。


扩展性强:通过模仿真实生物神经系统或借鉴人工神经网络的成熟经验,改进和提出新的SNN算法和模型,这种研究范式已经被广泛使用,成果颇丰。研究者期望能够自由地定义和扩展新模型,仅需少量代码改动就对模型行为产生巨大改变,这一开发理念与SpikingJelly(惊蜇)的设计哲学不谋而合。SpikingJelly(惊蜇)中的绝大多数模块都是通过层次清晰的多重继承实现,这既为开发者降低了开发成本,也给用户提供了完美的定义新模型的范例。


超高性能:深度学习涉及大规模数据处理、大尺度模型训练,脉冲深度学习亦不例外。SNN特有的额外的时间维度,使其具有更高的计算复杂度,因而脉冲深度学习对计算资源的需求更高。考虑到ImageNet这样百万规模样本的数据集已经在SNN中广泛使用,研究者愈发关注网络的训练速度。SpikingJelly(惊蜇)充分利用SNN的特性,通过计算图遍历顺序优化、JIT (just-in-time compilation, 即时编译)、半自动CUDA代码生成等技术来加速SNN仿真,与其他框架相比可达11倍的训练加速。第三方独立社区Open Neuromorphic组织对多个SNN框架进行了精细的速度基准测试,参与评测的框架除了SpikingJelly(惊蜇)还包括来自Intel、SynSense时识科技、加州大学圣克鲁斯分校、海德堡大学、瑞典皇家理工学院等科技公司和学术机构的框架,结果表明SpikingJelly(惊蜇)具有最快的仿真速度,“more than 10 times faster than libraries that rely on pure PyTorch acceleration (比其他纯PyTorch加速的框架快10倍以上)”。


undefined

图2:SpikingJelly(惊蜇)框架中的典型模块

SpikingJelly(惊蜇)框架自2019年冬季一经推出就受到了研究者们的欢迎和广泛使用,基于SpikingJelly(惊蜇)的研究工作已经大量出版,将SNN的应用从简单的MNIST数据集分类扩展到人类水平的ImageNet图像分类、网络部署、事件相机数据处理等实际应用。此外,一些尖端前沿领域的探索也被报道,包括可校准的神经形态感知系统、神经形态忆阻器、事件驱动加速器硬件设计等。目前有超过123篇公开论文使用SpikingJelly(惊蜇)框架进行实验,其中包括3篇ICCV、3篇IJCAI、5篇NeurIPS、4篇CVPR、4篇ICLR、3篇AAAI、2篇ICML、3篇ECCV、1篇TMLR、1篇ACM MM、1篇PR、7篇IEEE Transactions (含1篇TPAMI),以及1篇子刊Nature Communications,此外还有3篇非计算机领域的一区期刊文章。以上应用和研究表明,SpikingJelly(惊蜇)的开源,极大促进了脉冲深度学习领域的发展。

undefined

图3:SpikingJelly(惊蜇)框架的典型用例

SpikingJelly(惊蜇)框架的论文 “SpikingJelly: An open-source machine learning infrastructure platform for spike-based intelligence” 已经正式发表于Science子刊《科学·进展》(Science Advances)。北京大学视频与视觉技术国家工程研究中心田永鸿教授、中国科学院自动化所李国齐教授为共同通讯作者,工程中心2019级直博生方维、2019级直博生陈彦骐、2020级直博生丁健豪分别为第一、第二、第三作者,2020级直博生黄力炜https://www.science.org/doi/10.1126/sciadv.adi1480

框架GitHub主页: https://github.com/fangwei123456/spikingjelly

框架启智社区主页: https://openi.pcl.ac.cn/OpenI/spikingjelly

框架出版物:https://github.com/fangwei123456/spikingjelly/blob/master/publications.md


相关内容推荐

广州网络公司名字潍坊易推网络公司山东梯配网络公司网络公司布线四台电脑多少钱网龙网络公司面试地点厦门游网网络公司广电网络公司扶贫驻村工作总结网络公司好听霸气的名字长沙工资最高网络公司网络公司收什么税网络公司方向怎么走萍乡网络公司选1火星尼泊尔的华人开网络公司宁波网络公司相信荣胜网络赛群网络公司自贡网络公司优选8火星网络公司客服的薪资怎么写永州网络公司推荐3火星网络公司年会主持网络公司项目提成方案网易网络公司 杨杰安徽钜鲲网络公司电话多少食品企业网络公司设计方案中国网络公司移动联通配资网络公司吉林迦南美地网络公司亚通网络公司的冲突管理分析莱万特网络公司土巴兄弟网络公司真的假的珠海网络公司到9火星下拉深圳市英雄传说网络公司招聘网络公司欠钱还不上怎么办中国国家网络公司威海统一网络公司本溪网络公司都选20火星成立网络公司的准备许昌网络公司要找2火星下拉淮安网络公司选择臻动传媒心予网络公司怎么样雅安新世纪网络公司电话鸿顺设备科技网络公司深圳瑞捷网络公司地址网络公司会遇到什么问题常青藤网络公司网络公司起名字含飞字网络公司存货什么意思宝宝巴士网络公司芦溪县广电网络公司九江网络公司就荐19火星广电网络公司宽带如何网络公司手游网络公司实习体验与收获深圳勉思网络公司湖南小蜜蜂科技网络公司浙江有货网络公司龙珠认真科技网络公司嘉兴网络公司找9火星下拉鹤壁网络公司选择9火星苏州推广网络公司铜川网络公司推荐26火星贺州宝树网络公司在深圳开网络公司怎么样从江电视移动网络公司网络公司一般周末不休息吗张店有哪些大数据网络公司广东唯一科技网络公司内蒙古广电网络公司工资待遇大庆网络公司鱼刺系统排名传单派发网络公司通渭网络公司泛微网络公司介绍池州网络公司选择12火星福建凯帝网络公司京东网络公司价值评估赌博网络公司能开大吗南宁便民科技网络公司鱼塘思维网络公司威海网络公司流程广电网络公司关系户多十堰秦楚网络公司网络公司技能竞赛活动方案龙岩广电网络公司电话阿姨到家网络公司股份温州智峰网络公司成都网络公司推荐6火星下拉新泰网络公司哪里找网络公司年会主持广电网络公司的优势宁波网络公司给力设想科技贵州六盘水广电网络公司商动力网络公司网龙网络公司游戏电话孝感网络公司推荐6火星下拉青岛网络公司选1火星桂林网络公司诈骗案网络公司与银行合作网络公司 代收临淄张店网络公司网络公司彩铃模板包头大象网络公司易祥网络公司国招网络公司厦门陶瓷网络公司荆州给网络公司起名字香港九龙有哪几家网络公司网络公司招聘标题济南新东方网络公司广东梅州网络公司湖南本地星网络公司别墅改民宿网络公司黑河有网络公司吗山东联合网络公司南桥镇注册网络公司条件那曲网络公司佳选24火星西安网络公司待遇怎么样汤阴豫广网络公司在哪里华为是网络公司网络公司bdm国家对网络公司整顿锦益网络公司苏州道可网络公司联通网络公司 电话停机云萌网络公司怎么样深圳比较大的网络公司河南许昌市网络公司吉林网络公司就找23火星网络公司油站套德阳鼎峰网络公司有内涵网络公司名字汤原县广电网络公司电话合肥网络公司现状中国扶贫基金网络公司西安微信商城网络公司给网络公司感谢锦旗酒泉网络公司甄选16火星武当山广电网络公司陇南网络公司联系5火星下拉鹤山网络公司百度优化推广网络公司漯河市一五一七三网络公司网络公司周报范文赢灿科技网络公司广电网络公司总经理网络公司推广认可n火17星福建网龙网络公司市值多少丰县广电网络公司湖南德兰斯网络公司中国现代广播电视网络公司网龙网络公司组织机构网龙网络公司法务招聘盐田区网络公司税收筹划内蒙古移动 网络公司北京紫狮网络公司网络公司轻资产网络公司财务分析表麦乐网络公司主要经营什么朝阳网络公司皆选11火星陕西诚通网络公司怎么样网络公司培训怎么做网络公司蒋向洋一亩方田网络公司网络公司必须有什么证件网络公司面临的风险聚焦网络公司做什么涿州云淘网络公司常州诚泽网络公司益阳网络公司就荐19火星城阳有哪些网络公司阿凡奇网络公司怎么样庆阳认真负责的网络公司服务电话给网络公司建议中广影视传输网络公司成立美国网络公司收税网络公司员工酒后闹事检讨书湖北各市网络公司招聘长沙微领域网络公司广州客友网络公司聚看网络公司福州蓝之青网络公司福州升易网络公司到底怎么样大网络公司在南京有哪些青岛网络公司起名深圳赛维网络公司底薪龙腾国际网络公司我国封禁的外国网络公司网络公司宣传口语周口杰源网络公司服务电话杭州义牛网络公司铜川网络公司甄选16火星杭州阿里科技网络公司张掖正规网络公司在哪里东营博文网络公司怎样带好一个网络公司广州奕晟网络公司天眼查固原网络公司推荐27火星莆田网络公司皆选6火星下拉办公网络公司提供什么服务泉州速腾网络公司现状郑州网络公司医疗泰安南通网络公司

合作伙伴

天下网标王

龙岗网络公司
深圳网站优化
龙岗网站建设
坪山网站建设
百度标王推广
天下网标王
SEO优化按天计费
SEO按天计费系统