类人通用智能算法获新进展
人脑被认为是高智能的典范。人们不仅可以在新环境中不断吸收新知识,还可以根据环境灵活调整自己的行为。与人脑相比,传统的深层神经网络(DNN)既不能连续学习,也不具备情境学习的能力。最近,中国科学院自动化研究所脑网络组研究中心和模式识别国家重点实验室玉山研究组在克服上述两个核心问题方面取得了重要进展。相关结果发表在8月9日的《自然-机器智能》在线版上。
一方面,传统的DNN受到“灾难性遗忘”问题的困扰,使得在学习新知识的同时很难保留旧知识,即缺乏不断学习的能力。另一方面,DNN只能实现预先训练和固定的操作,不能灵活地响应态势信息(如自身状态、环境变化、任务变化等)。)存在于实际环境中。DNN很难满足复杂多变的需求,也就是说,它缺乏情境依赖学习的能力。这两种能力的缺乏是制约DNN发展高层次智能的一个重要瓶颈,如类人的普遍智能。
在《神经网络中上下文相关处理的连续学习》一文中,曾冠雄大师和博士后陈阳提出了正交权重修正(OWM)算法和上下文相关处理(CDP)模块。两者的结合使得人工神经网络具有连续学习和上下文相关学习的能力,有效地解决了“灾难性遗忘”等难题。
据介绍,OWM算法能有效克服神经网络中的“灾难性遗忘”,实现连续学习。受前额叶皮层启发的CDP模块能够有效整合情境信息,调节神经网络的信息处理过程。二者的有效结合可以使人工神经网络具有很强的连续学习和情境依赖学习能力,并大大提高其灵活性和适应性。
图灵奖获得者艾伦·纽厄尔和诺贝尔奖获得者司马贺曾共同写过一篇文章,将智力定义为“适应环境变化并实现自身目标”的能力;DeepMind的联合创始人之一谢恩·莱格(Shane Legg)曾总结了几十种智力定义,并提出衡量智力的通用标准应该是“在不同环境中实现特定目标的能力”。可以看出,个体对复杂多变环境的高度适应性是智力的重要标志。
值得一提的是,2018年10月,由曾冠雄、研究生崔波、陈阳组成的于山团队凭借“基于情境信号的连续多任务学习”的工作,在国内外84所高校和科研院所的近300支参赛队伍中脱颖而出,荣获2018年国际大学生脑类计算大赛最高奖“创新大奖赛”,奖金30万元。
(左起:余山、曾冠雄、陈阳)
推荐阅读