当机器人有了好奇心

好奇的机器人。照片来源:jpgfactory/iStockphot

在人工智能的一个转折点上，计算机科学家给机器编程，使其变得好奇——能够探索周围的环境，并为了学习而学习。这种新方法可以让机器人学得比现在更快。有一天，他们甚至可能在形成假说和推进已知科学方面超过人类科学家。

"培养好奇心是智力的核心问题。"乔治·科尼达里斯是美国布朗大学智能机器人实验室的计算机科学家，他说，“当你不确定你的机器人将来会做什么时，让它好奇会很有用。”

科学家已经为好奇心开发算法很多年了，但是复制人类的好奇心是一个困难的问题。例如，大多数方法不能评估智能机器人在看到某样东西之前预测它是否有趣的知识差距。(人类有时可以通过封面来判断一本书是否有趣。)

托德·海斯特是一名计算机科学家，目前在英国伦敦的谷歌深度思考公司工作，他希望做得更好。"我正在寻找方法让电脑变得更聪明，像人类一样探索."海丝特说，“不是去探索一切，不是随意探索，而是尝试做一些更聪明的事情。”

为此，海斯特和德克萨斯大学的计算机科学家皮特·斯通开发了一种新的算法，称为TEXPLORE-VENIR，它依赖于强化学习技术。在强化学习中，程序会尝试一些东西。如果一个动作让它离最终目标更远(比如迷宫的尽头)，它会得到一点点奖励，并且将来更有可能再次尝试这个操作。深度思考使用强化学习，通过随机实验让程序掌握雅达利和围棋游戏。然而，像其他奇怪的算法一样，TEXPLORE-VENIR也设定了一个内部目标。如果它理解了新的东西，它会奖励自己，即使知识并没有使它离最终目标更远。

随着TEXPLORE-VENIR继续学习和建立一个世界模型，它将奖励自己发现不同于它以前所见的信息。例如，在地图上找到遥远的地方，或者在烹饪程序上找到异国风味的食谱。"它们是完全不同类型的学习和探索."科尼达里斯说，“平衡它们真的很重要。我喜欢这篇文章的地方是它同时做两件事。”

海丝特和斯通在两种情况下测试了他们的方法。第一个是一个由四个房间组成的虚拟迷宫，它们由锁着的门连接起来。机器人(只是一个计算机程序)必须找到钥匙，捡起来，用它来开门。每次机器人经过一扇门，它都会得到10分，并有3000步来获得更高的分数。如果研究人员首先让机器人在TEXPLORE-VENIR的指导下摸索1000步，它将在3000步的测试阶段平均得到55分。如果机器人使用其他算法来培养对这种探索的好奇心，那么它在测试阶段的得分在0到35之间，除了一个叫做R-Max的算法。后者也可以给机器人55分左右。在不同的环境中，机器人必须同时探索和通过门。TEXPLORE-VENIR得了70分，R-Max得了35分，其他算法得了不到5分。研究人员在六月份的《人工智能》杂志上报道了这一结果。

后来，研究人员用固体机器人测试了他们的算法。这是一个叫挠的人形玩具。在三个独立的任务中，这个半米高的机器人需要敲敲钹，将粉色胶带举到眼睛前面，或者按下脚上的按钮来得分。在每个任务中，它有200个步骤要评分，但在此之前，它有400个步骤要探索。这可以随机完成，也可以使用TEXPLORE-VENIR完成。每种方法平均进行13次测试。与随机摸索相比，在用TEXPLORE-VENIR进行探索后，Nao在寻找粉色胶带方面做得更好，并且在13次测试中按了7次按钮。然而，经过随机探索，我没有按下它一次。通过对自己和周围环境进行半结构化实验，TEXPLORE-VENIR已经做好了完成指定任务的充分准备，就像婴儿在学会爬行之前会跳舞一样。

好奇的机器人在做家务、设计高效生产流程或寻求疾病治疗时会表现出灵活的行为。海丝特说，下一步将是利用深层神经网络更好地识别新的探索领域，深层神经网络是基于大脑结构的算法。顺便说一句，这可以推进海丝特的探索:“我们能制造像孩子一样学习的机器人吗？”(宗华编译)

阅读更多

科学网站上的相关报道