东北大学破解大数据分析难题

记者刘墉、毕玉才日前在东北大学了解到，该校王国仁教授牵头的“海量异构数据集成管理与分析技术及应用”项目成功破解了大数据集成质量、管理效率和分析可扩展性等关键问题。异构大数据的集成、管理和分析将在我国“数字水资源”、“数字医疗”和“数字国土资源”领域的海量异构数据的集成管理和分析中发挥不可替代的重要作用。

据报道，大数据处理过程中的海量数据已经远远超出了人们掌握和理解数据的能力。特别是，由于缺乏统一的格式和规范，异构数据很难在不同的部门和软件系统中流动和共享。为了应对这些困难，王国仁带领研究团队解决了一些关键问题。从模式匹配、数据清洗、数据管理和数据分析等关键技术出发，成功设计了一套基于人机交互的数据集成系统。与目前世界上最先进的数据清理系统相比，系统的数据集成质量提高了10%以上，集成方法的可用性居世界领先水平，数据管理效率比世界上常用的系统提高了50%以上，面向大数据的分布式极限学习机数据分析技术在世界上首次提出。系统的平台可扩展性、数据可扩展性、隐含层节点可扩展性和数据标注可扩展性提高了20倍。