互联网大数据状况

近年来，随着互联网、物联网、云计算、三网融合等IT与通信技术的迅猛发展，数据的快速增长成了许多行业共同面对的严峻挑战和宝贵机遇，因而信息社会已经进入了大数据(Big Data)时代。大数据的涌现不仅改变着人们的生活与工作方式、企业的运作模式，甚至还引起科学研究模式的根本性改变。

一般意义上,大数据是指无法在一定时间内用常规机器和软硬件工具对其进行感知﹑获取﹑管理、处理和服务的数据集合[1。网络大数据是指“人、机、物”三元世界在网络空间(Cyberspace)中彼此交互与融合所产生并在互联网上可获得的大数据，简称网络数据。

当前，网络大数据在规模与复杂度上的快速增长对现有IT架构的处理和计算能力提出了挑战。据著名咨询公司IDC发布的研究报告，2011年网络大数据总量为1.8ZB,预计到2020年，总量将达到35ZB。

IBM将大数据的特点总结为3个V,即大量化(Volume)、多样化(Variety)和快速化(Velocity)。首先,网络空间中数据的体量不断扩大,数据集合的规模已经从GB、TB到了PB,而网络大数据甚至以EB和 ZB(1021)等单位来计数。IDC的研究报告称，未来十年全球大数据将增加50倍,管理数据仓库的服务器的数量将增加10倍以迎合50倍的大数据增长。其次,网络大数据类型繁多,包括结构化数据、半结构化数据和非结构化数据。在现代互联网应用中,呈现出非结构化数据大幅增长的特点,至2012年末非结构化数据占有比例达到互联网整个数据量的75%以上。这些非结构化数据的产生往往伴随着社交网络、移动计算和传感器等新技术的不断涌现和应用。再次,网络大数据往往呈现出突发涌现等非线性状态演变现象,因此难以对其变化进行有效评估和预测。另一方面,网络大数据常常以数据流的形式动态﹑快速地产生,具有很强的时效性,用户只有把握好对数据流的掌控才能充分利用这些数据。

近几年,网络大数据越来越显示出巨大的影响作用﹐正在改变着人们的工作与生活。2012年11月《时代》杂志撰文指出奥巴马总统连任成功背后的秘密,其中的关键是对过去两年来相关网络数据的搜集﹑分析和挖掘。目前, eBay的分析平台每天处理的数据量高达 100 PB,超过了纳斯达克交易所每天的数据处理量。为了准确分析用户的购物行为, eBay定义了超过500种类型的数据,对顾客的行为进行跟踪分析3。2012年的双十一中国互联网再次发生了最大规模的商业活动:淘宝系网站的销售总额达到191亿元人民币。淘宝之所以能应对如此巨大的交易量和超高并发性的分析需求,得益于其对往年的情况﹐特别是用户的消费习惯﹑搜索习惯以及浏览习惯等数据所进行的综合分析。

网络大数据给学术界也同样带来了巨大的挑战和机遇。网络数据科学与技术作为信息科学、社会科学、网络科学和系统科学等相关领域交叉的新兴学科方向正逐步成为学术研究的新热点。近年，《Nature》和《Science》等刊物相继出版专刊来探讨对大数据的研究。2008年《Nature》出版的专刊“BigData”,从互联网技术、网络经济学﹑超级计算、环境科学和生物医药等多个方面介绍了海量数据带来的挑战[2]。2011年《Science》推出关于数据处理的专刊“Dealing with Data”,讨论了数据洪流(Data Deluge)所带来的机遇[3]。特别指出﹐倘若能够更有效地组织和使用这些数据﹐人们将得到更多的机会发挥科学技术对社会发展的巨大推动作用。