现在我们经常会听到这样一句话，其实我们本身就生活在一个庞大的数据库中，庞大的数据资源使得各个领域开始了量化进程，无论学术界、商界还是政府，所有领域都开始进行一场思维上的变革。”那么什么是大数据时代？同时也让许多人百思不得其解，即使生活其中，也是云里雾里。
       最早提出“大数据”时代到来的是全球知名咨询公司麦肯锡，麦肯锡称：“数据，已经渗透到当今每一个行业和业务职能领域，成为重要的生产因素。人们对于海量数据的挖掘和运用，预示着新一波生产率增长和消费者盈余浪潮的到来。” “大数据”在物理学、生物学、环境生态学等领域以及军事、金融、通讯等行业存在已有时日，却因为近年来互联网和信息行业的发展而引起人们关注。[2] 大数据作为云计算、物联网之后IT行业又一大颠覆性的技术革命。云计算主要为数据资产提供了保管、访问的场所和渠道，而数据才是真正有价值的资产。企业内部的经营交易信息、互联网世界中的商品物流信息，互联网世界中的人与人交互信息、位置信息等，其数量将远远超越现有企业IT架构和基础设施的承载能力，实时性要求也将大大超越现有的计算能力。如何盘活这些数据资产，使其为国家治理、企业决策乃至个人生活服务，是大数据的核心议题，也是云计算内在的灵魂和必然的升级方向。
        大数据的主要成因
        第一，人类保持数据的能力增强 
        1965年，英特尔的创始人之一戈登·摩尔提出了著名的摩尔定律。该定律认为，同一面积集成电路上可容纳的晶体管数量，一到两年将增加一倍。回顾半个多世纪的历史，硬件技术的发展基本符合摩尔定律。以物理存储器为例，其性能不断上升，与此同时，价格不断下降。1955年，IBM推出第一款商用硬盘存储器，一兆字节的存储量需要6000多美元。到2010年，一兆字节的存储量仅仅需要0.005美分。半个多世纪，存储器的价格下降了1亿倍！
       预计2020年，1太硬盘的价格将下降到3美元，相当于一杯咖啡的价格。一所普通大学的图书馆，其馆藏量大约就一两个太。也就是说，到2020年，只需要花上一杯咖啡的钱，就可以把一个图书馆的全部信息拷进一个小小的硬盘。正是因为存储器的价格在半个世纪之内经历了空前绝后的下降，人类才可能以非常低廉的成本保存海量的数据，这为大数据时代的到来铺平了硬件道路，打下了坚实的物质基础。
       第二，人类生产数据的能力增强 
       从2004年起，以脸谱网（Face book）、推特（Twitter）为代表的社交媒体相继问世，拉开了互联网的崭新时代—2.0时代。社交媒体的问世，带来以下三大变化：
        一是社交媒体把交流和协同的功能推到了一个登峰造极的高度。在此之前，互联网的主要作用是信息的传播和分享，其最主要的组织形式是建立网站，但网站是静态的。进入Web2.0时代之后，互联网开始成为人们实时互动、交流协同的载体。2011年8月23日，美国弗吉尼亚州发生5.9级地震，纽约市居民首先在推特上看到这个消息，几秒钟之后，人们才感觉到地震波从震中传过来的震感。社交媒体把人类信息传播的速度，带到了比地震波还快的时代！
       二是社交媒体推动数据总量骤然增加。由于社交媒体的横空出世，人类自己开始在互联网上生产数据，例如发推特、微博和微信，记录各自的活动和行为，全世界的网民都是数据的生产者，每个网民都犹如一个信息系统、一个传感器，不断地制造数据，这引发了人类历史上迄今为止最庞大的数据爆炸。2012年，乔治敦大学的教授李塔鲁考察了推特上产生的数据量，他做出估算说，过去50年，《纽约时报》总共产生了30亿个单词的信息量，现在仅仅一天，推特上就产生了80亿个单词的信息量。也就是说，如今一天产生的数据总量相当于《纽约时报》100多年产生的数据总量。
        数据量的增长到现在，已经不是以我们所熟知的多少G和多少T来描述了，而是以P（1千T），E（1百万T）或Z（10亿T）为计量单位。百度对此给予了更形象的描述。仅其新首页导航每天就要从超过1．5PB的数据中进行挖掘，这些数据如果打印出来将超过5千亿张A4纸，摞起来会超过4万公里高，接近地球同步卫星轨道长度，平铺可以铺满海南岛。而2020年新增的数字信息将是2009年的近45倍。如今，只需要两天就能创造出自文明诞生以来到2003年所产生的数据总量。
        三是社交媒体使人类的数据世界更为复杂。数据包含两类数据：结构化数据和非结构化数据。在大家发的微博中，你的带图片、他的带视频，大小、结构完全不一样。因为没有严整的结构，在社交媒体上产生的数据，也被称为非结构化数据。目前全世界的数据大约75%都是非结构化数据。这部分数据的处理，远比结构严整的数据困难。
        第三，人类使用数据的能力增强 
       大数据之大，不仅在于其大容量，更在于其大价值。最根本的原因，是人类使用数据的能力取得了重大突破和进展。
       这种突破集中表现在数据挖掘上。数据挖掘是指通过特定的算法对大量的数据进行自动分析，从而揭示数据当中隐藏的规律和趋势，即在大量的数据当中发现新知识，为决策者提供参考。数据挖掘进步的根本原因是人类能够不断设计出更强大的模式识别算法。正是通过数据挖掘，各大商家谱写了不少点“数”成金的传奇故事。例如沃尔玛通过捆绑“啤酒和尿布”提高销量。阿里巴巴等凭借长期以来积累的用户资金流水记录，涉足金融领域，在几分钟之内就能判断用户的信用资质，决定是否为其发放贷款。
       2014年1月，美国的电子零售巨头亚马逊宣布了一项新的专利：“预判发货”。即在网购时，顾客还没有下单，亚马逊就将包裹寄出。这种顾客未动、包裹先行的做法，核心技术还是数据挖掘。发货的根据是顾客以前的消费记录、搜索记录以及顾客的心愿，甚至包括用户的鼠标在某个商品页面上停留的时间。微软纽约研究院经济学家大卫·罗斯柴尔德利用大数据准确预测了2014年第86届奥斯卡24个奖项中的21个奖项。 2012年，他正确预测了美国51个行政区中50个总统大选的结果……结果就在大数据中，惊喜已死。
       大数据时代四个典型的特征
       海量
       企业面临着数据量的大规模增长。例如，IDC最近的报告预测称，到2020年，全球数据量将扩大50倍。目前，大数据的规模尚是一个不断变化的指标，单一数据集的规模范围从几十TB到数PB不等。简而言之，存储1PB数据将需要两万台配备50GB硬盘的个人电脑。此外，各种意想不到的来源都能产生数据。
       多样性
       一个普遍观点认为，人们使用互联网搜索是形成数据多样性的主要原因，这一看法部分正确。然而，数据多样性的增加主要是由于新型多结构数据，以及包括网络日志、社交媒体、互联网搜索、手机通话记录及传感器网络等数据类型造成。其中，部分传感器安装在火车、汽车和飞机上，每个传感器都增加了数据的多样性。
        高速
        高速描述的是数据被创建和移动的速度。在高速网络时代，通过基于实现软件性能优化的高速电脑处理器和服务器，创建实时数据流已成为流行趋势。企业不仅需要了解如何快速创建数据，还必须知道如何快速处理、分析并返回给用户，以满足他们的实时需求。根据IMS Research关于数据创建速度的调查，据预测，到2020年全球将拥有220亿部互联网连接设备。
       易变性
       大数据具有多层结构，这意味着大数据会呈现出多变的形式和类型。相较传统的业务数据，大数据存在不规则和模糊不清的特性，造成很难甚至无法使用传统的应用软件进行分析。传统业务数据随时间演变已拥有标准的格式，能够被标准的商务智能软件识别。目前，企业面临的挑战是处理并从各种形式呈现的复杂数据中挖掘价值。
       大数据带来的影响
       一、大数据对决策的影响。大数据决策系统通过对过去和现在的数据进行分析，能够精确预测未来；通过对组织内部的和外部的数据整合，能够洞察事物之间的相关关系；通过对海量数据的挖掘，能够代替人脑，承担起社会管理的职责。大数据所具有的在区域之间、行业之间和企业部门之间的穿透性，正在颠覆传统的、线性的、自上而下的精英决策模型，正在形成非线性的、面向不确定性的、自下而上的决策基础。CEO们可能不再依赖于业务部门提出的建议，而是通过大数据决策系统来分析每个参与人员传回的实时数据，从而做出走向胜利的决策。同时，一旦我们遭遇错误和不真实的数据，带来的影响也将是灾难性的。
        二、大数据对基层管理的影响。大数据使管理漏洞进一步减少，摄像头和各类传感器将企业日常管理的基础数据实时记入系统，甚至可以精确到 食堂的菜谱和大门的出入登记，管理工作将
        三、大数据对设备管理的影响。随着大数据观念的确立，实时传输设备使用数据将成为管理的必须，可能会采集包括定位、作业小时、公里数、油耗、发动机工作状态、关键电子模块温度、室内外温差、速度等在内的一系列数据，使每一辆设备纳入实时管理系统，带来精确控制的革命；同时，实时数据的采集将为研发和修理提供全面的参考数据，控制因重要部件突然损坏带来的恶性事故。
       四、从有章可循进步到有数据可循。全面的数据管理使分析和预防重大事故成为可能，在管理上不再有盲区，员工情绪的波动也将记录在案，基层管理人员的管理质量将会进一步量化，物资的消耗将实时传输。 4.大数据带来的风险。大数据时代成立的基本假定是“基本数据是准确、可靠、值得信赖的，来龙去脉清楚，并且具有一致性。” 如果基本数据不可靠，大多数参与成员的大数据计划要么会失败，要么效果会低于预期。但数据的真实性往往与利益挂钩，例如某知名搜索引擎不是按照点击率来给网页排名，而是按照收费多少来排名，这样就会产生虚假的排名数据；所以，要实现大数据的合理有效利用，必须解决数据真实性问题，这就带来一个永恒的话题：诚信。大数据利用的不开放性会带来新的垄断和社会资源浪费，原有利益集团会穷尽一切手段去阻止大数据的公开，垄断的大数据会更加巩固利益集团的既得利益优势，在这场新的反垄断斗争中，将会有激烈的利益博弈。我不怀疑最终的胜利会属于大众，但那将是社会各利益集团新一轮的洗牌。
       五、大数据对思维方式的影响。大数据时代最大的转变，就是放弃对因果关系的渴求，而取而代之关注相关关系。也就是说只要知道“是什么”，而不需要知道“为什么”。这颠覆了千百年来人类的思维惯例，对人类的认知和与世界交流的方式提出了全新的挑战。没有因果关系的关系是什么？搬掉因果关系这块基石，我们的理论向何处去？客观上，我们的大脑将不需要再学习，只要熟练运用工具去查询，大数据将告诉我们每一个细节的注意事项。思考将变为少数人或阶层的事情，思维将被操纵在那些掌握大数据资源的人手中，新的社会更将两极分化，大都数人将变成只知道进行简单工作的“蚁族”。基于统计的数据科学家会逐步取代行业专家，带来的不是行业的兴旺，很有可能将是行业发展的停滞；在行业专家消失后，只知道“是什么”的数据专家在遭遇全新的问题时，将无法去求证“为什么”，问题研究将从零开始。
       六、大数据时代的个人隐私。虽然我们已经习惯了无处不在的摄像头，但网络高科技公司通过分析大量用户行为数据，可以精准判断我们的喜好乃至性格，让我们的隐私受到重大威胁。数据被谁掌握，怎样能够保证安全，是我们一直比较困惑的问题，这一问题在大数据时代下又再一次被放大。在信息化社会，保护隐私安全不仅仅是我们所谈到的大数据或者技术或者个人的单独行为，它是整个社会行为。个人无法抵抗类似“人肉搜索”的网络暴力，所有东西都不可能通过单一的技术手段解决，我们需要在大数据时代来前强化法制建设，把一切寄希望于道德建设明显是无法得到有效安全保证的。工具没有好坏，看用在谁的手上。这取决于我们的手段，取决于我们对于建设的投入和关注。
        七、大数据时代的个人权利维护。一个人想要在当今社会谋得一席之地，基本依赖于物质资源、专业技术和人脉关系。大数据恰恰对此产生了冲击，无处不在的网络，一是使资源的分布状况不再属于那些业内人士，无论是经费还是设备，使用者都有广泛选择的权力；二是使普通的专业技术不再是秘密，我们可以零成本获得各类普通技术，可以以尽可能低的价格雇佣到技术工人，可以通过分析招聘网站来获得失业的详细数据，可以以很低的成本获得过去需要专业人员作出的预测；三是电子商务的全面应用将打破人脉关系的垄断，市场将向所有人敞开大门，在数据分析下，寻找到新的经济增长点将会支付极低的成本。人，这个生产力关系中最具革命性的因素，将遭遇个体地位的历史最低点，互联网的智能化会在一定程度上弱化个体的作用，也许，明天的你将会无足轻重。