最近几年，新技术在快速普及，而很多概念在专家还没有形成统一定义的时候，就快速被大众关注；大数据概念就是这样的概念，虽然非常普及，但不同人有不同的理解，这样在交流中反倒容易引起误解。今天想阐述一下大数据的概念

大数据不是传统的数据技术

我了解大数据的概念大概是在2012年，那个时候刚刚参与物联网的媒体，在物联网概念之后，大数据概念一直是科技领域、政府部门、企业关注的热点。但是在那个时候，中国企业通过IT技术利用数据的经验远远落后于先进国家的应用。

技术领先的国家，在大数据概念之前，已经有了丰富的利用数据的经验，比如数据挖掘技术、BI、ODS等技术在现今国家已经有了非常丰富的案例。而早期利用数据，因为数据获取成本高，只能是对精选的数据进行处理，这个时候统计学的数据原理、以及分类聚合、寻找关联性等技术是数据的主要技术。

而中国企业在2012年时，在应用数据方面落后于发达国家，仅有个别行业、个别企业利用了信息系统的数据创造价值。

而当大数据概念进入中国之后，很多中国企业分不清楚大数据与传统数据处理之间的关系，很多人把利用数据的工作都叫做大数据，导致了概念的混淆。甚至一些大学教授，ODS功能叫做大数据是根本错误的。

大数据与传统的数据技术的差别：

1、数据规模大：传统数据技术主要是利用现有存在关系性数据库中的数据，对这些数据进行分析、处理，找到一些关联，并利用数据关联性创造价值。这些数据的规模相对较小，可以利用数据库的分析工具处理。而大数据的数据量非常大，不可能利用数据库分析工具分析。

2、非结构化数据：传统数据主要在关系性数据库中分析，而大数据可以处理图像、声音、文件等非结构化数据。

3、处理方式不同：因为数据规模大、非结构化数据这两方面因素，导致大数据在分析时不能取全部数据做分析。大数据分析时如何选取数据？这就需要根据一些标签来抽取数据。所以大数据处理过程中，比传统数据增加了一个过程Stream。就是在写入数据的时候，在数据上打一个标签，之后在利用大数据的时候，根据标签抽取数据。这个过程就类似于寻找图书：如果你在你个人书柜里，寻找一本书是很容易的，所以你买了书，可以直接放到书柜上，不用做任何处理；而如果图书馆买了书，如果不做任何处理的话，你是很难找到一本书的，所以图书馆在新书入库的时候，首先会对每本书打上标签，而这个打标签的过程，就是类似于Stream的工作。

XML技术是大数据Stream的基础

在探索大数据的技术基础的时候，很多人都容易忽视XML技术。

XML是eXtensible Markup Language的英文缩写，将文件加上可以扩展（可以自定义）的标签的语言。

XML是在2000年左右非常热门的技术，其快速发展促进了很多技术的进步：html5技术发展，通过SOA技术实现跨平台功能调用，文档格式的统一等等。

使用XML标记的XSLT语言，是扩展样式表转换语言，可以将XML文件转化成任何样式的文本。

随着XML技术的发展，很多文件都是用XML格式存储，比如Word文档等。打上XML标签的数据可以非常容易的通过XSLT抽取出来。

XML技术可以方便的为数据打上标签，并能快速通过标签抽取数据，一方面可以在超越关系数据库范围之外的更大范围处理数据；另外可以支持非结构化数据的处理。所以XML技术是大数据发展的最基础的技术。

云计算技术为大数据提供高性价比的计算和存储能力

数据可以创造价值，但大数据处理需要强大的计算和存储能力。而在早期，这么强大的计算和存储能力需要在大型机上实现。大型机价格昂贵，早期可以使用数据创造价值的企业都是非常富有的企业，比如电信运营商、银行类的企业。

早期国内数据处理能力强的企业都是银行、电信运营商的供应商。

而云计算技术的发展，可以让大量的价格便宜的PC机汇聚起来，形成类似于大型机的计算和存储能力，而成本又非常低。这个时候数据分析的成本就可以被更多的企业所承担，从而形成对数据分析需求的一个爆发。

云计算对计算和存储能力的可扩展性，对数据的分布式处理方式，促发了大数据概念的诞生。

物联网为大数据提供丰富的数据来源

早期的数据处理，其数据来源主要是通过手工输入、在手工输入数据通过计算机处理之后形成的数据；这样的数据还是有限的。

而物联网技术的发展，更多的传感设备可以自动采集数据，并能够通过通讯技术、云计算技术汇聚到一个平台上，从而极大的丰富了数据来源。

物联网技术让数据可以成几何级数的增长，为大数据提供了丰富的数据来源，从而促发了对数据分析技术的需求，丰富了大数据应用。

而物联网最终获得价值，也是通过大数据积累到一定量之后，形成智慧，创造价值的。

未来人工智能、物联网、智能制造创造价值，都离不开大数据的价值。