Advertisement
Advertisement Advertisement
当前位置: 工控论坛 > 行业 > 智能制造
主题:624490 ┆ 帖子:4925469 ┆ 今日新帖:648 ┆ 昨日帖数:946 ┆ 历史最高帖数:2608 (2016年04月19日)在线用户:575人
大数据创造价值的基础是XML、云计算、物联网
回复 | 人气 | 打印
xuyongshuo 个人主页 给TA发消息 加TA为好友 发表于:2017-04-18 15:54:54 楼主

最近几年,新技术在快速普及,而很多概念在专家还没有形成统一定义的时候,就快速被大众关注;大数据概念就是这样的概念,虽然非常普及,但不同人有不同的理解,这样在交流中反倒容易引起误解。今天想阐述一下大数据的概念

大数据不是传统的数据技术

我了解大数据的概念大概是在2012年,那个时候刚刚参与物联网的媒体,在物联网概念之后,大数据概念一直是科技领域、政府部门、企业关注的热点。但是在那个时候,中国企业通过IT技术利用数据的经验远远落后于先进国家的应用。

技术领先的国家,在大数据概念之前,已经有了丰富的利用数据的经验,比如数据挖掘技术、BI、ODS等技术在现今国家已经有了非常丰富的案例。而早期利用数据,因为数据获取成本高,只能是对精选的数据进行处理,这个时候统计学的数据原理、以及分类聚合、寻找关联性等技术是数据的主要技术。

而中国企业在2012年时,在应用数据方面落后于发达国家,仅有个别行业、个别企业利用了信息系统的数据创造价值。

而当大数据概念进入中国之后,很多中国企业分不清楚大数据与传统数据处理之间的关系,很多人把利用数据的工作都叫做大数据,导致了概念的混淆。甚至一些大学教授,ODS功能叫做大数据是根本错误的。

大数据与传统的数据技术的差别

1、数据规模大:传统数据技术主要是利用现有存在关系性数据库中的数据,对这些数据进行分析、处理,找到一些关联,并利用数据关联性创造价值。这些数据的规模相对较小,可以利用数据库的分析工具处理。而大数据的数据量非常大,不可能利用数据库分析工具分析。

2、非结构化数据:传统数据主要在关系性数据库中分析,而大数据可以处理图像、声音、文件等非结构化数据。

3、处理方式不同:因为数据规模大、非结构化数据这两方面因素,导致大数据在分析时不能取全部数据做分析。大数据分析时如何选取数据?这就需要根据一些标签来抽取数据。所以大数据处理过程中,比传统数据增加了一个过程Stream。就是在写入数据的时候,在数据上打一个标签,之后在利用大数据的时候,根据标签抽取数据。这个过程就类似于寻找图书:如果你在你个人书柜里,寻找一本书是很容易的,所以你买了书,可以直接放到书柜上,不用做任何处理;而如果图书馆买了书,如果不做任何处理的话,你是很难找到一本书的,所以图书馆在新书入库的时候,首先会对每本书打上标签,而这个打标签的过程,就是类似于Stream的工作。

XML技术是大数据Stream的基础

在探索大数据的技术基础的时候,很多人都容易忽视XML技术。

XML是eXtensible Markup Language的英文缩写,将文件加上可以扩展(可以自定义)的标签的语言。

XML是在2000年左右非常热门的技术,其快速发展促进了很多技术的进步:html5技术发展,通过SOA技术实现跨平台功能调用,文档格式的统一等等。

使用XML标记的XSLT语言,是扩展样式表转换语言,可以将XML文件转化成任何样式的文本。

随着XML技术的发展,很多文件都是用XML格式存储,比如Word文档等。打上XML标签的数据可以非常容易的通过XSLT抽取出来。

XML技术可以方便的为数据打上标签,并能快速通过标签抽取数据,一方面可以在超越关系数据库范围之外的更大范围处理数据;另外可以支持非结构化数据的处理。所以XML技术是大数据发展的最基础的技术。

云计算技术为大数据提供高性价比的计算和存储能力

数据可以创造价值,但大数据处理需要强大的计算和存储能力。而在早期,这么强大的计算和存储能力需要在大型机上实现。大型机价格昂贵,早期可以使用数据创造价值的企业都是非常富有的企业,比如电信运营商、银行类的企业。

早期国内数据处理能力强的企业都是银行、电信运营商的供应商。

而云计算技术的发展,可以让大量的价格便宜的PC机汇聚起来,形成类似于大型机的计算和存储能力,而成本又非常低。这个时候数据分析的成本就可以被更多的企业所承担,从而形成对数据分析需求的一个爆发。

云计算对计算和存储能力的可扩展性,对数据的分布式处理方式,促发了大数据概念的诞生。

物联网为大数据提供丰富的数据来源

早期的数据处理,其数据来源主要是通过手工输入、在手工输入数据通过计算机处理之后形成的数据;这样的数据还是有限的。

而物联网技术的发展,更多的传感设备可以自动采集数据,并能够通过通讯技术、云计算技术汇聚到一个平台上,从而极大的丰富了数据来源。

物联网技术让数据可以成几何级数的增长,为大数据提供了丰富的数据来源,从而促发了对数据分析技术的需求,丰富了大数据应用。

而物联网最终获得价值,也是通过大数据积累到一定量之后,形成智慧,创造价值的。

未来人工智能、物联网、智能制造创造价值,都离不开大数据的价值。


收藏 回复 举报
Advertisement
深圳市英威腾电气股份有限公司 中国工控网积分规则
wayaj 个人主页 给TA发消息 加TA为好友 发表于:2017-04-18 17:05:49 1楼
 

大数据创造价值的基础是XML、云计算、物联网好文!大家分享!

  回复引用举报

Advertisement
关闭 X
SSI ļʱ
工控论坛