在大数据时代，数据爆炸式的增长，单个SMP系统已经无法应付数据增长所带来的巨大压力。随着网络技术的发展，PC服务器的“小型化”以及Linux系统的成熟，基于MPP架构的新一代数据库技术成为各行业用户的首选。 

1.采集：数据累积 滴水成河

技术点：采集阶段总结来说，就是数据的搜集整理，最后上传到数据接收服务器的过程；

1.多总线并行处理，提高采集效率

2.采集终端可以是仪表，传感器，网页，手持终端，软件硬件程序等

3.不同的终端或者制造厂商包含不同的数据协议，在数据接收端需要一个前置转换器，支持将不同协议统一转换为服务器接收的数据协议格式

4.为了满足大量的采集终端上传的服务请求，上传接收采用级联负载均衡的分布式服务器

5.支持终端数据加密压缩上传，减少数据传输量，提高安全性

2.存储：数据持久化 海纳百川

技术点：高效的并行读取与存储速度，可横向扩展的数据存储空间；

1.在互联网出现之前，数据主要是人机会话方式产生的，以结构化数据为主。所以大家都需要传统的RDBMS来管理这些数据和应用系统。那时候的数据增长缓慢、系统都比较孤立，用传统数据库基本可以满足各类应用开发。

2.互联网的出现和快速发展，尤其是移动互联网的发展，加上数码设备的大规模使用，今天数据的主要来源已经不是人机会话了，而是通过设备、服务器、应用自动产生的。传统行业的数据同时也多起来了，这些数据以非结构、半结构化为主，而真正的交易数据量并不大，增长并不快。机器产生的数据正在几何级增长，RDBMS受存储机制与架构限制，速度效率上，越来越不能满足当前对大数据的计算需求

3.传统数据库对这类需求和应用无论在技术上还是功能上都几乎束手无策，从而给MPP构架下的数据仓库技术和平台提供了很好的发展机会和空间

4.利用MPP(Massively Parallel Processing，大规模并行处理系统) ，将任务并行的分散到多个服务器和节点上，在每个节点上计算完成后，将各自部分的结果汇总在一起得到最终的结果; 样的系统是由许多松耦合的处理单元组成的，要注意的是这里指的是处理单元而不是处理器。每个单元内的CPU都有自己私有的资源，如总线，内存，硬盘等。在每个单元内都有操作系统和管理数据库的实例复本。这种结构最大的特点在于不共享资源。

5. 采用MPP架构的新型数据库集群，重点面向行业大数据，采用Shared Nothing架构，通过列存储、粗粒度索引等多项大数据处理技术，再结合MPP架构高效的分布式计算模式，完成对分析类应用的支撑，运行环境多为低成本PC Server，具有高性能和高扩展性的特点，在企业分析类应用领域获得极其广泛的应用

6.存储基于服务器自带的本地硬盘或者网络服务器

7.数据引擎将数据平均分布到系统的所有节点服务器上，所有节点存储每张表或表分区的部分行，所有数据加载和查询都是自动在各个节点服务器上并行运行，并且该架构支持扩展到上万个节点。

8.拥有极高的横向扩展能力（scale out）和内在的故障容错能力和数据高可用保障机制

9.动态压缩能力，高效的并行数据压缩存储与解压应用

10.支持混合按列或按行存储数据，每张表或表分区可以由管理员根据应用需要，分别指定存储和压缩方式。基于这个功能，用户可以对任何表或表分区选择按行或按列存储数据和处理方式。

3.挖掘分析：数据过滤 大浪淘沙

技术点：对大数据进行基于各种算法的计算，为大数据分析应用提供数据基础

1.没有一种全能的算法能适应所有数据，根据数据的类别特性，选择合适的挖掘算法

2.利用Mahout实现大数据的分析平台,Mahout是基于Hadoop分布式系统

3.Mahout实现Kmeans算法的架构图,首先KmeansCluster继承Cluster,在KmeansCluster中有几个比较重要的方法,首先clusterPoints()是实现Kmeans聚类算法的方法,而其中调用了runKMeansIteration()方法,该方法是单次聚类迭代方法

4.建立大数据分析平台时，选择实现若干种有代表性的方法即可。当然，不仅要考虑预测的准确率，还有考虑学习效率、开发成本、模型可读性等其他因素

5.其中分类算法是大数据分析基础，分类算法逻辑将相似性质的数据做集合分析，为其他算法提供数据基础

6.其中的k-means 算法接受参数 k ；然后将事先输入的n个数据对象划分为 k个聚类以便使得所获得的聚类满足：同一聚类中的对象相似度较高；而不同聚类中的对象相似度较小。聚类相似度是利用各聚类中对象的均值所获得一个“中心对象”（引力中心）来进行计算的

7.数据处理中最核心、最大的问题，那就是性能问题；利用混搭架构，用不同的分布式技术来支撑一个超越PB级的数据仓库系统。这个混搭架构主要的核心是新一代的MPP并行数据库集群+ Hadoop集群，再加上一些内存计算、甚至流计算技术等

8.重视分析过程与结果标准化管理，提高可视化分析能力

4.应用：数据反馈 点石成金

关键词：工业互联网，物联网，精细化管理

技术点：现场数据与大数据结果纵向对比，对未来可能发生的状况做及时预测分析

1.利用物联网技术监控整个企业的设备运行情况。

2.通过将设备运行数据大数据分析结果对比，对当前及未来运行状态做分析预测。

3.加速产品创新，客户与工业企业之间的交互和交易行为将产生大量数据，挖掘和分析这些客户动态数据，能够帮助客户参与到产品的需求分析和产品设计等创新活动中，为产品创新作出贡献。

4.利用大数据技术，可以对工业产品的生产过程建立虚拟模型，仿真并优化生产流程，当所有流程和绩效数据都能在系统中重建时，这种透明度将有助于制造商改进其生产流程。

5.通过大数据来分析当前需求变化和组合形式。大数据是一个很好的生产销售分析工具，通过历史数据的多维度组合，可以看出区域性需求占比和变化、产品品类的市场受欢迎程度以及最常见的组合形式、用户的层次等，以此来调整产品策略和铺货策略。

   智能优化节能系统是以节能降耗为核心目的的能源在线监测与分析管理系统。它是通过对企业的节能设备、主要工艺设备、主要耗能设备的能耗和工况进行全面监测、诊断与分析，采用设备节能、工艺优化节能、管理策略优化节能等多种手段相结合的方式，通过工业大数据分析为用户提供适应用户生产线工艺工况差异化特点的系统节能产品、节能策略方案、节能管理与服务平台，进而构建“企业（集团）能源管控中心”，为用户经济用能、合理用能提供产品、技术、策略、方法和信息支持，使用户整个生产线实现节能5%-30%。