常用的几种大数据架构剖析

4顶
0踩

2018-04-12 10:37 by 副主编 jihong10102006 评论(0) 有74299人浏览

大数据架构

数据分析工作虽然隐藏在业务系统背后，但是具有非常重要的作用，数据分析的结果对决策、业务发展有着举足轻重的作用。随着大数据技术的发展，数据挖掘、数据探索等专有名词曝光度越来越高，但是在类似于Hadoop系列的大数据分析系统大行其道之前，数据分析工作已经经历了长足的发展，尤其是以BI系统为主的数据分析，已经有了非常成熟和稳定的技术方案和生态系统，对于BI系统来说，大概的架构图如下：

可以看到在BI系统里面，核心的模块是Cube，Cube是一个更高层的业务模型抽象，在Cube之上可以进行多种操作，例如上钻、下钻、切片等操作。大部分BI系统都基于关系型数据库，关系型数据库使用SQL语句进行操作，但是SQL在多维操作和分析的表示能力上相对较弱，所以Cube有自己独有的查询语言MDX，MDX表达式具有更强的多维表现能力，所以以Cube为核心的分析系统基本占据着数据统计分析的半壁江山，大多数的数据库服务厂商直接提供了BI套装软件服务，轻易便可搭建出一套Olap分析系统。不过BI的问题也随着时间的推移逐渐显露出来：

BI系统更多的以分析业务数据产生的密度高、价值高的结构化数据为主，对于非结构化和半结构化数据的处理非常乏力，例如图片，文本，音频的存储，分析。
由于数据仓库为结构化存储，在数据从其他系统进入数据仓库这个东西，我们通常叫做ETL过程，ETL动作和业务进行了强绑定，通常需要一个专门的ETL团队去和业务做衔接，决定如何进行数据的清洗和转换。
随着异构数据源的增加，例如如果存在视频，文本，图片等数据源，要解析数据内容进入数据仓库，则需要非常复杂等ETL程序，从而导致ETL变得过于庞大和臃肿。
当数据量过大的时候，性能会成为瓶颈，在TB/PB级别的数据量上表现出明显的吃力。
数据库的范式等约束规则，着力于解决数据冗余的问题，是为了保障数据的一致性，但是对于数据仓库来说，我们并不需要对数据做修改和一致性的保障，原则上来说数据仓库的原始数据都是只读的，所以这些约束反而会成为影响性能的因素。
ETL动作对数据的预先假设和处理，导致机器学习部分获取到的数据为假设后的数据，因此效果不理想。例如如果需要使用数据仓库进行异常数据的挖掘，则在数据入库经过ETL的时候就需要明确定义需要提取的特征数据，否则无法结构化入库，然而大多数情况是需要基于异构数据才能提取出特征。

在一系列的问题下，以Hadoop体系为首的大数据分析平台逐渐表现出优异性，围绕Hadoop体系的生态圈也不断的变大，对于Hadoop系统来说，从根本上解决了传统数据仓库的瓶颈的问题，但是也带来一系列的问题：

从数据仓库升级到大数据架构，是不具备平滑演进的，基本等于推翻重做。
大数据下的分布式存储强调数据的只读性质，所以类似于Hive，HDFS这些存储方式都不支持update，HDFS的write操作也不支持并行，这些特性导致其具有一定的局限性。

基于大数据架构的数据分析平台侧重于从以下几个维度去解决传统数据仓库做数据分析面临的瓶颈：

分布式计算：分布式计算的思路是让多个节点并行计算，并且强调数据本地性，尽可能的减少数据的传输，例如Spark通过RDD的形式来表现数据的计算逻辑，可以在RDD上做一系列的优化，来减少数据的传输。
分布式存储：所谓的分布式存储，指的是将一个大文件拆成N份，每一份独立的放到一台机器上，这里就涉及到文件的副本，分片，以及管理等操作，分布式存储主要优化的动作都在这一块。
检索和存储的结合：在早期的大数据组件中，存储和计算相对比较单一，但是目前更多的方向是在存储上做更多的手脚，让查询和计算更加高效，对于计算来说高效不外乎就是查找数据快，读取数据快，所以目前的存储不单单的存储数据内容，同时会添加很多元信息，例如索引信息。像类似于parquet和carbondata都是这样的思想。

总的来说，目前围绕Hadoop体系的大数据架构大概有以下几种：

传统大数据架构

之所以叫传统大数据架构，是因为其定位是为了解决传统BI的问题，简单来说，数据分析的业务没有发生任何变化，但是因为数据量、性能等问题导致系统无法正常使用，需要进行升级改造，那么此类架构便是为了解决这个问题。可以看到，其依然保留了ETL的动作，将数据经过ETL动作进入数据存储。

优点：简单，易懂，对于BI系统来说，基本思想没有发生变化，变化的仅仅是技术选型，用大数据架构替换掉BI的组件。

缺点：对于大数据来说，没有BI下如此完备的Cube架构，虽然目前有kylin，但是kylin的局限性非常明显，远远没有BI下的Cube的灵活度和稳定度，因此对业务支撑的灵活度不够，所以对于存在大量报表，或者复杂的钻取的场景，需要太多的手工定制化，同时该架构依旧以批处理为主，缺乏实时的支撑。

适用场景：数据分析需求依旧以BI场景为主，但是因为数据量、性能等问题无法满足日常使用。

流式架构

在传统大数据架构的基础上，流式架构非常激进，直接拔掉了批处理，数据全程以流的形式处理，所以在数据接入端没有了ETL，转而替换为数据通道。经过流处理加工后的数据，以消息的形式直接推送给了消费者。虽然有一个存储部分，但是该存储更多的以窗口的形式进行存储，所以该存储并非发生在数据湖，而是在外围系统。

优点：没有臃肿的ETL过程，数据的实效性非常高。

缺点：对于流式架构来说，不存在批处理，因此对于数据的重播和历史统计无法很好的支撑。对于离线分析仅仅支撑窗口之内的分析。

适用场景：预警，监控，对数据有有效期要求的情况。

Lambda架构

Lambda架构算是大数据系统里面举足轻重的架构，大多数架构基本都是Lambda架构或者基于其变种的架构。Lambda的数据通道分为两条分支：实时流和离线。实时流依照流式架构，保障了其实时性，而离线则以批处理方式为主，保障了最终一致性。什么意思呢？流式通道处理为保障实效性更多的以增量计算为主辅助参考，而批处理层则对数据进行全量运算，保障其最终的一致性，因此Lambda最外层有一个实时层和离线层合并的动作，此动作是Lambda里非常重要的一个动作，大概的合并思路如下：

优点：既有实时又有离线，对于数据分析场景涵盖的非常到位。

缺点：离线层和实时流虽然面临的场景不相同，但是其内部处理的逻辑却是相同，因此有大量荣誉和重复的模块存在。

适用场景：同时存在实时和离线需求的情况。

Kappa架构

Kappa架构在Lambda 的基础上进行了优化，将实时和流部分进行了合并，将数据通道以消息队列进行替代。因此对于Kappa架构来说，依旧以流处理为主，但是数据却在数据湖层面进行了存储，当需要进行离线分析或者再次计算的时候，则将数据湖的数据再次经过消息队列重播一次则可。

优点：Kappa架构解决了Lambda架构里面的冗余部分，以数据可重播的超凡脱俗的思想进行了设计，整个架构非常简洁。

缺点：虽然Kappa架构看起来简洁，但是施难度相对较高，尤其是对于数据重播部分。

适用场景：和Lambda类似，改架构是针对Lambda的优化。

Unifield架构

以上的种种架构都围绕海量数据处理为主，Unifield架构则更激进，将机器学习和数据处理揉为一体，从核心上来说，Unifield依旧以Lambda为主，不过对其进行了改造，在流处理层新增了机器学习层。可以看到数据在经过数据通道进入数据湖后，新增了模型训练部分，并且将其在流式层进行使用。同时流式层不单使用模型，也包含着对模型的持续训练。

优点：Unifield架构提供了一套数据分析和机器学习结合的架构方案，非常好的解决了机器学习如何与数据平台进行结合的问题。

缺点：Unifield架构实施复杂度更高，对于机器学习架构来说，从软件包到硬件部署都和数据分析平台有着非常大的差别，因此在实施过程中的难度系数更高。

适用场景：有着大量数据需要分析，同时对机器学习方便又有着非常大的需求或者有规划。

总结

以上几种架构为目前数据处理领域使用比较多的几种架构，当然还有非常多其他架构，不过其思想都会或多或少的类似。数据领域和机器学习领域会持续发展，以上几种思想或许终究也会变得过时。

查看图片附件

来自: 白发川

分享到：

4
顶

0
踩

评论共 0 条请登录后发表评论

发表评论

您还没有登录,请您登录后再发表评论

相关推荐

第十二期:常用的几种大数据架构剖析

常用的几种大数据架构剖析随着大数据技术的发展，数据挖掘、数据探索等专有名词曝光度越来越高，但是在类似于Hadoop系列的大数据分析系统大行其道之前，数据分析工作已经经历了长足的发展，尤其是以BI系统为主的...

五种大数据架构简介

虽然处理数据所需的计算能力或存储容量早已超过一台计算机的上限，但这种计算类型的普遍性、规模，以及价值在最近几年才经历了大规模扩展。本文将介绍大数据系统一个最基本的组件：处理框架。处理...

解读主流大数据架构

解读主流大数据架构前几天读到白发川的一篇文章《对比解读五种主流...参考：常用的几种大数据架构剖析引用了作者文中的一些图片，版权归作者所有。从互联网上下载引用的图片，也归原作者所有。 1. ...

大数据常用的架构

大数据常用的架构随着多年的大数据的技术发展和积累，越来越多的人发现各个公司所使用的大数据技术大致可以分为两大类，分别是离线处理技术和实时处理技术，要么个别公司只有离线处理技术，要么个别公司只有实时...

大数据架构简介

通过合理设计和搭建大数据架构，可以提高数据处理的效率和质量，使得企业和组织能够更好地利用大数据来支持决策和创新。数据源可以是结构化数据，如关系数据库中的表格数据，也可以是非结构化数据，如日志文件、...

大数据架构之--Kappa架构

Kappa 架构是由 LinkedIn 的前首席工程师杰伊·克雷普斯（Jay Kreps）提出的一种架构思想。克雷普斯是几个著名开源项目（包括 Apache Kafka 和 Apache Samza 这样的流处理系统）的作者之一。 Kreps 提出了一个改进 ...

大数据架构新解

下图是阿里巴巴大数据系统架构图：一、数据采集层数据采集主要分成以下三块数据： 1，Web 端日志 2，App 端日志 3，第三方数据（比如 mysql 增量数据同步） Web 端和 App 端的日志数据都需要制定各个场景下的...

深度解密 5 类大数据架构及实现

前几天读到白发川的一篇文章《对比解读五种主流大数据架构的数据分析能力》，文中详细总结了各类数据架构的应用以及原理。作为一名在数据仓库耕耘多年的技术人员，对于其中的一些技术细节还是破解兴趣的，所以随着...

#这是一篇关于 LabVIEW 介绍说明、使用技巧和优缺点对文章

labview

重庆大学数字电子技术试题.pdf

重庆大学期末考试试卷，重大期末考试试题，试题及答案

重庆大学2012电磁场考题（A）参考答案及评分标准.pdf

重庆大学期末考试试卷，重大期末考试试题，试题及答案

5G智慧港口解决方案.pptx

在现有省、市港口信息化系统进行有效整合基础上，借鉴新一代的感知-传输-应用技术体系，实现对码头、船舶、货物、重大危险源、危险货物装卸过程、航管航运等管理要素的全面感知、有效传输和按需定制服务，为行政管理人员和相关单位及人员提供高效的管理辅助，并为公众提供便捷、实时的水运信息服务。建立信息整合、交换和共享机制，建立健全信息化管理支撑体系，以及相关标准规范和安全保障体系；按照“绿色循环低碳” 交通的要求，搭建高效、弹性、高可扩展性的基于虚拟技术的信息基础设施，支撑信息平台低成本运行，实现电子政务建设和服务模式的转变。实现以感知港口、感知船舶、感知货物为手段，以港航智能分析、科学决策、高效服务为目的和核心理念，构建“智慧港口”的发展体系。结合“智慧港口”相关业务工作特点及信息化现状的实际情况，本项目具体建设目标为：一张图(即GIS 地理信息服务平台) 在建设岸线、港口、港区、码头、泊位等港口主要基础资源图层上，建设GIS 地理信息服务平台，在此基础上依次接入和叠加规划建设、经营、安全、航管等相关业务应用专题数据，并叠加动态数据，如 AIS/GPS/移动平台数据，逐步建成航运管理处 "一张图"。系统支持扩展框架，方便未来更多应用资源的逐步整合。现场执法监管系统基于港口(航管)执法基地建设规划，依托统一的执法区域管理和数字化监控平台，通过加强对辖区内的监控，结合移动平台，形成完整的多维路径和信息追踪，真正做到问题能发现、事态能控制、突发问题能解决。运行监测和辅助决策系统对区域港口与航运业务日常所需填报及监测的数据经过科学归纳及分析，采用统一平台，消除重复的填报数据，进行企业输入和自动录入，并进行系统智能判断，避免填入错误的数据，输入的数据经过智能组合，自动生成各业务部门所需的数据报表，包括字段、格式，都可以根据需要进行定制，同时满足扩展性需要，当有新的业务监测数据表需要产生时，系统将分析新的需求，将所需字段融合进入日常监测和决策辅助平台的统一平台中，并生成新的所需业务数据监测及决策表。综合指挥调度系统建设以港航应急指挥中心为枢纽，以各级管理部门和经营港口企业为节点，快速调度、信息共享的通信网络，满足应急处置中所需要的信息采集、指挥调度和过程监控等通信保障任务。设计思路根据项目的建设目标和“智慧港口”信息化平台的总体框架、设计思路、建设内容及保障措施，围绕业务协同、信息共享，充分考虑各航运(港政)管理处内部管理的需求，平台采用“全面整合、重点补充、突出共享、逐步完善”策略，加强重点区域或运输通道交通基础设施、运载装备、运行环境的监测监控，完善运行协调、应急处置通信手段，促进跨区域、跨部门信息共享和业务协同。以“统筹协调、综合监管”为目标，以提供综合、动态、实时、准确、实用的安全畅通和应急数据共享为核心，围绕“保畅通、抓安全、促应急"等实际需求来建设智慧港口信息化平台。系统充分整合和利用航运管理处现有相关信息资源，以地理信息技术、网络视频技术、互联网技术、移动通信技术、云计算技术为支撑，结合航运管理处专网与行业数据交换平台，构建航运管理处与各部门之间智慧、畅通、安全、高效、绿色低碳的智慧港口信息化平台。系统充分考虑航运管理处安全法规及安全职责今后的变化与发展趋势，应用目前主流的、成熟的应用技术，内联外引，优势互补，使系统建设具备良好的开放性、扩展性、可维护性。

机械工程学位 Matlab.zip

1.版本：matlab2014/2019a/2021a 2.附赠案例数据可直接运行matlab程序。 3.代码特点：参数化编程、参数可方便更改、代码编程思路清晰、注释明细。 4.适用对象：计算机，电子信息工程、数学等专业的大学生课程设计、期末大作业和毕业设计。

Matlab菌丝检测识别项目.zip

提供的源码资源涵盖了安卓应用、小程序、Python应用和Java应用等多个领域，每个领域都包含了丰富的实例和项目。这些源码都是基于各自平台的最新技术和标准编写，确保了在对应环境下能够无缝运行。同时，源码中配备了详细的注释和文档，帮助用户快速理解代码结构和实现逻辑。适用人群：这些源码资源特别适合大学生群体。无论你是计算机相关专业的学生，还是对其他领域编程感兴趣的学生，这些资源都能为你提供宝贵的学习和实践机会。通过学习和运行这些源码，你可以掌握各平台开发的基础知识，提升编程能力和项目实战经验。使用场景及目标：在学习阶段，你可以利用这些源码资源进行课程实践、课外项目或毕业设计。通过分析和运行源码，你将深入了解各平台开发的技术细节和最佳实践，逐步培养起自己的项目开发和问题解决能力。此外，在求职或创业过程中，具备跨平台开发能力的大学生将更具竞争力。其他说明：为了确保源码资源的可运行性和易用性，特别注意了以下几点：首先，每份源码都提供了详细的运行环境和依赖说明，确保用户能够轻松搭建起开发环境；其次，源码中的注释和文档都非常完善，方便用户快速上手和理解代码；最后，我会定期更新这些源码资源，以适应各平台技术的最新发展和市场需求。

基于django-xadmin的idc资产管理应用.zip

电商数据分析.py

头哥机组练习-第4关：16位快速加法器设计(计算机组成原理-谭志虎-华科大)

Python实现春节烟花模拟介绍及代码示例.docx

春节，作为中国最重要的传统节日之一，象征着团圆、喜庆和新的开始。烟花作为春节庆祝活动的重要元素，以其绚烂多彩、瞬间绽放的特点，给人们带来了无尽的欢乐和惊喜。然而，由于环境保护和安全的考虑，现实中烟花的燃放受到了诸多限制。因此，利用编程技术，模拟出春节烟花的效果，成为了一种新颖而有趣的方式。本文将介绍一种基于Python编程语言的春节烟花模拟代码。通过简单的代码实现，我们可以创建出各种形态、颜色和动态效果的烟花，让人们在计算机屏幕上欣赏到一场别样的“烟花盛宴”。一、代码介绍该代码主要使用了Python的图形库pygame，以及random库来生成随机颜色和位置。pygame库是一个用于编写视频游戏的Python模块集，它可以创建窗口、绘制图形、处理键盘和鼠标事件等。random库则用于生成随机数，以模拟烟花的随机性和不确定性。在代码中，我们定义了一个烟花类（Firework），包含烟花的初始位置、颜色、速度等属性，以及一个方法（update）用于更新烟花的位置和状态。然后，在主程序中，我们创建了一定数量的烟花对象，并在每一帧中更新它们的状态，同时在屏幕上绘制出来。通过调整烟花类

财务数据分析看版.xlsx

Excel数据看板，Excel办公模板，Excel模板下载，Excel数据统计，数据展示

4顶0踩