数据的搬运工——数据集成

2024-01-26 - 冰球突破mg动态

数据的搬运工——数据集成

大数据平台并不生产数据，大大都原始数据其实都来源于业务系统，所以，我们需要做好数据“搬运”行动。而这就牵扯到了“数据集成”这个看法。

我不生产数据，我只是数据的搬运工。在大数据平台中，是不生产数据的，或者说原始数据都是来源于业务系统。所以，我们需要做的第一件事，就是将业务系统的数据搬运到数据平台。改用那句耳熟能详的话，我不生产数据，我只是数据的搬运工。这个数据的搬运工，就是数据平台的第一个�？�——数据集成。

一、搬运工都有哪些称呼

在进行产品设计的历程中，关于同一个产品，经�；嵊龅街种指餮拿�，这些名称似乎可以指代同一个产品，如果细究起来，似乎也有些区别。在数据集成产品设计时，也会遇到类似的问题。这些相同的名称主要是数据集成、数据同步、数据收罗。有时候也可能听到数据管道、数据传输等等。

我通过大模型搜索了一下区别。

数据集成：指的是将差别数据源、差别数据类型以及差别花样的数据整合到一起，形成一个统一的数据视图或数据货仓，以便后续的剖析和处理。数据集成通常涉及到数据的抽取、转换、清洗和加载等多个办法，同时也需要解决数据花样转换、数据质量问题以及数据宁静性等问题。数据同步：则是将数据从一个数据源复制或传输到另一个数据源，以坚持两个数据源中的数据一致性。数据同步通常涉及到实时或准实时的数据传输和复制，可以用于漫衍式系统中的数据复制、备份以及容灾等场景。似乎，数据集成更注重数据的整合和数据处理，而数据同步更注重数据的传输和一致性。在大数据领域，数据收罗和数据集成是两个密切相关的看法，但它们在数据处理历程中饰演的角色和目的有所差别。数据收罗主要是通过工具或技术，从系统外部获取数据并输入到系统内部的历程。它可以是手工的，也可以是自动化的。在这个历程中，获取的数据可能需要进行清洗、花样转换等预处理，以便后续的数据集成和使用。数据集成则是将差别来源、差别花样、差别性质的数据在逻辑上或物理上有机地集中起来，形成一个全面、统一的数据视图或数据货仓的历程。数据集成通常涉及到数据的抽取、转换、清洗和加载等多个办法，它的主要目的是为企业提供全面的数据共享和数据剖析能力。

因此，可以说数据收罗是数据集成的基础和前提，数据集成则是数据收罗的后续处理和结果。没有数据收罗，数据集成绩缺乏数据来源；没有数据集成，则无法有效利用和治理大数据资产。在这个界说里面数据收罗是数据集成之前的一个办法。个人感受在实时领域是这样的，实时获取到数据的变换相当于数据的收罗。

以上都是通过大语言模型给出的结论。对这些名称有一个基本看法之后，结合实际的公司习惯、部分历史使用习惯、以及上下文语境来做具体的区分。个人习惯数据集成和数据同步这两个词大部分情况下会混用。如果要做区分的话，当有向导式和拖拽式两种形式的时候。拖拽式的可以称之为数据集成，因为拖拽式的重数据的转换和整合。向导式的可以称之为数据同步，因为向导式的重数据的传输和一致性。而数据收罗，个人相对混用少些，个人主要理解为将数据库的变革收罗上来。

再次说明，完全是个人角度的划分。

二、搬运历程中的处理

在进行数据同步的历程中，需不需要进行处理，虽然数据同步经常和**ETL（提�。�extract）、转换（transform）、加载（load））**放在一起做比较，可是实际上是不是需要在同步历程中进行转换是可以进行商榷的。

1. 一比一同步

同步数据的目的是保存业务的数据历史，如果要保存历史那么过失的历史也是历史。所以这种同步就是完全和业务系统数据一比一的同步，纵然同步过来的数据是有异常的或者说不标准的。只有这样才华真正的如实的保存了业务的历史，当爆发数据异常进行数据追溯的时候，才华够找到最原始的业务数据。个人认为这个想法很好，能够完全的保存业务历史数据。可是有一个问题就是过失的数据业务系统可以随时改的。可是在离线场景下的同步不会随时进行的。并且感受这种太极端，对人员，程序要求都比较高。

2. 在同步历程中进行转换清洗

第二种就显的要求没有那么的严格，相对宽松些�？梢栽谡飧隼讨薪行屑侗鸬脑黾酢⒐娣痘�。也可以进行字段的聚合、关联、转换等等操作。其实对产品设计来说，支持了这种形式，就支持了一比一的同步。在同步历程中有这个转换、聚合的能力，不使用的话就是一比一同步了。这样说来一比一同步更多的似乎是一个规范、一个要求。

三、搬运的目标表类型

将业务数据搬运到数据平台的目标就是保存历史、做到数据可追溯。可是业务系统的数据是时时都在变革的，那么怎么保存变革的数据的历史就是一个目标表建表结构的问题。

这其实算是数据货仓建模领域的内容，为什么在这里说？先说一下目标表常见的几种形式。全量表、切片表、拉链表。

1. 全量表

全量表和名字一样，就是数据全量同步到目标端。试用于同步码表等数据变换不大的表。

2. 切片表

切片表又分为增量切片，和全量切片。全量切片就是将每天的全量业务数据放在当天分区中。增量切片就是仅仅把当天的增量放在当天的分区中。

3. 拉链表

拉链表式最庞大的。需要有一个唯一键，需要知道业务数据是否变革，变革之后，就在目标表中新增一条，纪录变革数据的开始时间、结束时间，有的还会有版本、是否目今状态等字段（拉链表也依赖于同步的时间粒度，细于时间粒度，可能会保存无法将数据同步到目标端情况）。

为什么要在这里说，因为数据集成产品需要在功效上支持这些目标表的建表类型。全量表的全量同步。切片表的增量切片，需要能够过滤出来每日的增量数据。拉链表的庞大逻辑，是否需要进行逻辑固化（我只在Powercenter中看到过拉链表的逻辑固化。自己也设计过向导式的拉链表逻辑固化）。这些都需要在数据同步历程中考虑到。不但仅能够将数据搬运到目标端，并且还需要以一种合理的目标端表结构需要将数据搬运到目标端。

四、搬运的交互形式

在搬运历程中，交互形式一般有三种形式，脚本式、拖拽式、向导式。

1. 脚本式

顾名思义，脚本式就是写一个脚原来进行数据同步。这种形式更多的是偏技术，在产品设计中一般不会过多涉及。

常见的脚本式同步：

古老的是Sqoop了，他实现了结构化数据和Hadoop之间的批量数据迁移，最初由Apache软件基金会开发，可是在2016年，该项目已经被终止了。在阿里云Dataworks中的数据集成DataX，也会有的脚本界面的数据同步。是因为有些非结构化的数据源，没有表结构类型，在脚本界面中能够越发灵活。

2. 拖拽式

拖拽类的数据集成类产品，就是在一个画布中拖拽各个算子，组成一个ETL的DAG图，从而实现数据的同步。

常见的拖拽式的同步：

最有名的算是Informatica Powercenter，这款产品在外洋似乎知名度很高，终年在Genter象限的领导这位置。但在海内似乎只有一些银行、等金融行业使用多些，在互联网公司更是近乎没什么声量。IBM Datastage 一款和powercenter类似的软件。Kettle一款开源的免费的数据ETL工具。如果有拖拽式的数据同步需求，这三个产品也常�；岜焕谝黄鹱霰冉�。各有各的特点吧。

单独提一句，当使用拖拽式的数据集成时，其实几多有了一些数据开发的性质。可是如果细划分的话，和拖拽式的数据开发照旧有些区别的。这个在《常见的数据开发形式》中的拖拽式数据开发中说下区别。

3. 向导式

向导式的数据集成，主要是指通过输入框或者选择配置框，就可以完成任务的创立。不需要写代码，也不需要拖拽算子，这种开发形式我界说为向导式。

大部分的云厂商的数据集成/数据同步类产品均是向导式的模式。这里就不过多说了。

五、时效性

个人理解数据集成只分为两大类，离线数据集成和实时的数据集成。至于全量同步、增量同步等等，只是这两种大形式下的一种选项。而这两种形式，又均可以使用脚本式、拖拽式或者向导式来实现。形式不重要，实质是实时照旧离线才重要，虽然设计页面的时候也会几多有些配置区别。

在失效性上，实时数据越来越受重视，另有一些批流一体的看法，所以实时的数据集成需求也越来越多。

可是个人不认为离线的数据集成会被完全干掉。一方面——本钱，显然实时的本钱要比离线的本钱要高。一方面——技术，实时集成之后一系列的技术和离线集成是完全差别的，现有的技术架构纷歧建都做好了准备。

另有一方面就是历史习惯，以上面介绍为例，切片表、拉链表等等均是离线场景下的，在后续介绍中会发明有大宗的看法在离线场景下很顺畅，可是往往会自动的忽略实时场景。这可能也是因为实时的历史相对较短。在其他看法泛起的时候，并没有考虑实时的场景。

六、支持的数据源类型

数据集成支持的数据源几多是一个平台能力的体现，支持的越多，可以理解为能力越强。差别数据源可能支持实时的形式、可能支持离线形式，也可能两种均支持。数据源大类上也有差别的划分：关系型数据库、大数据存储、消息行列、文本文件等等。

这是从类型上划分，如果从接入数据源之后的操作上来分，就两类：有表结构的和没有表结构的。

1. 有表结构

有表结构的可以是关系型数据库、HIVE、Doris等等这类自己有表结构的。也可以是牢固花样的文本、JSON这类可以付与一个牢固scheam的，这类需要进行数据平台有元数据治理能力，在《当我们谈元数据的时候，我们在谈什么》中会介绍这一部分。这类有表结构的在交互时，以二维表格的形式在向导、或者拖拽中进行交互了。

2. 没有表结构

没有表结构的相对会庞大些，有时候可以强制给这种没有表结构的授予一个表结构。有的时候也只能转换成脚本的形式来实现映射。这个具体数据源具体剖析了。

数据源支持几多体现能力强弱。同样，作为产品每种数据源可能都有其自身的特性，也需要进行个性化的设计，而产品经理又会将种种类型的数据源都熟悉到，个人感受也是数据集成类产品设计的一个麻烦的点。

至于种种非结构化的文档、图片、音视频等等。都不在大数据平台这个领域内。之前也会提非结构化的大数据平台，非结构化的大数据治理。可是目前个人没有接触到特别好的产品。

冰球突破mg