FineTube大数据处理平台

1、发展背景
根据2018年12月中国信通院发布的《数据资产管理实践白皮书3.0》：近年来，中国大数据和商业数据分析市场规模增速是世界平均增速的2倍，随着云计算、 大数据、物联网、 移动应用的深入发展， 众多企业结合自身发展状况应用新技术加速数字化转型进程，促进业务发展，应对日趋激烈的市场竞争。 为使企业于市场竞争中立于不败之地， 业务创新、跨职能协作、流程优化、提质增效、服务升级、客户体验提升等一系列关键词备受企业关注，这些关键词逐渐成为企业提升核心竞争力的关键要素，“可持续的 IT 交付能力”则是其基础架构，也是数字化转型的“内核”。

然而，如此可观的增速和激烈的竞争背后却藏匿着较大隐患：

· 数据质量不过关：大部分企业数据质量较差，不良的数据质量会使企业额外花费15%到25%的成本。

· 数据难互通：绝大多数的企业存在数据孤岛问题，数据分析人员80%的精力都花在了获取数据的工作上，获取数据的效率非常低下。

· 数据安全难保证：自2013年以来全球数据泄露高达130亿条，其原因多半为管理制度不完善。

· 数据价值有待释放：大部分企业未建立有效管理和应用数据的模式，自身无法随着技术、市场、产业的变化不断迭代，更无法使数据资产管理成为持续和动态的过程，进而为数字化转型提供源源不断的动力。

因此，为了最大限度挖掘数据价值，企业的数据体系改革迫在眉睫：

· 管理方面，需要建立一套符合数据驱动的组织管理制度和流程。

· 技术方面，需要建设现代化数据平台、引入智能化技术，确保数据资产管理系统平台持续、健康地为数据资产管理体系服务。

2、受众与核心能力
2.1产品定位
IDC 在 2019 全球 CIO 年度议程预测中提到：“到 2021 年，在业务需求的驱动下， 70%的 CIO 将通过建设数据质量和调度体系架构为企业打造敏捷链接，这些体系架构将为企业中各种业务垂直的数据系统提供数据沟通的桥梁。”同时，随着“前台、中台、后台”这一企业 IT 架构理念的不断发展，“中台”已成为实现企业敏捷化共享服务、业务创新能力提升的主要方案，并成为前台业务与后台技术间的重要衔接。 而作为中台的核心之一，数据质量和调度体系架构将成为连接前后台的桥梁和媒介，企业IT架构中的“数据分拣中心”。

Finetube致力于为数据开发者、数据分析师、数据资产管理者，打造一个具备开放的、一站式、标准化、可视化、高性能和可持续交付的自助化数据调度与治理平台。Finetube赋予用户仅通过单一平台，即可实现数据传输、数据调度、数据治理和数据服务等各类复杂组合场景的能力。

同时，Finetube持续打造符合企业级数据仓库和数据中台构建要求的功能模块，为企业业务的数字化转型提供支持。

2.2产品受众
①、从事数据开发、算法开发等岗位的技术人员

②、从事销售运营、商业智能分析等岗位的业务人员

③、从事数据安全与合规工作的管理人员

④、从事数据应用开发的开发人员

⑤、把控公司核心数据资产的管理人员

规格说明和功能详解：

基本版：数据管道

增强版：数据集成+数据服务

专业版：数据管道+数据集成

企业版：数据管道+数据集成+数据服务

数据管道：功能说明
可以进行原表原样的数据同步任务，支持把mysql的数据通过数据管道全部同步到FineData中，也支持把Oracle的数据通过数据管道同步到FineData中。其中binlog是数据源为mysql时的一种读取模式，logminer是数据源为oracle时的一种读取模式。
适用场景
1.需要原表原样进行数据同步
2.需要实时增量同步，对数据时效性要求高的场景，当管道任务保持开启状态，源库有增量数据时，数据就会实时同步到FineData中
支持数据源种类
mysql 的 binlog
oracle 的 logminer

  功能模块
类型
功能说明
表输入
输入
通过查询自定义SQL从mysql、oracle等数据库抽取数据，支持动态参数设置
csv文件输入
输入
解析csv文件
文本文件输入
输入
按行读取文本文件
oracle-cdc输入
输入
读取Oracle CDC变更表的增量数据
sqlserver-cdc输入
输入
读取sqlserver CDC变更表的增量数据
kafka输入
输入
订阅kafka某个topic
kudu输入
输入
查询kudu数据库
简道云输入
输入
用于调用简道云API抽取简单云增量数据
生成记录
输入
生成一条新的键值对消息
邮件输入
输入
从邮箱抽取邮件，支持imap协议
解析multipart
输入
解析multipart消息体，可用于从响应流中提取附件
主计划excel解析
输入
drive主计划excel解析
扫描文件夹
输入
扫描FT服务器中文件夹的所有文件，支持持续监听动作
表输出
输出
数据输出至数据库表
插入更新
输出
根据配置的主键自动识别insert或update操作
kafka输出
输出
数据写入到kafka
excel文件输出
输出
数据写入到excel文件
表数据删除
输出
根据设定的条件删除和清空表数据
drive主计划入库
输出
drive解析入库（帆软项目组定制版）
kudu输出
输出
数据写入到kudu
写文件
输出
创建文件并写入内容
列转行
转换
拆分列为多行
替换NULL值
转换
根据匹配策略替换字段null值　
添加字段
转换
在数据流中添加一个字段　
json生成器
转换
生成一个json对象
表字段解构
转换
配合binlog或logminer使用，解析数据流为表字段
简道云数据结构解析
转换
简道云数据结构解析（简道云定制版json格式化算子）
json格式化
转换
解析json格式的数据转化为键值对格式
xml格式化
转换
解析一段xml格式的字符串，通常用于解析http请求返回的报文
增加行号
转换
给当前批次数据增加数字自增行号，第一行从1开始
参数更新
转换
更新全局参数
数据加密
转换
使用指定的算法加密选定的字段
数据标记
转换
根据自定义条件判断消息的增删改属性，方便入库
清空字段
转换
清空字段
增加序列
转换
获取一个自增的数字，可作为主键生成器
去除重复数据
转换
根据指定字段去重消息，类似于SQL语法的distinct
数据分组
转换
可将获取的数据按照某一字段转换为数组
获取任务运行数据
查询
获取当前任务运行期监控指标，包括运行时长、速度等
关联子表
查询
查询子表数据，在主表信息中绑定一个子表数据集合
HTTP client
查询
自定义Http接口调用，发送Http请求
执行任务
流程
主动唤起一个任务，通常用于定时任务中定时执行某个任务
中止
流程
主动中止任务，用于跳出重复执行
检测空流
流程
判断当前流是否有数据，如果是空流则返回一个空的消息，只有一个是否空流的标记字段
if-else
流程
if-else语法分流数据到不同的目标步骤
空操作
流程
空操作，什么都不做，主要用于占位，比如占位if-else组件的最后一个else分支的坑
获取循环次数
流程
获取当前已经重复执行了多少次
条件过滤
流程
根据自定义条件过滤消息
Mysql Binlog
日志解析
解析mysql binlog日志
解析logminer
日志解析
解析oracle归档日志
drive日志解析
日志解析
解析drive操作日志
简道云数据推送
应用
推送数据到简道云API
记录日志
应用
数据写入到系统日志文件
发送邮件
应用
发送电子邮件
企业微信消息推送
应用
企业微信消息推送，通过自建应用推送消息到指定的用户或部门
微信公众号消息推送
应用
推送微信公众号模板消息
企业微信群机器人
应用
推送企业微信群机器人消息
简道云数据推送plus
应用
推送数据到简道云API，优化版
登陆drive
应用
登陆drive
延迟
应用
消息处理时延迟一定的时间
数据分组统计
统计
可将获取的数据按照某一字段进行分组统计
执行SQL脚本
脚本
执行sql脚本，不返回结果集，如果想要查询数据请使用 <表输入>
FDLoad输出
批量装载
通过FDLoad并行装载数据

数据服务 功能说明
数据服务可以新建数据集，用户能通过数据集查看详细的数据内容，实现数据预览功能。API服务可以对接更多的数据接口，实现对接和发送数据。
适用场景
1.需要对数据进行查看和预览
2.需要对接外部的API数据