FastData DataFacts 配套实施服务

一、DataFacts 一站式数据智能服务平台

  1、数据采集

  （1）基于CDC技术，提供对不侵入业务系统的企业级实时数据同步服务，保障数据时效性、可用性；

  （2）基于WAL架构下的CKP异常自动保存技术，实现断点续传，面对再复杂的网络状况，也能保证数据传输的稳定性；

  2、数据建模

  （1）数据模型、加工及服务规范化，保障建模流程规范可控，促进企业数据标准化；

  （2）融合多个行业最佳实践方法论，提升建模效率，实现业务场景高匹配；

  3、数据开发

  （1）支持WEB SQL的可视化离线/实时任务开发，降低用户学习成本；

  （2）数据处理任务以DAG组织，任务修复重跑、暂停、kill等操作更优雅；

  （3）丰富的大数据组件，根据资源现状灵活实现多种任务，资源利用率更高；

  （4）支持数据的开发与生产环境隔离、多人协同开发，更安全、更高效；

  4、资产管理

  （1）基于元数据，统一管理数据资产，支撑数据资产持续增值；

  （2）企业级数据地图，数据资产生产及分布一目了然，做到易获取、低闲置；

  （3）覆盖数据资产化全流程进行质量监管和检验，保障数据完整性、有效性、及时性、一致性、准确性、唯一性；

  （4）内置质量检测规则模板并支持自定义，及时发现问题数据，减少数据污染；

  5、数据服务

  （1）统一的企业数据共享服务，严格管控数据使用权限；

  （2）多视角监控及分析服务的使用情况，高效评估数据资产的价值；

  6、数据安全

  （1）贯穿数据资产化全程，提供对隐私数据的加密、脱敏、授权监控等多种数据安全管理措施，全方位保障数据的安全运作；

 二、DataFacts DCT 数据集成服务

  1、实时同步

  采用基于日志的增量数据获取技术（CDC），为数据管理、数据仓库、大数据平台提供实时、准确的数据变化，从而使得客户可以根据最新数据进行运营管理与决策制定。

  2、离线同步

  支持关系型数据库、NOSQL及大数据（OLAP）等同构数据源或异构数据源间的数据结构同步、全量/增量同步。适用于整库迁移、数据库上云、数据库拆分扩容等场景。

  3、增量同步

  增量是相对于全量而言的。全量是指以基于某种过滤条件、在某个时间获取到的历史数据快照；增量为全量同步过程中或同步完成之后，源库产生的增量数据。

  4、断点续传

  基于WAL架构，发生异常时自动保存CKP，出现断网情况，当网络恢复，可基于断网的定期保存检查点，实现断点续传，保证数据传输的稳定性。