数栖

商品介绍

产品架构

一、数据交换（多源异构数据的分布式交换工具）

数栖平台的数据交换功能提供多种类型的数据抽取插件和数据写入插件，以同步中心驱动，灵活配置各输入与输出数据存储，自适配各数据抽取、写入插件的数据转换；数据源存储根据实际布署情况，避免直接操作主库，尽量选择备库进行数据抽取；目标存储是以HDFS为核心的分布式系统，方便支持在线BI及算法挖掘，支持未来业务发展时水平扩容。平台功能包括数据源管理、数据同步模块、数据同步任务管理、同步任务监控。

功能：离线数据同步、实时数据同步、非结构化数据同步、整库数据同步、监控告警、DataPipeline、数据计量

1. 支持多种数据源

提供20+种多源异构数据的稳定高效传输，如：MySQL、Oracle、SQLServer、Hive、GreenPlum、Postgresql、MongoDB、HBase、OTS、FTP、HDFS、OSS 、HANA、DB2、CarbonThriftServer等，支持以插件化、热插拔的方式对数据源进行扩充，快速支持二次开发。

1. 支持向导和脚本双模式

提供可视化向导和脚本编辑双模式配置源端和目标端相关设置。向导模式，用户只需通过可视化界面进行任务的创建与配置，如：同步任务选择源头表、目的表、配置字段映射关系和配置传输速度控制等，即可快速完成同步任务。同时也提供脚本编辑模式，支持用户通过编写脚本的方式完成同步作业。

1. 灵活的预处理机制

提供数据预处理功能，支持简单的数据清洗函数策略，如：replace、filter、substr、pad等以及通过Transformer自定义复杂转换函数，在数据交换的前、中、后任何阶段进行数据预处理操作，从而避免由于数据敏感、重复等因素造成的困扰。

1. 支持实时/离线、全量/增量同步

提供每日数据全量、增量同步，仅需用户输入相应的过滤条件即可实现，平台也提供bizData函数，支持部分具备时间戳的标识业务库进行增量同步。支持非结构化数据同步，支持整库同步方式、满足各类业务场景要求

1. 细粒度的过程控制

数据同步过程中，可根据具体场景对容错、并发、速率和运行内存等控制配置等参数进行设置并进行监控，避免抢占业务资源的同时保障任务按时、准确完成。支持数据源的条件过滤、数据冲突策略、转换规则配置高级配置等；支持对同步任务配置依赖关系（约束同步任务与其他任务的执行先后顺序）和定时调度策略。

1. 系统安全性

针对各环节，采取必要的权限和内控机制，防范安全漏洞。统计分析的各项数据信息的准确性、安全性要求很高。为了保证系统的安全可靠，整个系统采用各种软硬件技术将系统核心的信息与用户操作界面进行有机的隔离和授权访问，达到有权者畅通无阻、无权者寸步难行的效果。

二、数据开发（一站式大数据研发套件）