DTinsight-实时开发平台

商品介绍

    实时开发平台（StreamWorks）是基于 Apache Flink 构建的云原生一站式大数据流式平台，覆盖从实时数据采集到实时数据开发全链路流程，支持 FlinkSQL 和 DataStream API 作业开发，计算处理延时最低可达亚秒级别，并提供丰富的 Metric 运维监控曲线和日志功能，助力企业搭建实时数据处理平台。

功能介绍

    StreamWorks中采用MySQL、HDFS进行元数据数据存储，自研FlinkX和FlinkStreamSQL作为技术底层，实现传统关系型数据库中的实时数据采集，到Kafka中间件进行流式数据存储，最后通过Flink进行消费实现实时业务场景落地的完整实时开发过程，提供一站式实时开发平台。基于平台可实现态势感知、IoT传感信息分析、直播运营等丰富实时场景。

1. （1）数据源管理
   

    支持实时数据开发过程中常用数据源，包括MySQL、Oracle、Kafka、SQL Server、DB2、EMQ等。

• （3）实时采集
  

    支持MySQL BinLog、Oracle Logminer、Kafka实时数据采集，支持分组多对多写入、手动选择实时采集起点，用户通过速率和并发数控制可准确控制采集过程。

    （3）数据开发便捷

    支持FlinkSQL、Flink任务类型，提供向导、脚本、算子化拖拉拽多种开发方式，用户可直接在Web IDE中编写或通过手动上传Jar包的方式进行任务开发。

    （4）任务运维清晰

    一站式任务运维，支持Task Manager日志查看、Metric运维曲线监控、全链路算子化监控、CkeckPoint续跑、告警配置等功能。通过相关指标的展示，用户可清晰定位任务问题，实时感知任务态势。

    （5）任务发布管理

   支持对实时开发中的任务、资源、函数等内容进行统一打包，从而在不同项目环境间实现快速迁移，任务备份等功能场景，让测试/生产环境不再如隔“天堑”。

    （6）自动启停策略

    支持常用时区不同生效时间的启停策略配置，实时任务自动启停，根据业务场景释放多余队列，让集群资源利用最大化。

产品优势

    （1）兼容主流数据源

    采用袋鼠云自研的分布式数据同步工具FlinkX，兼容多种数据源实时采集，并进行了平台可视化的集成和调优，平台内置MySQL、Oracle、Kafka、SQL Server等数据源实时采集功能。开发人员可避免传统繁琐的参数配置，实现“一次配置，多次复用”。

    （2）性能优越，实时处理能力强大

    采用新一代Flink计算引擎，袋鼠云自研调优后可实现关键性能指标为开源Flink的3到4倍，超越Storm性能6到8倍。数据计算延迟优化最大可达亚秒级别，单个作业吞吐量可做到百万级别RPS（记录/秒）。

    （3）一站式平台开发，全链路场景覆盖

    覆盖实时采集、数据开发、任务运维等场景，集成实时开发全链路功能，充分满足实时数据开发过程中的各项需求。

    （4）Web IDE开箱即用，图形化+脚本双开发模式

    采用Web IDE 形式，部署完成后登录即用。图形化/脚本双开发模式，图形化模式对繁复的底层开发逻辑进行简单封装，能够满足大多数开发场景使用；脚本模式支持更丰富的参数定义，适合资深实时开发人员使用。