软通智慧数据治理平台配套服务

软通智慧数据治理平台（简称：Tongbase）是一款轻量化的，支持云部署的，用以解决基于公有云、私有云下大数据平台的管理和开发问题。轻松化解不同数据产品间功能孤立，集成时业务流程难跑通、技术标准不统一的问题，帮助用户专注于数据价值的挖掘和探索。
      软通智慧数据治理平台集数据标准、元数据、数据集成、数据处理、数据质量、数据服务、数据安全、数据模型、运维监控等于一体，应用引擎组件扩展对上层业务应用的支撑，具备覆盖大数据全业务场景的功能体系，提供一站式的开发、管理、服务、安全、运维界面。
      软通智慧数据治理平台拥有强大的异构数据源集成能力、完善的数据治理体系和快速的数据服务能力，贯通数据全生命周期，具有全流程一体化、国产化、包容性强、可操作性强等特点。适用于城市政务服务、社会治理、互联网+监管等多领域，覆盖应用程序、视频、物联网等数据，是智慧城市数据建设环节的重要基础。

       平台定位：作为政府的各类业务的通用数据治理平台。

       平台价值：提供一体化的数据生命周期管理流程实现数据能力的变现。

       平台优势：流程完整、多维建模、一体化流程，几十个项目历练、成熟稳定、端到端服务能力。

  （1）元数据

  该平台通过元数据信息收集、分析、数据血缘探查等手段，完成数据信息的收集和管理，解决数据开发者和管理者“有哪些数据可用”、“到哪里可以找到数据”、“哪里在用数据”的难题，并且提升数据资源的利用率。提供快速的元数据采集，对数据库血缘分析、影响分析、提供热点表、热点字段、热点数据的分析。

  （2）数据标准

  数据标准是大数据平台的基础，为数据中心从管理、建模到处理、质量提供规范和依据，包括数据类目、数据元、代码、命名标准、规范、分类定义、函数分类、函数管理等。其中数据类目管理和维护系统所有的数据目录，为平台其它模块提供数据目录分类树形结构，数据展现更形象具体、层次分明；函数管理供系统用户或管理员管理和维护函数资源，支持定义：JavaScript、QLExpress表达式，支持有效性测试。

  （3）数据集成

  数据集成拥有强大的异构数据源集成能力，支持库表、文件、接口、消息等多种数据源的接入，核心功能包括：库表集成、消息集成、服务集成、文件上传；支持表单创建和任务编排2种创建方式，支持离线周期任务调度、实时运行任务。支持数据接入时对数据进行简单预处理包括：格式转换、代码转换、字段合并、数字签名等功能。

  （4）数据处理

  数据处理提供标准的接入数据清洗工具，及其他各类数据的加工处理工具。实现贴源层到后续各层数据的标准化，主要包括：数据清洗（库表、脚本）、文件清洗、数据过滤、数据比对、分发策略配置和数据推送，提供清洗记录查询列表，查询清洗数据量、正确数据量、错误数据量、重复数据量。

  （5）数据安全

  数据安全管理，提供敏感数据识别、数据安全分级、脱敏、审计等能力。具有以下特性：

  数据安全分级：支持自定义分级信息功能，满足不同业务对数据等级管理需要。同时，提供用户分级，用于划分用户的数据权限。

  数据脱敏：提供丰富多样、可配置的数据脱敏方式，无论是存储环节的静态脱敏，还是使用阶段的动态脱敏。

  敏感词服务：提供敏感词扩展服务，通过敏感词服务审查文本数据的敏感性，并进行分类。用户可以根据实际情况选配。

  （6）数据质量

  数据质量模块提供一体化的数据质量管理链，包括数据探查、数据比对、质量监控、质量工单、问题数据管理、数据修复、质量告警等，完成数据仓库各层的数据质量监控。

  用户可以根据不同的业务场景，针对数据表提供记录行数、空值数、空值率、重复数、重复率等多种统计函数，校验方法支持固定值检测、波动值检测，告警阀值支持灵活的自定义。

  数据质量的保障与提升是数据平台所需的必备功能。通常含义的数据质量包括完整性、一致性、有效性、及时性、准确性等。

  （7）数据模型

  数据模型提供系统内统一公共字段配置，定义类型映射，对不同库表提供具体字段类型映射配置。支持数据指标配置主要包括：原子指标、派生指标、复合指标，使用结构化的语言实现规范设计建模，提供关系建模、维度建模方法、统一数据架构，沉淀指标的资产价值，其中维度建模支持：维度表、事实表、汇总表三种不同维度的快速建模入口。

  （8）数据服务

  数据服务提供统一的数据服务总线，统一管理对内和对外的API服务。涵盖从数据服务设计、开发、测试、管理到发布的全生命周期管理。只需简单配置服务信息，即可守成数据服务的注册与发布，支持分钟级限流，可集成第三方API，统一实现数据服务的安全与流控。可以支撑政府系统内部实现跨系统、跨业务、跨部门、跨层级、跨区域的数据共享，也可以支撑对社会公众开放的数据开放服务。

  （9）运维监控

            运维监控提供整体的运维概览、任务管理、任务运行实例、集群监控。为运维管理人员提供统一的任务查看页面，能够查询任务运行状态、任务分布情况、近一月任务出错排行、较慢任务运行时长排序等内容，对任务进行管理提供立即执行、启动调度、停止调度、取消任务、置成功、任务配置查看等功能。

  规格说明：

  （1）数据治理平台-初级版

  功能清单包括：数据资产、元数据、数据标准、数据集成、消息管理、数据处理、数据质量、系统管理。

  （2）数据治理平台-中级版

  功能清单包括：数据资产、元数据、数据标准、数据处理、数据质量、数据安全、数据服务、运维监控、系统管理。

  （3）数据治理平台-高级版

  功能清单包括：管理中心、数据资产、元数据、数据标准、数据处理、数据质量、数据安全、数据服务、数据模型、运维监控、系统管理。