新点政务大数据 主题库

总体概况
新点政务大数据平台通过数据汇聚能力，融合各部门数据，以及各类社会数据和互联网数据资源。根据政府行业数据体量大的特点，以符合业务发展为目标，采用改良的建模方法，可保持公共数据层的稳定性以及数据处理的性能，为上层业务提供稳固的数据底盘，加速业务效果的产出，形成数据中台，以支撑上层算法引擎，满足业务的数据需求。

   新点政务大数据平台提供一站式数据资源管理服务，涵盖数据架构、数据标准、数据质量、数据生命周期管理、数据可视化等多项数据管理应用，可以为业务应用提供全量的、标准的、干净的、智能的数据。

   新点政务大数据平台覆盖数据接入层、数据开发层、数据治理层、数据分析层、数据服务层、数据可视化层，实现标准数据模型管理、应用数据模型管理、数据质量管理、数据链路分析、智能标签体系建设、业务算法模型管理及应用、全局运行维护等主要功能，提供标准化程度高、易用性强的一站式大数据管理平台。

   依托新点政务大数据平台，可设计高质量的标准化数据模型，减少重复开发工作，用户可全面了解数据质量、数据使用情况和系统运行情况，并从业务视角更直观地使用及探索数据，更高效地从数据中获取业务价值。

   1.1数据共享交换体系
大数据共享交换平台是实现对多源异构数据源的统一接入归集，统一编目，统一数据治理集成，从而形成高质量的数据资源。并对数据资源统一管控，提供统一数据共享和开放能力，是大数据管理中心的关键管理系统。
1.1.1资源目录管理
政务信息资源目录是实现政务信息资源共享和业务协同的基础，是各政务部门之间信息共享的依据。资源目录管理系统包含目录分类、目录编制、目录审核、目录发布、目录修改、目录下线、质量检查、目录查询、目录统计等功能。

   1.1.2数据资源管理
数据资源管理系统是整个数据共享交换的核心业务功能，实现对数据归集、资源管理、数据共享的统一管理和服务。

   1.1.3数据交换管理
数据交换系统提供交换节点之间的数据、文件等抽取、转换、传输和加载等数据交换能力和服务交换的管理功能，确保部门之间、部门与政务大中心之间数据交换过程中的安全，并提供交换审计的管理，对交换流程、交换节点、交换量等进行统一配置和监控。

   1.1.4数据服务管理
数据服务管理系统定位为数据服务支撑，目标为通过一体化的服务管理、标准化的服务规范、可扩展的服务能力、高可用的服务性能，为政务大数据的数据共享需求，尤其是实时接口类的数据共享，提供了便利的服务通道。通过自动化，自助化的方式找到数据，提供数据，使用数据。通过数据服务管理系统，可将信息资源层中的信息资源与不同操作方法进行封装，可供各部门业务系统申请获取并使用，通过数据服务可实时获取资源数据，并可通过动态参数来过滤数据，以实现动态需求的快速响应获取。

   1.1.5数据级联管理
数据级联主要解决跨层级的资源目录、数据资源的上传和下发。级联管理系统包括级联配置管理、资源目录管理、数据级联管理三大块内容。

   1.1.6门户配置管理

   提供针对开放门户和共享门户的后台配置管理能力，包括栏目管理、栏目权限、信息发布、地图服务、社会用户管理等。

   1.1.7政务共享门户
政务信息共享网站可以实现全区域跨部门、跨层级的政务信息资源的共享，包含资源目录展示及统计、资源综合检索定位、资源申请审核、资源订阅、资源API接口申请、缺失资源申请等功能。另外，可以作为数据中台和基础库查询及利用等功能的入口载体。

   1.1.8数据开放门户
基于政务信息资源目录体系，构建公共信息资源开放目录，按照公共数据开放的有关要求，推动政府部门和公共企事业单位的原始的、可机器读取的、可供社会化再利用的数据集向社会开放，使社会公众能够获取政府大数据共享开放带来的红利，同时政府也能够通过此门户窗口获取社会资源信息。

   1.1.9供需对接
供需对接，作为政务信息资源目录和交换体系的重要补充，面向部门日常业务、堵点问题、营商环境、便民利用等各类业务场景，提供数据共享的数据需求提出、数据需求分析、数据需求分发、数据需求确认等功能，形成数据责任及共享任务，推动共享任务的实施，将多部门的数据资源进行有效融合，并统一提供给数据需求方，从而形成整个工作闭环，方便需求部门便捷高效地获取数据，提升数据共享的能力。具体包含接口开发实施、数据融合实施、数据集构建实施等工作。

   1.1.10运行监控
数据运行监测系统对政务信息系统整合共享工作的开展进行跟踪监测，为常态化的政务信息系统和政务信息共享评估提供依据；对数据中台的整体运行情况、资源目录编制情况、数据资源归集情况、基础库治理情况、数据资源共享情况、数据资源开放情况等进行实时监控及多维分析，为平台高效的运行提供数据决策服务。

   1.1.11绩效评估
数据绩效评估系统是建立政务信息资源共享服务评估体系，对目录编制、数据归集、数据标准、数据质量、供需对接、数据共享等方面进行合理、有效地评估，完成评估本区域各部门和各地政府政务信息资源共享工作的完成程度和效果，以评估评价强化本区域数据资源共享的常态化工作。与行政管理措施相结合，督促各部门和各地政府保质保量地完成政务信息资源共享相关工作。

   2.1数据治理体系
2.1.1数据采集汇
离线同步:针对部门未建设业务系统，仅有电子文件，或原业务系统因维护问题无法连接，根据部门提供的信息项，动态生成EXCEL模板文件。部门填写数据后，提供解析数据并导入的能力。
实时同步：业务数据库无法通过前置库采集，且需要实时采集的情况，可以通过解析数据库日志的方式，不需要安装在数据库服务器中，也不需要在数据库中创建任何的触发器、临时表等对象，实现数据库的增量数据捕获，对数据库的干扰几乎为零。
数据连接：数据连接管理需要支持对数据连接的编辑与修改。数据连接创建完成后，用户可以根据自身需求修改数据连接的参数；当用户不需要使用某一个数据连接时，可以在数据管理中将该数据连接删除。
断点续传：通过将加密压缩数据包进行分片处理（可以配置分片大小控制网络流量），可以节省时间，提高数据交换速度。
多通道传输：系统整合了高吞吐量的分布式消息队列，可以根据实际业务需求进行横向扩展，数据传输支持多通道，解决了并发量高导致的数据拥堵问题，同时增加的数据传输的效率，每个队列独立存在相互隔离。
跨网路由：在不同的网段，层级之间根据交换节点服务的定向通讯，将数据包通过https加密传输协议进行定向转发，实现跨网段、跨层级的数据传递。
数据加工开发：对通过数据汇聚接入得到的各类海量数据，根据不同业务的要求，进行离线处理和实时处理。加工之后的数据可根据业务属性结合各类算法，进行再加工，挖掘数据内部的逻辑和价值；对数据加工治理的过程、各类作业，通过任务调度统一管理；支持以表为维度的向导式数据治理；通过配置告警规则，对处理中发现的各类问题进行及时处理，定时巡检，结合其他智能运维手段，对数据加工全流程进行全程管控。
2.1.2数据库规范模型
数据体系是新点政务大数据平台的数据存取核心，具体细分包含了数据归集层、标准数据层、标签数据层、应用数据层等，将数据进行分层分类存储。数据归集层通过数据仓库技术存储从部门资源库的全量数据，标准数据层对对归集库中的数据进行标准化治理，标签数据层，除基础库以外，把对基础库进行标签处理的海量标签也进行存储，应用层主要建设应对各类业务要求的专题库、主题库，快速支撑业务需求。

   2.1.3数据资产管理
数据资产主要对政府各部门数据标准、元数据、数据目录、数据血缘等各类数据资产进行管理，为部门梳理家底，有效管理各类数据资产，起到了抓手作用。

   2.1.4数据查询服务
提供基于全文检索的配置、关键字检索和日志分析能力。

   2.1.5数据订阅服务
通过数据订阅服务，实现库表订阅、文件订阅和接口订阅三种订阅模式。

   2.1.6算法建模服务
通过数据建模，结合各类算法，为上层应用提供包括流数据实时分析服务、机器学习、深度学习在内的各类数据分析、数据挖掘服务，为各类决策提供科学的依据。

   2.1.7数据指标服务
数据指标系统可自定义指标和模型，方便用户对指标进行日常维护管理。可以关联库来自数据资源库的库表数据源和来自数据中台的接口数据源。

   2.1.8数据标签服务
数据标签建设是一个系统工程，基于业务数据，利用数据分析挖掘手段，形成不同业务主题和场景的应用标签体系，通过集中式管理，推进标签的综合应用，打通标签成果与业务系统的推送链路，逐步形成统一的标签应用管理体系。

   2.1.9数据可视化服务
相比传统的数据统计图表、数据仪表盘，如今的数据可视化致力于更加丰富多元、直观生动、且对人类友好的展现形式，通过对庞杂业务数据的筛选、分析、加工和输出，通过可视化技术即时呈现，帮助用户直观感受业务脉动，做出可靠决策。目前无论在零售、物流、电力、水利、环保、政务、交通领域，通过数据可视化大屏来帮助业务人员发现、诊断问题，越来越成为各行各业对大数据整体解决方案中不可或缺的一环。

   可视化平台旨在帮助客户更好地构建数据可视化应用，展示数据可视化的魅力，通过可视化展示发掘数据背后隐藏的业务价值，结合企业、政府用户的业务应用场景，如：智慧城市、智慧交通、安全监控、商业智能等，辅助用户进行高效、准确、全面的管理，为用户提供数据背后的价值。