政企数据资产运营-数据共享交换

云派政务数据共享交换平台基于大数据底层框架部署，具备数据采集、数据治理、数据超融合、图谱检索、自定义报表管理等多项数据底层汇聚融合组件，并具备数据分析挖掘、数据可视化展示、数据图谱等数据应用等功能，是一套完整的数据共享交换平台解决方案，可以满足各行业数据集中汇聚、交换、共享、开放平台的应用需求，并可根据不同行业客户的需求对功能组件进行定制化开发，应用方向广泛多样。同时平台为上层应用提供了灵活的 API 接口，为后期平台的应用扩展提供了更多便捷。
平台建设遵循“五个统一”的原则：统一工程规划、统一标准规范、统一备案管理、统一审计监督、统一评价体系。梳理整合共享支撑政府业务应用的各类信息系统，如：基础数据库（人口、法人、自然资源和空间地理、宏观经济、电子证照）、重要政务信息系统（企业注册、社会保障、城乡建设、生态环保、应急维稳、健康保障、信用体系、投资项目、公共资源交易、价格监管）等。

功能介绍
(一) 数据目录的注册和管理
数据目录管理，可以实现数据资源的统一注册管理，实现对信息资源建设的统一管理，规范编制标准的数据交换目录。
(二) 基础数据的归集、分发
需要按照资源提供方注册信息从各部门采集共享数据至前置机，再根据数据申请及审核结果，按照资源使用方申请进行数据的分发。
(三) 数据交换共享
（1）数据资源使用方可通过数据资源目录查看平台共享交换资源，提出数据交换申请获取数据资源，数据管理员审核通过后，可通过数据库连接、文件下载、接口交换等多种方式进行数据交换。支撑跨部门、跨系统的数据共享交换，提供交换管理监控功能。
（2）数据资源使用方可通过创建任务的方式，创建共享数据交换的任务，任务成功后可以将前置机中的数据采集/或者推送到相应的数据源中，支持多张表的数据共享。
(四) 数据可视化展示
系统需对前置机状态、处理、交换的各类业务数据及系统实时运维状态提供直观、生动的各类可视化展示。
(五) 数据检索
平台提供多种检索方式供用户对数据中心数据进行检索查询。
(六) 运维监控
该平台汇聚了各业务系统的大量历史数据及实时数据，因此该系统所采用的运维监控系统需要能对数据交换及传输状况进行实时的监控，并可对数据在交换及传输过程中所出现的异常状况进行统计分析，指明失败原因，方便系统运维人员进行处理。减少人员干预量。

技术路线
本平台采用组件化的设计模式实现，各组成模块尽量作到松散耦合，可以无限制扩充，从而实现与其他系统模块的无缝集成。
本项目将基于Hadoop、HBase、Spark、Zookeeper、Hive等当前大数据主流技术进行系统的构建，并结合SOA、GIS等为用户全面的大数据应用。
总结起来主要采用了以下核心技术：
（1）元数据
本项目采用元数据理念管理采集用到的各种数据元素，元数据管理基于信息资源目录管理的资源体系实现，本系统元数据描述除清晰描述信息自身含义外，还清楚的描述信息的存取方法、基本属性等信息，为建立在信息资源目录基础上的数据抽取创造条件。
（2）SOA架构
本项目采用SOA技术架构进行开发，各组件统一在容器中进行规划并接受容器的统一调用与管理，实现组件间的松散藕合，这种组件化的模式使系统兼备技术的先进性与灵活性，最大程度的兼顾了当前和今后应用系统的多样化，同时为平台的无限制扩展提供可能。
（3）并发技术
由于系统运行时需要同时进行多种处理，所以本项目在设计时采用多线程并发技术，平台数据采集、清洗、交换等功能采用分布式计算体系，基于事件驱动的数据处理，可以将不同任务同时部署并运行在不同机器上，对数据进行并行处理，解决了当数据交换超过负荷而出现的数据堆积，效率降低等问题。
（4）HDFS技术
本项目数据中心平台利用HDFS实现分布式文件管理， HDFS有高容错性的特点，并且设计用来部署在低廉的硬件上；而且它提供高传输率来访问应用程序的数据，适合那些有着超大数据集的应用程序。HDFS放宽了POSIX的要求，可以以流的形式访问文件系统中的数据。
（5）Spark技术
本项目流数据处理采用了Spark技术。Spark基于map reduce算法实现的分布式计算，中间输出和结果可以保存在内存中。Spark能更好地适用于数据挖掘与机器学习等需要迭代的map reduce的算法。
（6）Hbase技术
本项目数据存储采用Hbase技术，Hbase是Hadoop上的一个键值对NoSQL数据库，其主要特性是支持高并发文本数据写入和读取，舍弃了关系数据中的事务、关联、复杂索引等 HBase的典型场景可用于详单存储和查询、互联网内容存储、GIS数据存储、半结构化历史数据存储。

业务需求
建设政务数据开放共享平台既是简政放权的需要，也是政府职能转变的需要。
1、促进业务的共享协同
通过数据资源中心的建设，将相互独立的政务系统，分散的业务数据按照标准规范有序的集中起来，进一步拓宽信息资源的应用领域，实现信息资源配置的最优化，从而最大程度地挖掘信息的价值。
2、推进精细化全方位的业务管理
大数据应用于社会治理，有效地解决了繁杂的管理信息、分散的管理资源与精准的管理需求、高效的管理效率之间的巨大矛盾，使得传统技术条件下长期存在的——“管理信息不能有效交换与共享、管理政策难以统一、部门协作存在瓶颈”的局面得到极大改观，推动政府管理由粗放向精细化转变。
3、为政府决策提供科学依据
好的决策是成功的一半，政府治理的关键在于决策。然而，当代公共事务日趋复杂化，缺乏信息支持的政府决策往往顾此失彼。大数据应用于政府治理有利于揭示公共事务的内在关联性，利用数据融合、数学模型、仿真技术等大数据技术可以提高政府决策对信息的占有与分析能力，为科学决策提供数据支持，从而大大提高政府决策的科学性。
4、为政府简政放权和职能转变保驾护航
切实转变政府职能和推进简政放权是全面深化改革的重要内容。大数据发展和应用缩短了政府经济社会管理的距离，为简化行政审批流程、提高审批和服务效能创造了条件。
5、为政府治理模式转型创造条件
大数据时代，来自社会和政府的海量数据不断涌现，促使政府治理模式，包括体制、结构、职能、流程和方式等发生了革命性的变化。大数据可以进一步促进政府信息公开和数据开放，从而提高行政管理的透明度和政府公信力，同时还可以从数据共享、内部竞争、细分服务、智能决策、创新驱动等方面改进政府治理绩效。
6、为提高政府公共服务能力，满足企业、公众多样化、个性化需求提供便利
一是大数据应用可以提高公共服务精准性；二是大数据应用可以降低公共服务成本；三是大数据应用可以增加公共服务透明度；四是大数据应用可以促进公民参与公共服务。
数据共享交换包含：
安全管控：多租户管理、日志管理、基础管理等
资源中心：实现各类数据的注册，完成注册数据的采集、编目、注册、关联、交换等操作。形成标准的政务信息资源目录交换体系，本平台主要包括基础管理、目录管理、资源管理、待办任务、订阅列表、文件导入、消息列表
门户首页：数据共享服务门户，主要包括数据目录、权责清单、交换统计
运行监控：平台各功能组件运行监控，数据、服务、环境、日志监控
服务中心：要包含JAR服务的注册、卸载、停止、测试功能