数据接口开发

一、 系统概述
数据接口服务主要解决的问题是，对众多不同来源的数据进行规范和整合，并提供统一的对外服务，包括以下方面：
1. 不同数据来源的数据结构、通信协议和加密方式不同，而且数据变化频繁，需要为数据的接入和变更提供方便的基础架构。
2. 需要对接入数据进行统一的缓存和日志记录。
3. 对于不同来源的相同征信数据，需要提供负载均衡。
4. 需要对外提供统一的征信数据服务接口。
5. 需要对用户权限进行控制，为不同用户提供不同维度和深度的数据服务。
6. 需要对计费方式进行控制，对同一服务为不同用户采用不同的计费方案。

二、 系统架构设计
1. 系统整体架构
系统整体采用微服务架构，内部所有子系统和模块之间通过无状态请求进行交互，所有状态信息都集中保存在数据库和缓存中，因此所有子系统和模块都可以方便地进行水平扩展，通过增加节点的方式提高处理性能。
系统使用spring boot 实现，可以通过三种方式进行部署：应用程序、Web应用服务器、Docker容器，可以适应不同的服务器环境。
系统主要包含三个子系统：api服务系统、Web服务系统和管理平台。
2. api服务系统架构
api服务系统是征信数据集市系统的核心，负责数据接入、数据整合以及为api用户和其他子系统提供统一的征信数据服务。api服务系统包含以下层：
(1) 数据接入层
数据接入层负责处理数据接入相关功能，针对不同的数据来源提供一系列公用工具，便于快速开发新的数据接口。公用工具包括数据库访问、http接口访问、web service接口访问、多种加密方式支持、xml/json数据格式解析和转换。
数据接入层对上层提供一致的数据请求方式、统一的数据缓存机制和统一的日志记录机制。
(2) 核心服务层
核心服务层在数据接入层的基础上，根据业务逻辑对征信数据进行处理：在同一征信数据的不同来源之间进行自动切换；将不同来源的征信数据结构规范为一致的形式；将多个相关的数据来源整合为单一的服务。
核心服务层对上层提供规范化的征信业务服务。
(3) 用户服务层
用户服务层在核心服务层的基础上，提供面向用户的征信服务。在这一层中会根据用户类型、用户权限、付费状态和请求量对用户请求进行限制，并且根据用户需求对服务字段进行过滤和裁剪。记账和用户服务日志也在这一层处理。
(4) api服务层
api服务层实现对外的api接口，灵活实现报文格式（xml/json），接口协议（rest/ws）和数据加密（rsa）等功能。
3. 管理平台架构
管理平台面向系统管理员提供对数据集市系统的管理配置功能。系统采用前后端分离的方式实现，后端使用spring boot实现，通过restful接口提供服务，前端使用js实现web应用，编译为独立的静态文件，方便部署和调用。前后端之间使用api网关处理身份认证和权限控制等功能。
4. Web服务系统架构
Web服务系统与管理平台一样采用前后端分离的方式实现。系统主要包含两方面功能：一是账户管理功能，用户可以在系统中查看自己开通的接口以及权限和计费信息；二是在api服务系统的基础上为用户提供可视化的数据查询功能。

三、 系统功能说明
1. 接入数据缓存
系统对接入数据提供统一的缓存功能，每个数据源可以单独设定缓存时间。在缓存时限内，对成功请求的重复请求将直接从缓存中获取结果，从而降低系统运行开销和访问数据源产生的费用。
2. 数据权限控制
在管理平台中，管理员可以根据需求选取服务数据中的部分字段动态为用户创建服务。同一个用户可以对同一个服务请求不同的字段集，对每个子集使用不同的价格和计费方式。
3. 访问量控制
可以对特定用户访问特定服务的访问量进行控制，包括每日最大请求量、每月最大请求量和整体最大请求量。请求量可以按照设定的查询结果类型进行统计，如按照查询成功统计、按照查得结果统计等等。
4. 计费功能
计费分为包月和按条两种方式，包月计费方式每月收取固定的费用，按条计费方式会根据请求结果按照不同标准计费。
有些服务需要根据不同的返回结果收取不同的价格，例如是否查得数据，返回数据的详细情况，返回数据的类型等等。在服务的返回结果中，会包含计价类型字段，来对请求的计费级别进行分类。在管理平台中，对于不同的用户，可以为不同的计价类型定义不同的价格，从而实现灵活的定价策略满足不同用户的需要
5. 统计功能
系统可以从数据源、服务、计费三个角度生成统计报表，可以在管理平台中查看和下载。
6. 日志查询
系统保留完整的访问日志。管理员可以在管理平台中查询对数据源的访问记录和用户对系统的访问记录。用户可以在Web服务系统中查询自己的服务访问记录。