首页 资讯正文

基于微服务技术的政务数据共享交换“五可”实践

从《政务信息系统整合共享实施方案》到党的十九大精神,国家对推动政府数据“聚通用”水平再上新台阶以及深化“放管服”改革转变政府职能提出了更高要求。但全国大部分地区在深化大数据“聚通用”时,依然存在较多问题。比如“聚”的方面,“金”字工程数据集聚难、数据孤岛依然存在;“通”的方面,一些涉及利益调整“不愿通”,一些由国家部委垂直建设的系统“不能通”;“用”的方面,部门单位缺乏应用意识“不想用数据”,一些实用技能不够“不会用数据”,一些担心数据揭示现实问题“不愿用数据”,没有制度支持数据共享与开放“不敢用数据”,用传统思想和方法管数据“不善用数据”。

目前,微服务作为一个新兴的软件架构,通过把一个大型的单个应用程序和服务转化拆分为数十个的微服务。针对微服务的技术特点,我们可以对每一个数据项建立标准接口,对数据接口进行二次封装,规范化、标准化、统一化的发布、访问管理,以及推送用户数据以及消息队列等服务。同时,建立微服务总线接管标准接口,按接口细粒度对数据资源进行管理,形成服务目录、数据目录和安全目录。通过服务目录、数据目录及安全目录的协同使用,有效避免了服务交换过程中不可监督、不可视、不可追溯、不可控导致的数据滥用、冒用和复用。

配合机制创新、制度创新、技术创新,遵循“责权清晰、统建共用、全程管控、标准一致”的原则,建立“谁拥有,谁负责”、“谁使用,谁负责”、“谁流转、谁负责”的机制。明晰数据在共享交换过程中数据的归属权、使用权、管理权,通过微服务总线技术模式,实现数据共享交换服务。最终在“三融五跨”的基础上,实现政务数据共享交换的“可有”“可用”“可视”“可控”“可溯”,实现“聚、通、用”的新跨越。构建以“三融五跨”为特征的政府数据“聚通用”发展新格局。

微服务总线+数据区实现逻辑
 

微服务总线+数据区实现逻辑

【可有】分步建立“分布式数据区”,解决物理分散、数据不搬家问题

借助数据资产“一张图”,建立数据资产登记情况、目录发布情况、数据上架等政务信息资源目录体系,并对数据进行分级分类。通过数据盘点、登记,建立清晰的数据归属权、共享管理权、使用权,确保数据共享交换全流程的可监控、可追溯。

对于实现信息系统和数据资源的原始数据,通过数据调度平台进行数据接入,故需建立专门的数据区进行数据存储。采用建立数据区对数据接口进行标准化二次封装,替代建立数据前置区方案。分布式系统主要包含分布式存储、分布式文件系统、分布式数据库系统、数据接入功能和异构数据库接入等功能。实现 “数据不搬家、数据不重写、不打破原有数据管理模式”,解决数据共享交换问题。

针对存量业务系统原始数据,可采用BaaS服务(后端即服务,是一种新型的垂直领域微服务),进行数据接口的二次封装,并对数据接口提供规范化、标准化、统一化的数据缓存、消息推送、消息队列、数据目录、接口发布等服务。

【可用】基于“微服务总线”架构,建立标准化共享交换管道

微服务总线核心功能是按接口细粒度对数据资源进行管理。在提供基于接口总线的指挥调度功能的同时,还提供安全服务,充分满足数据调度管理的要求。同时,微服务总线将权限控制这些较为繁重的非业务逻辑内容,迁移到服务路由层面,使得服务集群主体能够具备更高的可复用性和可测试性。微服务总线业务流程大致分为:服务管理、权限控制、服务交换。

服务管理的主要功能是将服务管理系统化,可以直接在数据调度方中,方便的维护接口,而且需要有版本管理和权限管理。服务实际上架完成后,可以根据服务管功能,直接进行服务的实际调用测试。

权限控制的主要功能是实现APIKey,通过以密钥为参数,配合适当的签名算法,可以得到原始信息的数字签名,防止内容在传递过程中被伪造或篡改。

服务交换的主要功能是透明化服务路由,服务调用者只可以知道当前服务提供者提供了哪些方法,并不知道服务具体在什么位置。以此实现服务的透明化指挥调度,实现对服务的全面掌控。

【可控】基于“ 微服务总线”架构的服务控制

微服务总线提供服务控制功能,如服务流量控制、优先级控制,限制了用户对微服务总线资源的访问,确保使用者只能访问它应该访问到的资源。

提供多级(实例、服务、授权)的服务流量,用于防止在端口阻塞的情况下丢帧,这种方法是当发送或接收缓冲区开始溢出时,通过将阻塞信号发送回源地址实现的。服务流量控制可以有效的防止由于服务中瞬间增大的数据量对网络带来的冲击,保证用户服务和网络高效而稳定的运行。流量控制可以用于管控服务的被访问频率、APP的请求频率、用户的请求频率,控制的时间单位可以是分钟、小时、天。当流量超过阈值,新来的请求会被微服务总线拦截,确保后端服务可以正常运行。因此流量控制可以用于管控 API的被访问频率、APP的请求频率、用户的请求频率,是微服务总线重要的控制手段之一。

通过配置决定服务优先通行权的控制方式。例如,要按照服务的性质或是按照服务的来源等,指定其优先级,然后微服务总线根据各服务优先级的高低,来决定处理各服务的先后次序,甚至在处理过程中,还能允许优先级较高的程序中断优先级较低的程序。

【可视】基于“ 微服务总线”架构管控操作日志可视化

微服务总线可将管控操作日志推送至可视化平台。管控操作日志内容包括:操作日志、故障定位和资源监控。微服务总线提供的操作系统日志,包括统计信息,如数量错误、最小和最大响应时间以及处理的消息数量。故障定位包括管控、服务消费与管理审计日志,详尽的服务调用状况统计、网络链路分析,以及系统巡检和报警。资源监控,提供日志监控以及实时报警功能,同时支持提供实例管理、用户管理、灵活的系统角色权限定制能力。

【可溯】基于“ 微服务总线”架构的数据全流程的追溯

微服务总线是基于微服务架构所呈现的形态,微服务总线的建立,可以满足数据调度过程的可控、可溯,对经由微服务总线的所有数据接口、数据流进行全程监控,并能够对整体流程进行审计。同时,微服务组件化管理中的服务目录还需要形成服务库表,以供数据调度进行使用。

微服务总线接收数据调度指令,根据数据来源,将数据区封装发布的标准API/SDK接口回调到数据调度平台,完成整个调度流程。微服务总线可以说是数据调用接口的详细信息集,用于存储数据调用的具体参数、调用方式、接口等信息。以此达到全流程化的精细化管理助推政务信息数据资源“一数一源”。

关于国路安科技

国路安科技公司成立于 2009 年,是一家专注于大数据领域,为政府、行业、企业提供数据整合共享平台、配套产品研发、一体化解决方案的高新技术企业。总部设于西藏,在北京、上海、贵州等11个地区设有分支机构,目前已形成“两个中心,七大区域平台,多行业纵深发展”的全国性战略布局。

国路安作为工信部“全国信标委大数据工作组”工作组成员之一,创新性的提出以“微服务架构+分布式数据区”为核心技术的数据整合共享解决方案,并将该方案以及相关产品、技术先后在某人力资源社会保障厅基础支撑平台建设、某省数据交换平台、某部委数据资产梳理等项目中获得成功应用。

基于微服务技术的政务数据共享交换“五可”实践

责任编辑:陈近梅

分享: