IA:一种科学数据云分析服务管理引擎

	IA:一种科学数据云分析服务管理引擎
	孟珍 ; 王学志 ; 谢志敏 ; 胡良霖 ; 陈之端; 马俊才 ; 佟继周 ; 张艳玲 ; 周园春
	2020
发表期刊	数据与计算发展前沿
ISSN	2096-742X
卷号	2 期号:02 页码:31-39
摘要	【目的】随着科学大数据技术的发展,问题导向的数据端分析成为常态。科学数据处理以云计算的形式跑在数据端,并提供安全的用户访问方式、可选的算法资源库、高效的数据存取接口、便捷的用户交互工具、有效扩展的计算和存储资源,将有力提升科学家的数据分析探索效率。【方法】本文提出一种基于容器技术的科学数据端云分析服务管理引擎设计方案:资源节点以自动注册的方式进行横向扩展,资源节点可以是物理主机或虚拟主机;当在用资源达到阈值,管理节点通过接口启动资源节点的注册,同时资源入池;可选的算法资源库、高效的数据和计算访问接口均以容器镜像的方式进行版本控制,在构造资源池时选用。容器实例池的健康度在节点内部进行维护,根据用户的最长使用时间、静默时间等进行实例生命周期管理;内部资源池的容器实例有准备中、准备好、使用中、消亡中几种状态,并始终维护资源池的固定大小。用户认证访问时,根据用户的领域算法库的选择和资源池的使用率进行新用户资源的接入,并通过代理配置提供唯一的标识入口以供用户访问;用户以安全加密的网络访问方式访问交互编程组件或交互应用组件,即可使用数据端的数据资源和计算资源。每个交互组件均在独立的容器实例中,可以进行有效的资源隔离。【结果】基于以上科学数据端云分析服务管理引擎构建的交互分析云服务系统IA(Interactive Analysis Cloud Service System)V1.0,实现了科学数据端云分析资源的统一管理服务,可以通过服务门户直接面向终端科学家使用,也可以通过API接口以docker容器交付的方式给其它现有数据系统调用。已逐步构建生命健康、生态环境、气象水文等领域的科学数据端云分析服务,已应用于中国科学院战略先导专项A、中国科学院战略先导专项B、国家烟草专卖局重大专项等重大项目;已应用于国家微生物科学数据中心、国家空间科学数据中心等国家科学数据中心;已应用于地理空间数据云、DarwinTree分子数据与应用环境等领域公共平台。并提供面向R、TensorFlow、Data Science、All Spark等的常用工具服务,用户可以https的方式访问交互编程组件(iJupyter)或交互应用组件(iWorkflow),即可使用数据端的数据资源和计算资源。
关键词	数据端分析大数据容器技术 IA 云服务及管理
语种	中文
资助机构	中国科学院战略先导专项(XDB31000000) ; 中国科学院海洋大科学研究中心重点部署项目(COMS2019Q17) ; 中国科学院“十三五”信息化建设专项(XXH13504-03 ; XXH13506-102) ; 中国烟草总公司科技重大专项(110201901025(SJ-04)) ; 广东省生物医药计算重点实验室(2016B030301007)
文献类型	期刊论文
条目标识符	http://ir.ibcas.ac.cn/handle/2S10CLM1/22381
专题	系统与进化植物学国家重点实验室
作者单位	1.中国科学院计算机网络信息中心 2.中国科学院大学 3.海参军事海洋环境建设办公室 4.中国科学院植物研究所 5.中国科学院微生物研究所 6.中国科学院国家空间科学中心 7.中国烟草总公司郑州烟草研究院
推荐引用方式 GB/T 7714	孟珍,王学志,谢志敏,等. IA:一种科学数据云分析服务管理引擎[J]. 数据与计算发展前沿,2020,2(02):31-39.
APA	孟珍.,王学志.,谢志敏.,胡良霖.,陈之端.,...&周园春.(2020).IA:一种科学数据云分析服务管理引擎.数据与计算发展前沿,2(02),31-39.
MLA	孟珍,et al."IA:一种科学数据云分析服务管理引擎".数据与计算发展前沿 2.02(2020):31-39.

条目包含的文件
文件名称/大小	文献类型	版本类型	开放类型	使用许可
IA_一种科学数据云分析服务管理引擎.p（2071KB）	期刊论文	出版稿	开放获取	CC BY-NC-SA	浏览请求全文