采用气候分析即服务模式的大数据科学
20033 为本文评分：
5.0
采用气候分析即服务模式的大数据科学
NASA 气候模拟中心展示气候变化研究的按需分析处理能力
匿名 2014年8月19日，星期二
正如人们可以轻易想象的那样，气候科学的大数据领域正面临着前所未有的增长。在美国宇航局气候模拟中心（NCCS，其数据科学家精心管理着"现代回顾分析与应用(MERRA)"数据集合。该数据集合综合了超过三十年的观测数据并与数值模型集成，对气候变化研究的重要性日益增强。
NCCS 已建立 MERRA 分析服务(MERRA/AS)，利用在 Hadoop 技术上运行的 MapReduce 并行计算方法进行分析。为了使系统的能力整合到实际应用中，已提供气候模型数据服务(CDS) API 以支持：消费类应用的网络服务访问、命令行界面的基本指令，以及通过 Python 开发实现的高级编程能力。气候分析即服务(CAaaS)技术栈可部署在本地企业硬件或云端。
图片来源：NASA 科学可视化工作室与 NASA 气候模拟中心
MERRA 数据跨越 160 太字节，因此分析服务背后有强大的计算能力支持是完全合理的。事实上，Hadoop MapReduce 操作运行在一个由 36 台戴尔 R710 服务器组成的计算集群上，每台服务器配备十二个 3 太字节硬盘和一个内部操作系统盘。所有设备通过一个 36 端口的 InfiniBand 交换机和一个 48 端口的千兆以太网交换机连接。总体而言，该集群的计算能力约为 11 万亿次浮点运算每秒。
CAaaS 提供了业务流程即服务概念在气候研究领域的专业化应用。随着云计算领域的发展，这种模式有望持续获得关注。它所提供的能力本身就展示了这种方法的潜力：高性能、自适应的近数据端分析，可扩展的数据管理，作为虚拟化设备的软件，以及公开可重用数据服务的通用 API。NCCS 希望它能成为开发和评估下一代气候数据分析工具与能力的有用资源。MERRA/AS 和 CAaaS 承诺将大幅减少用于比较不同数据模型的数据准备时间——这是气候研究界长期追求的目标——它们是 Hadoop 和 MapReduce 技术在气候科学领域推动高性能分析应用实验性开发的绝佳现实案例。