地球科学与大数据
原文链接: https://www.nv5geospatialsoftware.com/Learn/Blogs/Blog-Details/earth-science-and-big-data
21993 评分:
5.0
地球科学与大数据
NASA 探索处理高速大型数据集的创新方法
匿名 2014年5月6日 星期二
我们生活在一个能够清晰地认识到利用大数据中所蕴含的信息的必要性与潜力的时代。虽然在大数据背景下，社交媒体和传统商业信息系统的创新未来备受关注，但在某种程度上，未来已经在地球数据科学这个蓬勃发展的领域中显现。
考虑一下美国国家航空航天局（NASA）用于管理其庞大且不断增长的地球科学数据档案的地球观测系统数据和信息系统（EOSDIS）。通过在数十颗卫星和机载平台上的传感器，以及持续的地面实测数据进行补充，截至2013年，EOSDIS 存档的数据量已超过7.5拍字节（PB）。EOSDIS 服务于一个由超过150万来自不同学科的用户组成的社区，包括大气科学、陆地过程、海洋学和水文学等领域，这既展示了地球科学的跨学科性质，也体现了其档案的多样性。这些存档包含近7000种独特的数据集类型，尽管在许多情况下，数据对象是以 ASCII 和 Geo Tiff 等通用格式存储在结构化文件中。
NASA 地球科学部在轨运行任务。来源: NASA
EOSDIS 维护的数据种类繁多且极其复杂，因此在数据发现、访问和使用方面面临着巨大挑战。数据集跨越多个科学学科，具有各异且多样化的参数，并呈现出各种不同的光谱、空间和时间特征。EOSDIS 管理着分布在全国各地的网络和数据中心，以收集和分发数据及处理后的产品。非卫星数据，例如通过塔台、浮标或手持仪器在地面或海洋实地观测获得的数据，可以通过互联网传输到 EOSDIS 数据中心，也可以通过物理介质或各种其他方式送达。
为了支持其多样化的用户群体，EOSDIS 数据中心提供了在搜索、过滤、制图和可视化等领域执行通用功能的工具。EOSDIS 支持集中搜索功能，使用户能够发现与其查询相关的数据。面向公众的 EOSDIS 综合内容入口是其网页，网址为 https://www.earthdata.nasa.gov/。
EOS 陆地与大气近实时能力系统（LANCE）提供了一个 EOSDIS 所支持应用类型的范例。该系统能够在观测后三小时内提供来自 MODIS、OMI、AIRS 和 MLS 仪器的产品。这一能力展示了 NASA 如何应对数据速度挑战，以满足天气预测、自然灾害监测、农业、救灾和国土安全等应用的时间敏感性需求。
与此同时，其他数据源正在不断地被添加到 EOSDIS 档案中。NASA 计划在可预见的未来继续使用 EOSDIS 来存档和分发数据，延续其作为成功系统的传统，为处理极大型数据集和高度数据密集型活动提供创新的解决方案。