导航
大数据分析引擎

大数据分析引擎

大数据分析引擎由spark、Hadoop、storm等提供支持。Hadoop是一个能够对大量数据进行分布式处理的组织架构, Spark是一款开源的集群计算框架,Storm是一个分布式实时大数据处理系统。

产品概述

大数据分析引擎提供基于分布式内存的大规模并行处理框架,包含:Spark、Hadoop和Storm。

Hadoop:

Hadoop是运行INDICS平台上的一种大数据处理的系统解决方案, 是一个能够对大量数据进行分布式处理的组织架构,提供了高可靠性和良好扩展性的分布式系统HDFS。 基于开源的Hadoop架构, 让用户可以方便地使用Hadoop生态系统中的其他周边系统来分析和处理自己的数据。 用户还可以对HDFS中数据进行计算后导入到相应的数据存储系统中。

Hadoop功能流程图

Spark:

Spark是一款开源的集群计算框架,Spark通过拓展内存计算可在海量数据的迭代式计算和交互式计算中提供远快于Hadoop的运算速度, 适用于数据挖掘与机器学习等需要迭代的MapReduce的算法。Spark专为大规模数据处理而设计的快速通用的计算引擎, 提供基于分布式内存的大规模并行处理框架,并支持SQL请求、 流数据处理、机器学习和图表处理等功能。

Spark功能流程图

Storm:

Storm是一个分布式实时大数据处理系统,它是一个流数据框架,具有最高的摄取率,Storm设计用于在容错和水平可扩展方法中处理大量数据。


Storm数据交互图

产品优势

{{itemtitle}}

{{itemcontent}}
产品功能
{{function-title}}

{{function-content}}

应用场景
{{scene-content}}

{{scene-content}}

帮助文档
{{helptitle}}
{{helplink}}

现在注册,即可体验INDICS平台

免费注册
footer

Copyright@2016 航天云网 All Rights Reserved 京ICP备16012914号-12 京公网安备11010802022625