大数据概述概念总结 2021年07月22日 留言 第三次信息化浪潮的标志:云计算、大数据、物联网技术的普及 大数据时代新兴的技术:Spark、Hadoop、HBase 大数据发展的三个阶段: 萌芽期(上世纪90年代至本世纪初) 成熟期(本实际前十年) 大规模应用期(2010年前后)
处理架构知识点 2021年07月22日 留言 Hadoop的核心是HDFS和MapReduce Hadoop2.0增加了NameNode HA和Wire-compatibility两个重大特性 Hadoop MapReduce是针对谷歌MapReduce的开源实现,通常用于大规模数据集的并行计算 hadoop的特性高可靠性、支持多种编程语言、高容错性 HDFS:分布式文件系统,是Hadoop项目的两大核心之一,是谷歌GFS的开源实现 HBase:提供高可靠性、高性能、分布式的列式数据库,是谷歌BigTable的开源实现 Zookeeper:针对谷歌Chubby的一个开源实现,是高效可靠的协同工作系统 Hive:一个基于Hadoop的数据仓库工具,用于对Hadoop文件中的数据集进行数据整理、特殊查询和分析存储 Hadoop生态系统功能组件:核心的HDFS和MapReduce以外,还包括ZoopKer、HBase、Hive、Pig、Mahout、Sqoop、Flume、Ambari等功能组件 操作HDFS文件的命令hdfs dfs