大数据概述概念总结

留言
  1. 第三次信息化浪潮的标志：云计算、大数据、物联网技术的普及
  2. 大数据时代新兴的技术：Spark、Hadoop、HBase
  3. 大数据发展的三个阶段：
    • 萌芽期（上世纪90年代至本世纪初）
    • 成熟期（本实际前十年）
    • 大规模应用期（2010年前后）
  1. 数据产生方式大致经历了三个阶段：
    • 感知式系统阶段
    • 运营式系统阶段
    • 用户原创内容阶段
  2. 大数据带来思维方式的三个转变是：
    • 全样而非抽样
    • 相关而非因果
    • 效率而非精确
  3. 大数据的4V特性：数据量大、数据类型繁多、处理速度快、价值密度低
  4. Jim Gray博士认为，人类在科学研究上先后经历了四种范式：实验科学、理论科学、计算科学和数据密集型科学
  5. 大数据计算模式：
    • 批处理计算：针对大规模数据的批量处理。MapReduce、Spark等
    • 流计算：针对流数据的实时计算。Storm、S4、Flume、Streams、Puma、DStream、Super Mario、银河流数据处理平台等
    • 图计算：针对大规模图结构数据的处理。Pregel、GraphX、Giraph、PowerGraph、Hama、GoldenOrb等
    • 查询分析计算：大规模数据的存储管理和查询分析。Dremel、Hive、Cassandra、Impala
  6. 云计算的典型服务模式：SaaS、IaaS、PaaS
  7. 云计算关键技术包括：虚拟化、分布式存储、分布式计算、多租户等
  8. 物联网中的关键技术包括识别和感知技术（二维码、RFID、传感器等）、网络与
    通信技术、数据挖掘与融合技术等
  9. 云计算、大数据和物联网三者紧密相关，相辅相成
  10. 物联网可以借助于大数据实现海量数据的分析
  11. 物联网可以借助于云计算实现海量数据的存储

文章目录