当前位置：网站首页 > 技术博客 > 正文

简述hadoop原理及运行机制

技术博客 来源： 网络 编辑：小编 发布时间：2024-12-17 07:30:03 浏览量：227



Hadoop

运行原理

本篇将记录笔者学习

hadoop

有关的原理总结，将持续更新…

一.HDFS

该部分选自HDFS特性和常用功能

基本特点

高容错性,高吞吐量,适用于海量数据的可靠性存储和数据归档,对硬件性能要求低

HDFS设计目标

硬件失效

将硬件失效看作一种常态,健壮性,高可用.检查错误,快速和自动恢复是核心架构

流式访问

允许通过流的方式访问数据集,批量处理非交互,高吞吐量访问非低延迟

大数据集

支持PB级数据量,具有高带宽,可扩展到集群中

简单一致性模型

一次写入,多次读取,文件创建后无须

  • 上一篇： 爬虫python下载安装
  • 下一篇： 原生js实现ajax步骤

    • 版权声明：

    本文来源网络，所有图片文章版权属于原作者，如有侵权，联系删除。


    本文网址：https://www.mushiming.com/mjsbk/6514.html

    相关文章：

  • 爬虫python下载安装2024-12-17 07:30:03
  • javaswing菜单栏工具栏2024-12-17 07:30:03
  • 华为产品ipd2024-12-17 07:30:03
  • flowable 流程图2024-12-17 07:30:03
  • 函数已有主体是什么意思2024-12-17 07:30:03
  • 原生js实现ajax步骤2024-12-17 07:30:03
  • 结构体c语言代码2024-12-17 07:30:03
  • c语言数组指针的定义2024-12-17 07:30:03
  • python设置gbk编码2024-12-17 07:30:03
  • mininet原理2024-12-17 07:30:03