求仁得仁
2023
04
20
Hadoop-单词统计Demo Hadoop-单词统计Demo
导入 hadoop 和 hadoop.mapreduce 包下的类 WCMapper.java // 泛型分别是：输入的键值类型; 输出的键值类型 public class WCMapper extends Mapper<LongW
2023-04-20 template
Hadoop
20
Hadoop-4.元数据管理-edits+fsimage Hadoop-4.元数据管理-edits+fsimage
元数据的存储形式 hdfs 的读写流程都离不开 namenode，在 namenode 中维护了文件、文件块的信息，这些信息统统称之为元数据 元数据在 hdfs 中有 3 种存在形式 (内存的数据 = fsimage + edits 文件)
2023-04-20 IT学习笔记
Hadoop
20
Hadoop-3.hdfs读写文件流程 Hadoop-3.hdfs读写文件流程
HDFS 特点 hdfs 里的文件是分块（block）存储的，默认大小是 128M hdfs 使用统一的抽象目录树管理文件，客户端不需要关心具体的文件分块 例如：hdfs://hadoop01:port/path1/path2/file
2023-04-20 IT学习笔记
Hadoop
20
20
20
Hadoop-fs-常用命令 Hadoop-fs-常用命令
命令 作用 hadoop fs -help 帮助命令 hadoop fs -ls / 显示目录信息 hadoop fs -ls hdfs://hadoop01:9000/ 显示目录信息(使用Nn节点) hadoop
2023-04-20 template
Hadoop
19
19
Hadoop-启动时没有启动datanode Hadoop-启动时没有启动datanode
原因: 在第一次格式化dfs后，启动并使用了hadoop，后来又重新执行了格式化命令 hdfs namenode -format，这时namenode的clusterID会重新生成，而datanode的clusterID 保持不变。 解决方
2023-04-19 排错笔记
Hadoop
19
19
18
Linux-yum安装jdk11 Linux-yum安装jdk11
# 查看与 java-11 有关的包 yum list | grep java-11 # 安装这三个即可 yum install java-11-openjdk.x86_64 java-11-openjdk-devel.x86_64
2023-04-18 template
Linux
18
诗词-家乡 诗词-家乡
家乡 寒鸦绕孤村，斜月独徘徊。 风吹花落去，寂寞雨滴来。 樽前人依旧，夜夜蛙虫哀。 春江何处去，总会带星来。
2023-04-18 作品
诗词
17
Hadoop-2.节点 Hadoop-2.节点
NN: NameNode fdfs 节点的 leader DN: DataNode fdfs 的数据节点 SNN SecondaryNameNode fdfs 节点的镜像复制节点 RM: resoucemanager yarn 资源管理器
2023-04-17 IT学习笔记
Hadoop
17
17
Hadoop-1.生态 Hadoop-1.生态
Hadoop 背景 其实最先被这些问题困惑的并不是电商，而是 google，他需面对的挑战一点也不会比电商小 大量的网页怎么存储 面对的数据和计算难题 2003，2004 年 Google GFS MapReduce 为了解决上面的
2023-04-17 IT学习笔记
Hadoop
17
16
计算机网络-MAC 计算机网络-MAC
MAC 地址 在局域网中，硬件地址又称为物理地址，或 MAC 地址。 802 标准所说的“地址”严格地讲应当是每一个站的“名字”或标识符。 将48位的“名字”称为“地址”仅仅是一种习惯。 IEEE 的注册管理机构 RA 负责向厂家分配地址
2023-04-16 IT学习笔记
计算机网络
16
计算机网络-集线器/网桥 计算机网络-集线器/网桥
集线器 集线器 ： 是使用电子器件来模拟实际电缆线的工作，因此整个系统仍然像一个传统的以太网那样运行。 使用集线器的以太网在逻辑上仍是一个总线网，各工作站使用的还是 CSMA/CD 协议，并共享逻辑上的总线。 集线器很像一个多接口的转发
2023-04-16 IT学习笔记
计算机网络
6 / 12