求仁得仁
Hive-PSQLException: 不支援 10 验证类型 Hive-PSQLException: 不支援 10 验证类型
报错：PSQLException: 不支援 10 验证类型。请核对您已经组态 pg_hba.conf 文件包含客户端的IP位址或网路区段，以及驱动程序所支援的验证架构模式已被支援 原因：驱动不兼容（需要更新驱动版本） 去官网或者使用Mav
2023-04-22 排错笔记
Hive
Hive-WstxParsingException: Illegal character entity: expansion character Hive-WstxParsingException: Illegal character entity: expansion character
hive-site.xml 文件第 3215 行左右有一个特殊字符 (&#8;)，删掉它: 214 <description> 3215 Ensures commands with OVERWRIT
2023-04-22 排错笔记
Hive
Hadoop-Hive-安装 Hadoop-Hive-安装
安装 tar -zxvf apache-hive-3.1.3-bin.tar.gz -C /opt/hive cp hive-env.sh.template hive-env.sh hive-env.sh export JAVA_HOME
2023-04-22 运维手册
Hadoop Hive
Hadoop-共同好友Demo Hadoop-共同好友Demo
思路 原数据: A:B,C,D,F,E,O B:A,C,E,K C:F,A,D,I D:A,E,F,L E:B,C,D,M,L F:A,s,C,D,E,O,M G:A,C,D,E,F H:A,C,D,E,O I:A,O J:B,O K:A,
2023-04-22 template
Hadoop
Hadoop-倒排索引-文章单词统计Demo Hadoop-倒排索引-文章单词统计Demo
思路 (倒推法) 第二步: Reduce key:单词 values[] 文章–次数 Map key: 单词 value: 文章–次数 第一步: Reduce key: 单词–文档位置 value: 单词次数 Map
2023-04-22 template
Hadoop
Hadoop-高可用集群部署 Hadoop-高可用集群部署
架构示例 主机名 IP 服务 进程 HA1 192.168.140.130 Hadoop NN(active), ZKFC HA2 192.168.140.131 Hadoop NN(standby), ZKFC H
2023-04-22 运维手册
Hadoop
Zookeeper-高可用集群部署[DockerSwarm] Zookeeper-高可用集群部署[DockerSwarm]
docker-compose.yml version: '3.8' services: zoo1: image: zookeeper hostname: zoo1 ports: - 2181:218
2023-04-21 运维手册
docker-compose.yml Zookeeper
NFS-Rocky安装NFS NFS-Rocky安装NFS
# 服务端和客户端都需安装 dnf install nfs-utils # 启动服务端 systemctl enable nfs-server systemctl start nfs-server systemctl status nfs
2023-04-21 template
NFS
NFS-Linux配置NFS服务 NFS-Linux配置NFS服务
服务端 创建服务端共享目录 配置NFSv4服务器时，一个好的做法是使用全局NFS根目录，并将实际目录绑定到共享挂载点。 一般使用/srv/nfs4目录作为NFS根目录。 sudo mount --bind /var/www /srv/nfs
2023-04-21 template
NFS
DockerSwarm-初始化 DockerSwarm-初始化
# 初始化 swarm docker swarm init # 查看如何加入本机 swarm 的命令 docker swarm join-token manager docker swarm join-token worker # 查看
2023-04-21 运维手册
Docker
Linux-Rocky安装Docker Linux-Rocky安装Docker
dnf config-manager --add-repo=https://download.docker.com/linux/centos/docker-ce.repo dnf update dnf install -y docker-c
2023-04-21 template
Linux Docker
Hadoop-11.优化 Hadoop-11.优化
参数调优 以下参数是在用户自己的 mr 应用程序中配置就可以生效 mapreduce.map.memory.mb: 一个 Map Task 可使用的资源上限（单位:MB），默认为 1024。如果 Map Task 实际使用的资源量超过该值
2023-04-21 IT学习笔记
Hadoop
Hadoop-10.YARN资源调度器 Hadoop-10.YARN资源调度器
配置 (官方文档): yarn.resourcemanager.scheduler.class 默认: org.apache.hadoop.yarn.server.resourcemanager.scheduler.capacity.Cap
2023-04-21 IT学习笔记
Hadoop
Hadoop-9.mapreduce-YARN流程 Hadoop-9.mapreduce-YARN流程
应用申请运行RM的JOB RM返回JOBID以及提交资源的目录 应用提交相关文件到资源目录 通知RM, JOB资源提交完毕 RM初始任务TASK, 加入调度队列 空闲NM领取任务 NM根据任务信息创建Container (并且从资源目录
2023-04-21 IT学习笔记
Hadoop
Hadoop-8.YARN流程 Hadoop-8.YARN流程
YARN 是运算资源调度系统，他只做运算资源的分配和调度，不参与用户程序内部的具体工作，所以 YARN 可以作为一个通用的资源调度平台 在 Hadoop1.x 的时候其实是没有 YRAN，当初的 MapReduce 由两个组件组成 Job
2023-04-21 IT学习笔记
Hadoop
Hadoop-数据压缩 Hadoop-数据压缩
原则 MapReduce 支持压缩，通过压缩算法对 mapper 或者 reducer 的最终数据结果进行压缩 好处：减少了磁盘 io，提高了 MR 获取数据的速度，节省了磁盘空间 坏处：压缩需要增加 cpu 的运算负担 原则: 运算
2023-04-21 template
Hadoop
Hadoop-自定义OutputFileFormat-Demo Hadoop-自定义OutputFileFormat-Demo
如果单词是老师人名，放到一个目录，否则放到另外一个目录 TeacherOutPutFormat.java public class TeacherOutPutFormat extends FileOutputFormat<Text,N
2023-04-21 template
Hadoop
Hadoop-自定义InputFileFormat-Demo Hadoop-自定义InputFileFormat-Demo
以 excel 的文件举例 pom.xml <dependency> <groupId>net.sourceforge.jexcelapi</groupId> <artifactId
2023-04-21 template
Hadoop
23 / 35