求仁得仁
  文章分类
工作笔记 4 算法笔记 14 交易学习笔记 59 作品 17 读书笔记 55 思考 26 private 1 交易笔记 21 学习笔记 6 索引 3 英语学习笔记 2 IT学习笔记 205 template 130 排错笔记 17 逆向工程 4 运维手册 65
Linux-添加Swap交换空间 Linux-添加Swap交换空间
mkdir /swap fallocate -l 2G /swap/swapfile1 # 或者使用 dd 命令 dd if=/dev/zero of=/swap/swapfile1 bs=1024 count=2097152 chmod
2023-04-26 template
Linux
FastDFS-单机安装 FastDFS-单机安装
安装软件 # libfastcommon wget https://github.com/happyfish100/libfastcommon/archive/refs/tags/V1.0.66.zip unzip V1.0.66.zip
2023-04-24 template
FastDFS
Linux-Debian 11 (bullseye) 国内软件源 Linux-Debian 11 (bullseye) 国内软件源
修改: vi /etc/apt/sources.list 更新: apt update 阿里 deb https://mirrors.aliyun.com/debian/ bullseye main non-free contrib deb
2023-04-24 template
Linux
Linux-SSH-允许root用户远程密码登录 Linux-SSH-允许root用户远程密码登录
修改配置文件: vi /etc/ssh/sshd_config PermitRootLogin yes PasswordAuthentication yes 重启服务: /etc/init.d/ssh restart
2023-04-24 template
Linux
Linux-SSH-免密钥登陆 Linux-SSH-免密钥登陆
ssh-keygen -t rsa ssh-copy-id debian02 Linux-SSH-允许root用户远程密码登录
2023-04-24 template
Linux
Diskpart-永久固定USB盘符 Diskpart-永久固定USB盘符
list volume select volume 6 assign letter=U
2023-04-24 template
Diskpart
Diskpart-查看硬盘接口类型 Diskpart-查看硬盘接口类型
list disk select disk 0 detail disk
2023-04-23 template
Diskpart
Hadoop-Sqoop-导入数据到HBase Hadoop-Sqoop-导入数据到HBase
创建 HBase 表: create 'hbase_person','info' 导入数据到 HBase sqoop import \ --connect jdbc:mysql://192.168.244.100:3306/sqo
2023-04-23 template
HBase Hadoop Sqoop
Hadoop-Sqoop-Hive与Mysql互导 Hadoop-Sqoop-Hive与Mysql互导
导入数据到 HIVE sqoop import \ --connect jdbc:mysql://192.168.244.100:3306/sqooptest \ --username root \ --pass
2023-04-23 template
Hadoop Hive Sqoop
Hadoop-Sqoop-Mysql导入HDFS Hadoop-Sqoop-Mysql导入HDFS
Mysql 测试数据 create database sqooptest; Use sqooptest create table person(pid int primary key auto_increment, name varcha
2023-04-23 template
Hadoop Sqoop
HBase-优化 HBase-优化
HBase-rowkey设计优化 代码优化 创建表的时候，可以通过 HColumnDescriptor.setInMemory(true) 将表放到 RegionServer 的缓存中，保证在读取的时候被 cache 命中 创建表的
2023-04-23 template
HBase
HBase-rowkey设计优化 HBase-rowkey设计优化
性能上考虑 一条数据的唯一标识就是 rowkey，而这行数据最终存储到哪一个分区里面，取决于分区(HBase-预分区)，如果从性能上考虑 rowkey 优化，应该考虑的是让数据均匀的分布在所有的 region 中，防止数据的倾斜。 设计方案
2023-04-23 template
HBase
HBase-预分区 HBase-预分区
在默认情况下，在使用 hbase 创建表的时候会自动创建一个 region 分区，所有 hbase 的客户端的数据都写到这个 region 分区里面，一直到 region 足够大的时候才进行切分。每一个 region 维护着 startRo
2023-04-23 template
HBase
HBase-Java api 常用操作Demo HBase-Java api 常用操作Demo
pom.xml <dependency> <groupId>org.apache.hbase</groupId> <artifactId>hbase-server</ar
2023-04-23 template
HBase
HBase-常用命令 HBase-常用命令
hbase shell 进入shell help 命令查看帮助文档 list 命令查看数据库中的表 创建表 创建 person 表，包含 info, data 两个列族 然后查看表结构 create 'person', 'info', 'd
2023-04-23 template
HBase
Hive-UDF自定义函数-大小写转换Demo Hive-UDF自定义函数-大小写转换Demo
pom.xml <dependency> <groupId>org.apache.hive</groupId> <artifactId>hive-exec</artifa
2023-04-22 template
Hive
Hive-分桶 Hive-分桶
创建桶表 set hive.enforce.bucketing=true; set mapreduce.job.reduces=4; drop table person_buck; create table person_buck(si
2023-04-22 template
Hive
Hive-窗口函数-常用函数 Hive-窗口函数-常用函数
CREATE TABLE window_demo(cookieid STRING, createtime STRING, pv INT) ROW FORMAT DELIMITED FIELDS TERMINATED BY ','; loa
2023-04-22 template
Hive
4 / 8