归档: 2023/4 | PA & CODING

2023

04

26

Linux-添加Swap交换空间

mkdir /swap fallocate -l 2G /swap/swapfile1 # 或者使用 dd 命令 dd if=/dev/zero of=/swap/swapfile1 bs=1024 count=2097152 chmod

2023-04-26 template

Linux

26

Jenkins-Ubuntu安装Jenkins

不建议使用 Docker 运行 Jenkins # 安装 Java apt update apt install openjdk-11-jdk java --version # 安装 Jenkins curl -fsSL https://

2023-04-26 运维手册

Jenkins

25

索引-IT-互联网高可用分布式微服务架构

2023-04-25 索引

IT

24

MinIO-单机部署

version: '3.8' services: minio: image: 'minio/minio:latest' ports: - '9000:9000' - '9001:9001'

2023-04-24 运维手册

docker-compose.yml MinIO

24

FastDFS-单机安装

安装软件 # libfastcommon wget https://github.com/happyfish100/libfastcommon/archive/refs/tags/V1.0.66.zip unzip V1.0.66.zip

2023-04-24 template

FastDFS

24

Linux-Debian 11 (bullseye) 国内软件源

修改: vi /etc/apt/sources.list 更新: apt update 阿里 deb https://mirrors.aliyun.com/debian/ bullseye main non-free contrib deb

2023-04-24 template

Linux

24

Linux-SSH-允许root用户远程密码登录

修改配置文件: vi /etc/ssh/sshd_config PermitRootLogin yes PasswordAuthentication yes 重启服务: /etc/init.d/ssh restart

2023-04-24 template

Linux

24

Linux-SSH-免密钥登陆

ssh-keygen -t rsa ssh-copy-id debian02 Linux-SSH-允许root用户远程密码登录

2023-04-24 template

Linux

24

FastDFS-特点

FastDFS 是一个开源的高性能分布式文件系统（DFS）。它的主要功能包括：文件存储，文件同步和文件访问，以及高容量和负载平衡。主要解决了海量数据存储问题，特别适合以中小文件（建议范围：4KB < file_size < 5

2023-04-24 IT学习笔记

FastDFS

24

Diskpart-永久固定USB盘符

list volume select volume 6 assign letter=U

2023-04-24 template

Diskpart

23

Diskpart-查看硬盘接口类型

list disk select disk 0 detail disk

2023-04-23 template

Diskpart

23

Hadoop-Sqoop-导入数据到HBase

创建 HBase 表: create 'hbase_person','info' 导入数据到 HBase sqoop import \ --connect jdbc:mysql://192.168.244.100:3306/sqo

2023-04-23 template

HBase Hadoop Sqoop

23

Hadoop-Sqoop-Hive与Mysql互导

导入数据到 HIVE sqoop import \ --connect jdbc:mysql://192.168.244.100:3306/sqooptest \ --username root \ --pass

2023-04-23 template

Hadoop Hive Sqoop

23

Hadoop-Sqoop-Mysql导入HDFS

Mysql 测试数据 create database sqooptest; Use sqooptest create table person(pid int primary key auto_increment, name varcha

2023-04-23 template

Hadoop Sqoop

23

Hadoop-Sqoop-安装

tar -zxvf 解压 sqoop-env.sh export HADOOP_COMMON_HOME= export HADOOP_MAPRED_HOME= export HIVE_HOME= export ZOOKEEPER_HOME

2023-04-23 运维手册

Hadoop Sqoop

23

Hadoop-14.Sqoop-特点

Sqoop 简介 Sqoop 是 apache 旗下的工具，用于实现结构型数据（如关系数据库）和 Hadoop 之间进行数据迁移的工具, 可以讲关系型数据库中的数据导入到 Hadoop 的 HDFS 中，同样也完全可以把 HDFS 的数据导

2023-04-23 IT学习笔记

Hadoop Sqoop

23

HBase-优化

HBase-rowkey设计优化代码优化创建表的时候，可以通过 HColumnDescriptor.setInMemory(true) 将表放到 RegionServer 的缓存中，保证在读取的时候被 cache 命中创建表的

2023-04-23 template

HBase

23

HBase-rowkey设计优化

性能上考虑一条数据的唯一标识就是 rowkey，而这行数据最终存储到哪一个分区里面，取决于分区(HBase-预分区)，如果从性能上考虑 rowkey 优化，应该考虑的是让数据均匀的分布在所有的 region 中，防止数据的倾斜。设计方案

2023-04-23 template

HBase