魔のkyo的BLOG
0%

发表于 更新于 分类于 Valine： 本文字数： 1.6k 阅读时长 ≈ 1 分钟

ngrok和ssh-tunnel做的事有点像，ngrok专注于将一个本地服务器暴露到公网。

它的工作原理是首先有一个公网的ngrok服务器，然后在内网需要暴露的机器上通过ngrok客户端建立tunnel来暴露指定端口。

国内有一些免费的ngrok服务器，也可以自己搭建，这里我自己搭建。

搭建ngrok服务器

参考：https://zhuanlan.zhihu.com/p/149968878

下载源码

1
2
git clone https://github.com/inconshreveable/ngrok.git
cd ngrok

生成证书

1
2
3
4
5
6
7
cd keys
export NGROK_DOMAIN="ngrok.kyo86.com"
openssl genrsa -out rootCA.key 2048
openssl req -x509 -new -nodes -key rootCA.key -subj "/CN=$NGROK_DOMAIN" -days 5000 -out rootCA.pem
openssl genrsa -out device.key 2048
openssl req -new -key device.key -subj "/CN=$NGROK_DOMAIN" -out device.csr
openssl x509 -req -in device.csr -CA rootCA.pem -CAkey rootCA.key -CAcreateserial -out device.crt -days 5000

替换证书

1
2
3
4
cp rootCA.pem ../assets/client/tls/ngrokroot.crt
cp device.crt ../assets/server/tls/snakeoil.crt
cp device.key ../assets/server/tls/snakeoil.key
cd ..

编译linux服务端

1
2
set GOOS=linux GOARCH=amd64
make release-server

编译linux客户端

1
2
set GOOS=linux GOARCH=amd64
make release-client

注意：因为客户端和服务器在编译时都使用了证书，所以他们是一一对应的，就是说ngrok客户端并不是通用的，不能用来连接其他的ngrok服务器。

启动服务器端

1
./bin/ngrokd -domain=ngrok.kyo86.com -tlsKey=./keys/device.key -tlsCrt=./keys/device.crt -httpAddr=:30080 -httpsAddr=:30443

服务器端默认使用4443端口，所以需确保防火墙允许4443端口访问

在客户端建立端口映射

创建配置文件ngrok.cfg

1
2
server_addr: "ngrok.kyo86.com:4443"
trust_host_root_certs: false

暴露服务器有两种方式：

一是在运行服务器时指定的http和https端口通过子域名的方式来暴露web服务

二是通过随机端口来暴露指定的tcp端口

暴露WEB服务

把本地的8080（http）端口映射到通过 http://jupyter.ngrok.kyo86.com:30080 访问

1
./ngrok -config=ngrok.cfg -subdomain=jupyter -proto=http 8080

访问子域名需要指定泛域名解析，即 *.ngrok.kyo86.com 的解析。

如果不指定-proto默认就是http+https

暴露TCP端口

把本地的22（tcp）端口映射到 ngrok.kyo86.com上的一个随机端口

1
./ngrok -config=ngrok.cfg -proto=tcp 22

发表于 更新于 分类于 Valine： 本文字数： 1.1k 阅读时长 ≈ 1 分钟

通过 wsl export/import 命令可以实现WSL的备份与还原，在还原时可以指定安装路径从而实现安装路径迁移。

备份
1
2
3
4
5
6
7
8
# 查看已安装的所有子系统
wsl --list --all
# 查看正在运行的子系统
wsl --list --running
# 若要备份的子系统正在运行，则将其终止
wsl -t Ubuntu-18.04
# 导出子系统到.tar文件 wsl --export <DistributionName> <FileName>
wsl --export Ubuntu-18.04 D:\wsl\backup\ubuntu1804.tar
还原
1
2
3
4
# 注销子系统（视情况，看是否需要）
wsl --unregister Ubuntu-18.04
# 导入子系统 wsl --import <DistributionName> <InstallLocation> <FileName>
wsl --import Ubuntu-18.04 D:\wsl\Ubuntu1804\ D:\wsl\backup\ubuntu1804.tar

新还原的Ubuntu子系统的默认用户会变成root（无论是在Windows Terminal中打开Ubuntu还是在vscode中通过Remote-WSL启动Ubuntu）
可以通过下面的命令

修改子系统默认用户
1
2
3
4
5
6
# 定义函数WSL-SetDefaultUser，接收参数distro和user
Function WSL-SetDefaultUser ($distro, $user) { Get-ItemProperty Registry::HKEY_CURRENT_USER\Software\Microsoft\Windows\CurrentVersion\Lxss\*\ DistributionName | Where-Object -Property DistributionName -eq $distro | Set-ItemProperty -Name DefaultUid -Value ((wsl -d $distro -u $user -e id -u) | Out-String); };
# 调用函数，WSL-SetDefaultUser <DistroName> <UserName>
WSL-SetDefaultUser Ubuntu-18.04 daimingzhuang
# 取消函数定义
Remove-Item Function:WSL-SetDefaultUser

参考：

WSL备份与还原 | 小肥羊吃草不吃肉 (xfy-learning.com)

发表于 更新于 分类于 Valine： 本文字数： 698 阅读时长 ≈ 1 分钟

启用“适用于 Linux 的 Windows 子系统”

1
dism.exe /online /enable-feature /featurename:Microsoft-Windows-Subsystem-Linux /all /norestart

启用“虚拟机平台”可选组件

1
dism.exe /online /enable-feature /featurename:VirtualMachinePlatform /all /norestart

将 WSL 版本设置为 1 或 2

1
wsl --set-default-version 2

列出已安装的 Linux 发行版

1
wsl --list --online

安装特定的 Linux 发行版

1
wsl --install -d Ubuntu-18.04

从官网安装比较慢，也可以下载安装包解压后通过ubuntu1804.exe安装
https://pan.baidu.com/s/1Rf9vTiXoUkpWWMQVlICYcw?pwd=7qib

需要注意的是解压路径就是WSL的安装路径，安装好不能移除，否则WSL就损坏了

BTW：

输入wsl bash找不到路径的问题

启用“适用于 Linux 的 Windows 子系统”后找不到，可以先重启再试，和系统版本有关，我遇到过需要重启的系统，也遇到过不需要重启的系统。

之前可以使用，某种操作后突然不能找不到bash，可能是wsl被损坏，我遇到一次是在ECS上安装Docker Desktop，不能用后将Docker Desktop删除，wsl就损坏了

解决方案：

wsl.exe --list --all (列出所有的linux系统)

wsl.exe --unregister (上面所列出的名字)

重新安装

发表于 更新于 分类于 Valine： 本文字数： 513 阅读时长 ≈ 1 分钟

hexo中插入图片通常使用相对网站根的路径，例如将图片放在source/images下，那么插入图片的src如下

1
<img src="/images/saber.jpg"/>

而这种方式在typora中编辑时无法正常查看

其实可以在 md文件头部的配置项中，添加 typora-root-url: 来指定根目录

hexo source的结构是

1
2
3
4
source
├─about
├─images
└─_posts

我们的博文.md文件在_posts目录下，所以我们可以设置typora-root-url: ../，把根设成source目录

例如这篇blog的md头部是

1
2
3
4
5
title: 兼容hexo和typora的图片插入方式
date: 2022-04-15 17:46:22
typora-root-url: ../
tags:
- Hexo

插入下面图片的代码是

1
<img src="/images/saber.jpg" style="zoom: 25%;" />

可以在 scaffolds/post.md 中加入 typora-root-url: ../ 以便执行hexo new命令时自动生成

发表于 更新于 分类于 Valine： 本文字数： 3.5k 阅读时长 ≈ 3 分钟

想从家里访问公司局域网内的服务器，最直接的方式就是搭建VPN，我尝试过Ubuntu下使用PPTPD搭建VPN，实际使用下来并不稳定，经常断线，后来有类似需求的时候我都是通过SSH Tunnel完成的。
先说一下环境，公司服务器在局域网192.168.1.0/24网段，公司网关路由器192.168.1.1上通过端口映射暴露了192.168.1.99的22端口：

<公司公网IP>:20742 ->192.168.1.99:22

我要从家里访问公司局域网内的 192.168.1.99:5432 和 192.168.1.166:6379
我们可以通过

1
2
autossh -M 0 -CNg -L 5432:192.168.1.99:5432 root@<公司公网IP> -p 20742
autossh -M 0 -CNg -L 6379:192.168.1.166:6379 root@<公司公网IP> -p 20742

可以先开通本地对跳板机192.168.1.99的密钥登录，然后增加-f参数直接在后台运行，详请搜索SSH密钥登录，使用密码登录时不能加-f

这样就建立了端口转发

localhost:5432 -> （公司局域网）192.168.1.99:5432
localhost:6379 -> （公司局域网）192.168.1.166:6379

我有一些程序和脚本里写好了访问的服务器地址就是192.168.1.99 和192.168.1.166，我不想修改成localhost或者127.0.0.1，
我们可以通过

1
2
ifconfig enp1s0:0 192.168.1.99 netmask 255.255.255.255 up
ifconfig enp1s0:1 192.168.1.166 netmask 255.255.255.255 up

创建虚拟网卡并把IP设置为192.168.1.99和192.168.1.166，这样这两个IP都指向了本地。
至此需求就解决了。

但是更进一步，如果我想访问的两个服务器上的相同端口，例如 192.168.1.99:6379 和 192.168.1.166:6379 怎么办呢？
我想到了做两个容器分别去建立SSH Tunnel，并把两个容器的IP设置分别设置为 192.168.1.99和192.168.1.166
首先我们创建一个docker network在 192.168.1.0/24网段

1
docker network create --gateway=192.168.1.1 --subnet=192.168.1.0/24 company

创建一个ubuntu容器加入company网络并指定IP地址为192.168.1.99，同时暴露6379端口

1
docker run -dit --name proxy99 -h proxy99 --net company --ip 192.168.1.99 --expose 6379 daimingzhuang/ubuntu:18.04 bash

连上去

1
docker exec -it proxy99 bash

和前面一样建立SSH Tunnel

1
autossh -M 0 -CNg -L 6379:192.168.1.99:6379 root@<公司公网IP> -p 20742

在宿主机上通过redis-cli连接192.168.1.99:6379

1
redis-cli -h 192.168.1.99

成功
192.168.1.166:6379 也同样操作
总结起来就是用docker创建跳板机容器，用ssh tunnel做端口映射。

我做了一个docker镜像(daimingzhuang/ssh_proxy)来方便进行上面的操作
Dockerfile

1
2
3
4
5
6
7
8
9
10
11
12
13
14
15
16
17
18
19
20
21
FROM ubuntu:18.04
MAINTAINER DaiMingzhuang "kyo86.dai@gmail.com"
ENV REFRESHED_AT=2022-04-07
RUN echo deb http://mirrors.aliyun.com/ubuntu/ bionic main restricted universe multiverse>/etc/apt/sources.list\
    && echo deb-src http://mirrors.aliyun.com/ubuntu/ bionic main restricted universe multiverse>>/etc/apt/sources.list\
    && echo deb http://mirrors.aliyun.com/ubuntu/ bionic-security main restricted universe multiverse>>/etc/apt/sources.list\
    && echo deb-src http://mirrors.aliyun.com/ubuntu/ bionic-security main restricted universe multiverse>>/etc/apt/sources.list\
    && echo deb http://mirrors.aliyun.com/ubuntu/ bionic-updates main restricted universe multiverse>>/etc/apt/sources.list\
    && echo deb-src http://mirrors.aliyun.com/ubuntu/ bionic-updates main restricted universe multiverse>>/etc/apt/sources.list\
    && echo deb http://mirrors.aliyun.com/ubuntu/ bionic-backports main restricted universe multiverse>>/etc/apt/sources.list\
    && echo deb-src http://mirrors.aliyun.com/ubuntu/ bionic-backports main restricted universe multiverse>>/etc/apt/sources.list
RUN apt update -yqq \
    && apt install -y vim-tiny autossh expect \
    && rm -rf /var/lib/apt/lists/* \
    && ln -s /usr/bin/vim.tiny /usr/bin/vim

EXPOSE 22 80 8080 1433 3306 6379 9092 5432 27017

ADD setup.sh /root/setup.sh
WORKDIR "/root/"
CMD ["bash"]

/root/setup.sh

1
2
3
4
5
6
7
8
9
10
11
12
13
14
15
16
17
18
19
20
21
22
23
#!/bin/bash

user='root'
passwd='跳板机密码'
LAN_IP='跳板机局域网IP'
WAN_IP='网关的公网IP'
WAN_PORT=跳板机通过端口映射暴露在公网的SSH端口
ports=(22 80 8080 1433 3306 6379 9092 5432 27017)

for((i=0;i<${#ports[@]};i++)); do

/usr/bin/expect <<-EOF
set time 10
spawn autossh -M 0 -CNg -L ${ports[$i]}:$LAN_IP:${ports[$i]} $user@$WAN_IP -p $WAN_PORT
expect {
"*(yes/no)?" { send "yes\n"; exp_continue }
"*password:" { send "$passwd\n" }
}

expect eof
EOF

done

发表于 更新于 分类于 Valine： 本文字数： 9.1k 阅读时长 ≈ 8 分钟

准备工作

创建binlog2sql账号

1
CREATE USER binlog2sql@'%' IDENTIFIED BY 'binlog2sql';

授权

1
2
GRANT SELECT, REPLICATION SLAVE, REPLICATION CLIENT ON *.* TO binlog2sql@'%' identified by 'binlog2sql';
FLUSH privileges;

服务器配置

默认配置文件路径

1
/etc/mysql/mysql.conf.d/mysqld.cnf

查找server-id，附近的选项按如下设置

1
2
3
4
5
server_id = 1
log_bin = /var/log/mysql/mysql-bin.log # 开启binlog，设置路径
max_binlog_size = 1G # 设置单个binlog大小上限
binlog_format = row # 设置binlog模式，binlog2sql要求必须是row模式
binlog_row_image = full # 默认的，可以不设

重启mysql

1
service mysql restart

下载binlog2sql

1
git clone https://github.com/danfengcao/binlog2sql.git /opt/binlog2sql

安装依赖

1
pip install -r /opt/binlog2sql/requirements.txt

创建binlog2sql别名

为了方便使用binlog2sql.py脚本，可以把别名设置写在~/.bash_aliases文件中

1
alias binlog2sql='python /opt/binlog2sql/binlog2sql/binlog2sql.py -h 127.0.0.1 -u binlog2sql -p binlog2sql'

如何查看一个binlog文件记录的position的范围？

1
mysqlbinlog -v mysql-bin.000010|tail -n 100|less

输出

1
2
3
4
5
6
7
8
9
10
11
12
13
14
15
16
17
18
19
20
21
22
23
24
25
26
27
28
29
30
31
32
33
34
35
36
37
38
39
40
41
42
43
44
45
46
47
48
49
50
51
52
53
54
55
56
57
58
59
60
61
62
63
64
……
# at 4356297
#220402 14:12:19 server id 1  end_log_pos 4356362 CRC32 0xeb816e97      Anonymous_GTID  last_committed=5723     sequence_number=5
724    rbr_only=yes
/*!50718 SET TRANSACTION ISOLATION LEVEL READ COMMITTED*//*!*/;
SET @@SESSION.GTID_NEXT= 'ANONYMOUS'/*!*/;
# at 4356362
#220402 14:12:19 server id 1  end_log_pos 4356439 CRC32 0x91cd3acc      Query   thread_id=45    exec_time=0     error_code=0
SET TIMESTAMP=1648879939/*!*/;
BEGIN
/*!*/;
# at 4356439
#220402 14:12:19 server id 1  end_log_pos 4356548 CRC32 0x6635890f      Table_map: `gogoal_v2`.`rpt_target_price_adjust` mapped t
o number 226
# at 4356548
#220402 14:12:19 server id 1  end_log_pos 4356766 CRC32 0xa3f8f451      Write_rows: table id 226 flags: STMT_END_F

BINLOG '
Q+lHYhMBAAAAbQAAAMR5QgAAAOIAAAAAAAEACWdvZ29hbF92MgAXcnB0X3RhcmdldF9wcmljZV9h
ZGp1c3QAFAMDDw8PAwMPDwoKBQUFAxISCBISETwAlgDCAZYAWAIICAgAAAAA/v8PD4k1Zg==
Q+lHYh4BAAAA2gAAAJ56QgAAAOIAAAAAAAEAAgAU////AAD8HekUABzdFQAGMDAwMDAyB+S4h+en
kUE3AOS4h+enkUHvvJrliKnmtqbnjofljovlipvph4rmlL7vvIzmlrDkuJrliqHlhZHnjrDlop7p
lb8WAAAAPQAAAAzlub/lj5Hor4HliLgXAOmDremVhyzkuZDliqDmoIss6YKi6I6YgcwPS8wPKVyP
wvVoPEAzMzMzM3M5QGZmZmZmJjNAAgAAAJmshMqAmayEyoBC83pdAQAAAFH0+KM=
'/*!*/;
### INSERT INTO `gogoal_v2`.`rpt_target_price_adjust`
### SET
###   @1=1370397
###   @2=1432860
###   @3='000002'
###   @4='万科A'
###   @5='万科A：利润率压力释放，新业务兑现增长'
###   @6=22
###   @7=61
###   @8='广发证券'
###   @9='郭镇,乐加栋,邢莘'
###   @10='2022:04:01'
###   @11='2022:02:11'
###   @12=28.410000000000000142
###   @13=25.449999999999999289
###   @14=19.149999999999998579
###   @15=2
###   @16='2022-04-02 12:42:00'
###   @17='2022-04-02 12:42:00'
###   @18=5863306050
###   @19=NULL
###   @20=NULL
# at 4356766
#220402 14:12:19 server id 1  end_log_pos 4356797 CRC32 0x5d69576f      Xid = 715129
COMMIT/*!*/;
# at 4356797
#220402 14:12:19 server id 1  end_log_pos 4356862 CRC32 0x941d7ebe      Anonymous_GTID  last_committed=5724     sequence_number=5725    rbr_only=yes
/*!50718 SET TRANSACTION ISOLATION LEVEL READ COMMITTED*//*!*/;
SET @@SESSION.GTID_NEXT= 'ANONYMOUS'/*!*/;
# at 4356862
#220402 14:12:19 server id 1  end_log_pos 4356939 CRC32 0x25f3bc96      Query   thread_id=45    exec_time=0     error_code=0
SET TIMESTAMP=1648879939/*!*/;
BEGIN
/*!*/;
# at 4356939
#220402 14:12:19 server id 1  end_log_pos 4357048 CRC32 0x94e54d42      Table_map: `gogoal_v2`.`rpt_target_price_adjust` mapped to number 226
# at 4357048
#220402 14:12:19 server id 1  end_log_pos 4357304 CRC32 0x6be0ae0b      Write_rows: table id 226 flags: STMT_END_F
……

其中的 #at 后面的数字就是position，文件首个和最后一个position就是这个binlog记录的position的范围。

另外，举例来说，如果我们要解析出的insert语句，需要从4356362解析到4356766，从BEGIN上面的position到COMMIT上面的position，至于update或delete应该是类似的。

1
binlog2sql -d gogoal_v2 --start-file=mysql-bin.000010 --start-position=4356362 --stop-position=4356766

输出

1
INSERT INTO `gogoal_v2`.`rpt_target_price_adjust`(`id`, `report_id`, `stock_code`, `stock_name`, `title`, `report_type`, `organ_id`, `organ_name`, `author`, `current_create_date`, `previous_create_date`, `current_target_price`, `previous_target_price`, `current_price`, `price_adjust_mark`, `entrytime`, `updatetime`, `tmstamp`, `UTSUPTIME`, `UTSFIRSTTIME`) VALUES (1370397, 1432860, '000002', '万科A', '万科A：利润率压力释放，新业务兑现增长', 22, 61, '广发证券', '郭镇,乐加栋,邢莘', '2022-04-01', '2022-02-11', 28.41, 25.45, 19.15, 2, '2022-04-02 12:42:00', '2022-04-02 12:42:00', 5863306050, NULL, NULL); #start 4356439 end 4356766 time 2022-04-02 14:12:19

如何保留一个数据库的全量备份？

有两种形式，一种是通过mysqldump把数据库导出成sql，正常应该通过这种形式

1
mysqldump --master-data=2 gogoal_v2> /data/dbbackup/20220406/gogoal_v2.sql

这里的–master-data=2选项会在生成的sql中生成被注释掉的 CHANGE MASTER 命令，里面有binlog文件编号和位置编号

另一种是直接备份数据库目录，我们的mysql中只有一个数据库gogoal_v2，所以备份目录是最方便的。
那么我们就要手动确定备份下来截止的binlog编号和位置编号，为了防止一边备份数据库一边在变，我们需要先停止数据库，而恰好我们操作的这个数据库又不是生产环境使用的，可以随时停止

首先停止数据库

1
service mysql stop

查看/data/mysql-binlog下最新的binlog文件和最新的position并记录下来，可以写在后面的备份目录下

1
mysql-bin.000012 5055197

备份/var/lib/mysql下的全部文件

1
cp -rp /var/lib/mysql /data/dbbackup/20220406/

最后在恢复启动数据库

1
service mysql start

如何还原一个全量备份？

我们将备份还原到一个新的mysql容器中

首先创建一个mysql容器

1
docker run --name mysql -Pdit daimingzhuang/mysql

daimingzhuang/mysql和官方mysql容器的区别是按原mysql的配置做了字符编码、大小写相关的设置，允许root远程访问，设置了默认密码

1
2
3
4
5
lower_case_table_names=1
character_set_server=utf8mb4
collation-server=utf8mb4_unicode_ci
init_connect='SET NAMES utf8mb4'
skip-character-set-client-handshake=true

实际使用的命令还包含了资源使用限制

1
2
3
4
5
6
7
8
9
docker run --name mysql -Pdit \
-h mysql \
--cpuset-cpus="1,3" \
--memory=4G \
--device-read-bps /dev/sdd:80mb \
--device-write-bps /dev/sdd:50mb \
--device-read-bps /dev/sdb:80mb \
--device-write-bps /dev/sdb:50mb \
daimingzhuang/mysql

然后连到容器停止mysql服务

1
2
docker exec -it mysql bash
service mysql stop

把备份文件复制到容器中

1
docker cp /data/dbbackup/20220406/mysql mysql:/var/lib/

还需要复制debian.cnf解决服务控制权限问题（里面有debian-sys-maint用户的密码）

1
docker cp /etc/mysql/debian.cnf mysql:/etc/mysql/debian.cnf

再到容器中修改目录权限并启动mysql

1
2
chown -R mysql:mysql /var/lib/mysql
service mysql start

如何用binlog还原增量备份？

下面将在前面已经还原了全量备份的基础上，继续利用binlog还原到指定时间点
我们先看一下当前binlog文件

1
ll /var/log/mysql

输出

1
2
3
4
5
6
7
8
9
10
11
12
13
14
15
16
17
18
total 1221304
drwx------ 2 mysql mysql      1024 Apr  7 06:25 ./
drwxr-xr-x 8 root  root       1024 Apr  6 20:14 ../
-rw-r----- 1 mysql mysql 164683302 Mar 26 06:25 mysql-bin.000001
-rw-r----- 1 mysql mysql   1146243 Mar 27 06:25 mysql-bin.000002
-rw-r----- 1 mysql mysql   5487816 Mar 28 06:25 mysql-bin.000003
-rw-r----- 1 mysql mysql 176003823 Mar 29 06:25 mysql-bin.000004
-rw-r----- 1 mysql mysql 180791383 Mar 30 06:25 mysql-bin.000005
-rw-r----- 1 mysql mysql 189424937 Mar 31 06:25 mysql-bin.000006
-rw-r----- 1 mysql mysql 177521662 Apr  1 06:25 mysql-bin.000007
-rw-r----- 1 mysql mysql   1704056 Apr  1 10:43 mysql-bin.000008
-rw-r----- 1 mysql mysql 172659973 Apr  2 06:25 mysql-bin.000009
-rw-r----- 1 mysql mysql   4357335 Apr  2 18:28 mysql-bin.000010
-rw-r----- 1 mysql mysql   1212646 Apr  2 22:33 mysql-bin.000011
-rw-r----- 1 mysql mysql   5055220 Apr  6 17:01 mysql-bin.000012
-rw-r----- 1 mysql mysql 166213563 Apr  7 06:25 mysql-bin.000013
-rw-r----- 1 mysql mysql   4326594 Apr  7 14:12 mysql-bin.000014
-rw-r----- 1 mysql mysql       504 Apr  7 06:25 mysql-bin.index

我们可以估计需要还原到的数据点在哪个binlog文件中，比如我想还原到20220407 0点，那就应该在这里 Apr 7 06:25 mysql-bin.000013 ，事实上我们把000014或更多的binlog包含进来不要紧，只是浪费了执行命令的过滤时间

在原mysql上从binlog解析出全量备份后的增量sql

1
binlog2sql -d gogoal_v2 --start-file=mysql-bin.000013 --stop-file=mysql-bin.000014 --stop-datetime='2022-04-07 00:00:00' > inc_20220407000000.sql

–start-file和–start-position根据全量备份时记录的位置设置，我们全量备份时候记录的是mysql-bin.000012 5055197 ，而事实上因为我们在做全量备份的时候停止了mysql服务，重启后会写入新的binlog，所以我们可以从mysql-bin.000013开始还原，–stop-datetime 指定了还原到的时间点

把增量sql复制到容器内

1
docker cp ./inc_20220407000000.sql mysql:/root/

在容器内执行还原

1
2
docker exec -it mysql bash
mysql gogoal_v2 < /root/inc_20220407000000.sql

如何在没有全量备份的情况下将数据库退回到指定时间点？

当前时间 2022-04-12 13:38:00

假设我们想退回到 2022-04-11 15:00:00

在有全量备份的情况下我们可以通过上面的方法先还原全量备份再叠加通过binlog导出的增量sql来还原，但在没有全量备份或者全量备份比较久远的情况下，我们也可以通过binlog2sql导出基于当前数据的回退sql来还原。

首先停止数据库

1
service mysql stop

还是先看一下当前binlog文件

1
ll /var/log/mysql

输出

1
2
3
4
5
6
7
8
9
10
11
12
13
14
15
16
17
18
19
20
21
22
23
total 1732017
drwx------ 2 mysql mysql      1024 Apr 12 13:39 ./
drwxr-xr-x 8 root  root       1024 Apr  6 20:14 ../
-rw-r----- 1 mysql mysql 164683302 Mar 26 06:25 mysql-bin.000001
-rw-r----- 1 mysql mysql   1146243 Mar 27 06:25 mysql-bin.000002
-rw-r----- 1 mysql mysql   5487816 Mar 28 06:25 mysql-bin.000003
-rw-r----- 1 mysql mysql 176003823 Mar 29 06:25 mysql-bin.000004
-rw-r----- 1 mysql mysql 180791383 Mar 30 06:25 mysql-bin.000005
-rw-r----- 1 mysql mysql 189424937 Mar 31 06:25 mysql-bin.000006
-rw-r----- 1 mysql mysql 177521662 Apr  1 06:25 mysql-bin.000007
-rw-r----- 1 mysql mysql   1704056 Apr  1 10:43 mysql-bin.000008
-rw-r----- 1 mysql mysql 172659973 Apr  2 06:25 mysql-bin.000009
-rw-r----- 1 mysql mysql   4357335 Apr  2 18:28 mysql-bin.000010
-rw-r----- 1 mysql mysql   1212646 Apr  2 22:33 mysql-bin.000011
-rw-r----- 1 mysql mysql   5055220 Apr  6 17:01 mysql-bin.000012
-rw-r----- 1 mysql mysql 166213563 Apr  7 06:25 mysql-bin.000013
-rw-r----- 1 mysql mysql 173374732 Apr  8 06:25 mysql-bin.000014
-rw-r----- 1 mysql mysql 171723561 Apr  9 06:25 mysql-bin.000015
-rw-r----- 1 mysql mysql    471311 Apr 10 06:25 mysql-bin.000016
-rw-r----- 1 mysql mysql   3800429 Apr 11 06:25 mysql-bin.000017
-rw-r----- 1 mysql mysql 176073129 Apr 12 06:25 mysql-bin.000018
-rw-r----- 1 mysql mysql   1845781 Apr 12 12:41 mysql-bin.000019
-rw-r----- 1 mysql mysql       684 Apr 12 06:25 mysql-bin.index

我们可以估计需要还原到的时间点 2022-04-11 15:00:00 应该在 mysql-bin.000018 中，那么回退需要用到的binlog就是从000018到000019，导出回退sql的命令如下

1
binlog2sql --flashback -d gogoal_v2 --start-file=mysql-bin.000018 --stop-file=mysql-bin.000019 --start-date="2022-04-11 15:00:00" > flashback.sql

和之前命令的区别就是–flashback选项，表示导出符合指定条件内的回退sql语句。

之后创建一个新的mysql容器，把当前数据的/var/lib/mysql复制到容器中，修正权限。不要忘了重新启动前面停止的mysql服务。再把flashback.sql导入到容器数据库中即可实现回退。具体语句参照前面已经讲过的内容。

发表于 更新于 分类于 Valine： 本文字数： 6.5k 阅读时长 ≈ 6 分钟

启动一个容器

1
docker run -h 容器主机名 --name 容器名 -Pdit 镜像名

启动一个新的bash对运行中的容器进行管理

1
docker exec -it 容器名 bash

指定以root用户启动bash对容器进行管理

默认会按照容器启动的用户打开bash，如果想以root身份打开bash需要执行

1
docker exec -it -u root 容器名 bash

其他常用命令

镜像 容器
创建 build -t/commit create/run
删除 rmi rm
重命名 tag+rmi rename
查看列表 images ps/ps -a/ps -l -q
运行状态 stats top
查看日志 history --no-trunc logs
登录 login
拉取 pull
推送 push
查找 search
查看容器信息 inspect
发信号 kill
附到主进程 attach
执行新进程 exec

docker run 常用参数

1
2
3
4
5
6
7
8
9
10
11
12
13
14
15
16
17
18
19
20
21
22
23
24
25
26
-d   # 后台运行
-it   # 打开STDIN，支持终端登录
--name <容器名>
-h <主机名>
-P   # 随机映射所有配置在EXPOSE中的端口
-p [<宿主端口>:]<容器端口> # 指定映射一个端口，不指定宿主端口时表示随机
--expose <容器端口>  # 指定暴露一个容器端口，但不映射到宿主机
-v [<宿主路径|卷名称>:]<容器路径>[:ro|:rw] # 卷映射，宿主路径是以/开头的绝对路径，
  卷名称不存在时自动创建新卷，容器路径不存在时自动创建，ro表示只读，默认是rw表示读写
--volumes-from <容器名> # 指定容器里的所有卷都将加入到新创建的容器里
--network <网络名> # 默认bridge，同一个非默认网络下的容器可以使用主机名相互访问，
  如果设置为host表示和宿主机共用网络，容器内的端口都将直接绑定到宿主机而无需-p建立映射
--link <容器名>:<主机名>  # 在新创建的容器里可以通过主机名访问另一个运行中的容器
--add-host <主机名>:<IP> # 指定主机名解析添加到/etc/hosts文件
--env <环境变量名>=<环境变量值>  # 设置环境变量，-e 选项可以重复多次
--env-file <环境变量文件>  # 指定环境变量文件，换行符分割
--user <用户名>
--workdir <工作目录>
--mac-address="xx:xx:xx:xx:xx:xx"   # 指定MAC地址
--ip="x.x.x.x"  # 指定IP地址
--rm # 容器停止时自动删除容器，当镜像提供的是一个命令而不是服务器的时候尤其适合
--restart=always|unless-stopped|on-failure # 指定容器的重启策略，
  如果容器内运行的是服务器则应该指定重启策略
  always表示任何时候只要docker daemon开着总是重启容器
  unless-stopped表示除非在docker启动时（如果宿主机重启就是上次关机时）容器就是stop状态，否则总是重启容器
  on-failure表示只在容器以非0状态结束时自动重启

关于资源限制的参数

1
2
3
4
5
--cpuset-cpus="1,3" # 限制在核1、3上运行
--memory=1G # 限制内存最大使用1G
--device-read-bps /dev/sdd:40mb # 限制读取sdd的速度最大40mb
--device-write-bps /dev/sdd:30mb # 限制写入sdd的速度最大30mb
（机械硬盘读写速度是60-80MB，固态硬盘读写速度是130~300MB，都是写慢读快）

docker network 常用参数

1
2
3
4
5
6
7
create [--gateway=192.168.1.1] [--subnet=192.168.1.0/24] <网络名> # 创建一个新的网络
connect <网络名> <容器名>  # 向一个网络中添加一个容器
disconnect <网络名> <容器名>  # 从一个网络中移除一个容器
inspect <网络名>   # 查看指定网络详细信息
ls              # 查看网络列表
prune      # 删除所有未使用的网络
rm <网络名>  # 删除指定网络

docker inspect 常用参数

--format format的用法比较复杂，用几个逐级深入的例子演示，事实上我通常把docker_ip, docker_volume设成Linux别名方便使用

docker_id 查看容器的Id

1
docker inspect --format='{{.Id}}' 容器名

docker_ip 查看容器在所有网络中分配的所有的ip

1
docker inspect --format='{{range .NetworkSettings.Networks}}{{println .IPAddress}}{{end}}' 容器名

docker_volume 查看容器的卷

1
docker inspect --format='{{range .Mounts}}{{.Source}}:{{.Destination}}{{println}}{{end}}' 容器名

docker_port 查看容器所有的端口映射情况，用docker inspect实现 docker port命令

1
docker inspect --format='{{range $p, $conf := .NetworkSettings.Ports}}{{range $conf}}{{$p}} -> {{.HostIp}}:{{.HostPort}}{{println}}{{end}}{{end}}' 容器名

docker volume 常用参数

1
2
3
4
5
6
7
create [卷名] # 创建一个卷，一般不用这个命令，因为在docker run -v [卷名:]容器路径 会自动创建
inspect 卷名  # 查看卷的详细信息
ls           # 列出所有卷
prune        # 删除当前未被使用的卷，最常用的是这个命令
rm 卷名       # 删除指定的卷


允许普通用户使用docker命令

1
usermod -aG docker <username>

容器内访问卷的权限

如果容器以非root用户启动，卷中的文件在宿主机设置怎么样的权限可以被容器内的普通用户访问呢，一般容器内的普通用户的UID是1000，在宿主机上可以对UID是1000的用户授权，无论容器内和宿主机的UID是1000的用户名是否相同。

构建镜像的一些技巧

在Dockerfile中使用CMD指定容器启动时执行的脚本

1
CMD ["bash", "/root/setup.sh"]

如果容器提供是一个服务器，则脚本不应结束，一旦脚本结束则容器也会结束，如果服务后台运行，需要把前台卡住，可以使用

1
tail -f /dev/null

放在setup.sh的结尾。

另外我们可以选择启动脚本发生错误是直接退出，还是带着错误继续运行而不让容器退出。

在setup.sh的开始执行

1
set +e

表示脚本将无视错误继续执行，这也是默认行为

而

1
set -e

表示脚本将在遇到错误时立即退出，同时容器也将停止（即启动失败）

Dockerfile样例

1
2
3
4
5
6
7
8
9
10
11
12
13
14
15
16
17
18
19
20
21
22
23
24
25
26
27
28
29
30
31
32
FROM daimingzhuang/ubuntu:18.04
MAINTAINER DaiMingzhuang "kyo86.dai@gmail.com"
ENV REFRESHED_AT=2022-10-21
RUN apt update -yqq \
    && apt install -y vim openjdk-8-jre-headless python3.6 python3-pip libpqxx-dev cron redis-server nginx
ENV JAVA_HOME=/usr/lib/jvm/java-8-openjdk-amd64
ENV JRE_HOME=$JAVA_HOME/jre
ENV CLASSPATH=.:$JAVA_HOME/jre/lib/rt.jar:$JAVA_HOME/lib/dt.jar:$JAVA_HOME/lib/tools.jar
ENV PATH=$PATH:$JAVA_HOME/bin

ADD requirements.txt /root/requirements.txt
RUN pip3 install -r /root/requirements.txt

ADD zookeeper-3.4.14.tgz /opt/
ADD kafka_2.12-2.3.1.tgz /opt/
# 添加kafka配置文件
ADD kafka-server.properties /opt/kafka_2.12-2.3.1/config/server.properties
# 添加zookeeper配置文件
ADD zoo.cfg /opt/zookeeper-3.4.14/conf/zoo.cfg
# 添加zookeeper启动脚本
ADD zk_server_start.sh /opt/zookeeper-3.4.14/bin/zk_server_start.sh
# 添加redis配置文件
ADD redis.conf /etc/redis/redis.conf
# 添加nginx服务器配置
ADD nginx.conf /etc/nginx/nginx.conf
# 添加nginx站点配置
ADD nginx-default /etc/nginx/sites-available/default

ADD loop_run /usr/local/bin/supervised_run
ADD setup.sh /root/setup.sh
WORKDIR "/root/"
CMD ["bash", "/root/setup.sh"]

setup.sh样例

1
2
3
4
5
6
7
8
9
10
#!/bin/bash
set +e
service cron start
service redis-server start
nohup supervised_run /opt/zookeeper-3.4.14/bin/zk_server_start.sh >/dev/null 2>&1 &
sleep 5
nohup supervised_run /opt/kafka_2.12-2.3.1/bin/kafka-server-start.sh /opt/kafka_2.12-2.3.1/config/server.properties >/dev/null 2>&1 &
sleep 5
nginx -c /etc/nginx/nginx.conf
tail -f /dev/null

构建镜像命令

1
docker build <imagename>:<tag> .

注意最后的. 表示存放Dockerfile的目录

docker login 失败解决

1
apt purge golang-docker-credential-helpers

为启动中的容器增加卷或端口映射

查看并记录容器的运行参数，主要包括name/user/卷映射/端口映射

1
docker inspect <container-name-or-id>

上面步骤如果不清楚要记录什么，也可以用工具自动生成run命令

生成容器的run命令

1
2
pip install runlike
runlike <container-name-or-id>

停止需要增加卷或端口映射的容器

1
docker container stop <container-name-or-id>

将现有容器制成镜像

1
docker commit <container-name-or-id> <new-image-name>

重命名旧容器（如果新容器希望沿用旧名字，并且不想立刻删除旧容器，以便新容器有问题时重新启用旧容器）

1
docker rename <container-name> <container-new-name>

用新镜像启动容器，用之前生成的run命令并带上需要新增的卷映射或端口映射

1
docker run -v xxx:xxx -p xx:xx <new-image-name>

确认无误后删除旧容器

1
docker rm <container-name-or-id>

docker配置文件

/etc/docker/daemon.json

默认是空的配置，可以自己增加项目，例如修改docker的根路径和修改镜像源。

1
2
3
4
{
  "data-root": "/data/docker",
  "registry-mirrors": ["https://eyl5ycru.mirror.aliyuncs.com"]
}

导出镜像

1
docker save <镜像名>:<标签名> -o <tar文件路径>

导入镜像

1
docker load -i <tar文件路径>

docker-compose

docker-compose可以把多个相互配合容器（通过网络或共享卷）的启动参数写在一个yml文件里。或者只是把一个容器的启动参数固定在yml文件里。

docker-compose.yml样例

1
2
3
4
5
6
7
8
9
10
11
12
13
14
15
16
17
18
19
version: '3'
services:
  clickhouse:
    image: clickhouse/clickhouse-server
    container_name: clickhouse
    ulimits:
      nofile:
        soft: 262144
        hard: 262144
    ports:
      - "8123:8123"
      - "9000:9000"
    volumes:
      - /data/clickhouse-data/data/:/var/lib/clickhouse/
      - /data/clickhouse-data/log/:/var/log/clickhouse-server/
    restart: unless-stopped
    environment:
      - CLICKHOUSE_USER=default
      - CLICKHOUSE_PASSWORD=default@clickhouse

创建并启动

1
docker-compose up -d

停止并删除

1
docker-compose down

发表于 更新于 分类于 Valine： 本文字数： 1.1k 阅读时长 ≈ 1 分钟

在Shell脚本中输入密码的几种情况

如果是要使用sudo

首先在Shell脚本中使用sudo不是一个好主意。

可以考虑的替代方案有，

  1. 在脚本中去掉sudo，而要求在运行脚本时使用sudo。
  2. 如果是任务计划，考虑配置在root用户下。

在确定要在Shell中sudo的情况下可以使用如下方式

1
echo '密码' | sudo -S 命令

如果是通过ssh/autossh建立远程连接或建立tunnel

考虑用SSH密钥登录来避免使用密码

例如我们要从 hostA 通过ssh密钥登录 hostB

我们现在 hostA 上生成密钥

1
ssh-keygen -t rsa

会询问将密钥放在何处，默认即可。然后是输入密码，留空(否则你登录不仅需要私钥还要输入密码)。

完成后在~/.ssh目录下会生成两个文件id_rsa和id_rsa.pub，一个私钥一个公钥。

把公钥追加到 hostB 某个用户的 ~/.ssh/authorized_keys 就代表 hostB 的这个用户允许持有相应私钥登录

ssh-copy-id命令可以帮我们完成追加公钥的操作

命令格式：ssh-copy-id [-p SSH端口默认22] [user@]hostname

在 hostA 上执行

1
ssh-copy-id root@hostB

按提示输出密码即可

还需要确保 hostB 的sshd服务配置允许使用公钥授权

配置文件路径 /etc/ssh/sshd_config

确认

1
PubkeyAuthentication yes

如果修改过配置需要重启sshd服务

1
service sshd restart

在hostA上现在可以验证登录hostB不再需要输入密码

1
ssh root@hostB

其他情况或其他程序需要输入密码

可以用expect工具，事实上这种方法也可以应对上面的几种情况

使用autossh+expect建立ssh tunnel的用法举例

1
2
3
4
5
6
7
8
9
10
11
12
13
14
#!/bin/bash

passwd='123456'

/usr/bin/expect <<-EOF

set time 10
spawn autossh -M 0 -CNg -L 1433:192.168.1.140:1433 root@$WAN_IP -p $WAN_PORT
expect {
"*yes/no" { send "yes\n"; exp_continue }
"*password:" { send "$passwd\n" }
}
expect eof
EOF

expect更详细的说明自行搜索 linux expect

发表于 更新于 分类于 Valine： 本文字数： 237 阅读时长 ≈ 1 分钟 
1
2
3
4
git clone --mirror <原地址>   # 会取得 项目名.git 的目录，里面是包含了提交历史、分支等的完整项目库
cd <项目名.git>
git remote set-url --push origin <新地址>   # 新地址是提前创建好的（空白的）新项目库路径
git push --mirror

告知其他合作开发者修改远程库路径到新地址

1
git remote set-url origin <新地址>
1
git remote -v # 可以查看当前设置的地址

发表于 更新于 分类于 Valine： 本文字数： 784 阅读时长 ≈ 1 分钟

df.to_excel底层默认优先用的是xlsxwriter，sheet对象的类型是 xlsxwriter.worksheet.Worksheet，它没有column_dimensions属性。
可以通过在创建ExcelWriter的时候指定engine="openpyxl"让底层使用openpyxl，sheet对象的类型会变成openpyxl.worksheet.worksheet.Worksheet，它是有column_dimensions属性的。
需要安装过 openpyxl 库

1
2
3
4
5
6
7
8
9
10
11
12
13
14
15
16
17
18
19
20
with pd.ExcelWriter(f"xxx.xlsx",
          engine="openpyxl",
          date_format="YYYY-MM-DD",
          datetime_format="YYYY-MM-DD HH:MM:SS"
          ) as writer:
  df.to_excel(writer)
  sheet = writer.sheets["Sheet1"]
  # 设置列宽
  sheet.column_dimensions['A'].width = 12.5
  # 设置行高
  sheet.row_dimensions[1].height = 72
  # 设置表头（第一行）自动换行
  r = sheet[1]
  for c in r:
    c.alignment = openpyxl.styles.Alignment(wrapText=True)
  # 设置表体数字格式显示4位小数
  for i, r in enumerate(sheet):
    for j, c in enumerate(r):
      if i != 0 and j != 0:
        c.number_format = "0.0000"