lbp的blog

纸上得来终觉浅,绝知此事要躬行

0%

web自动化一键部署

软件开发中,常见的一种流程是 开发->部署->测试->交付。其中,前三个环节会重复多次。

对于研发人员来说,频繁的低效,非自动部署很浪费时间。本文提供一种简易脚本来进行自动化一键部署。

ci会有多种解决方案,本文方案总结来说就是

  1. 本地打包 - vue-cli-service build
  2. 上传本地文件到服务器 - 使用expect工具编写自动交互脚本

最后会简单介绍一下 expect 工具的使用。

1
"deploy113": "yarn install;vue-cli-service build;./upload.sh;exit 0"

可以在package.json的script中添加以上命令,需要部署时直接执行。

upload.sh

以下为 upload.sh 内容,重点是 expect 来做交互,自动登录远程服务器,上传文件。

脚本内容较简单,使用了expect的spawnexpectsend等命令,已经sftp命令。expect命令可以参考expect常用命令

1
2
3
4
5
6
7
8
9
10
11
12
13
14
15
16
17
18
19
20
21
22
23
#!/usr/bin/expect
set hostip "服务器地址"
set username "服务器登录名"
set passwd "服务器登录密码"
set tdir "远程部署目录"
spawn sftp $username@$hostip
set timeout 60
expect -re "Are you sure you want to continue connecting (yes/no)?" {send "yes\r"} \
-re "password:" {send "$passwd\r"} \
expect "Connected*"
expect "sftp>"
send "cd $tdir\r"
expect "sftp>"
send "rm ./js/*\r"
expect "sftp>"
send "rm ./css/*\r"
expect "sftp>"
send "rm ./img/*\r"
expect "sftp>"
send "mput -r ./dist/*\r"
expect "sftp>"
send "bye\r"
EOF

可能会遇到的问题

  • sftp-rmdir 只能删除空文件夹, 所以需要使用 sftp-rm 命令
  • 为脚本添加执行权限 chmod +x upload.sh

expect

expect是一个免费的编程工具,用来实现自动化交互式任务,而无需认为干预。比如:ssh自动登录,ftp自动化操作。

通俗一些的解释是:expect脚本内容可以看做是程序和用户的对话套路,问答都编写进了expect程序里。

expect是在tcl的基础上创建的,因此可以使用tcl的命令。比如: set passwd '123'。下面介绍一些expect的常用命令

expect支持正规表达式并能同时等待多个字符串,并对每一个字符串执行不同的操作。expect还能理解一些特殊情况,如超时和遇到文件尾。expect命令和Tcl的case命令的风格很相似。都是用一个字符串去匹配多个字符串。(只要有可能,新的命令总是和已有的Tcl命令相似,以使得该语言保持工具族的继承性)。

常用命令

  • spawn命令激活一个Unix程序来进行交互式的运行。通俗的理解为:打开一个对话窗口
  • expect命令等待进程的某些字符串。通俗的理解为:接收程序的问题,并且根据问题作出一些反应
  • send命令向进程发送字符串。通俗的理解为:当需要对程序问题做出回答时,使用send命令回复

    send命令

    send命令接收一个字符串参数,并将该参数发送到进程。
1
2
expect1.1> send "hello world\n"
hello world

expect命令

基础知识

expect命令和send命令正好相反,expect通常是用来等待一个进程的反馈。expect可以接收一个字符串参数,也可以接收正则表达式参数。和上文的send命令结合,现在我们可以看一个最简单的交互式的例子:

1
2
expect "hi\n"
send "hello there!\n"

这两行代码的意思是:从标准输入中等到hi和换行键后,向标准输出输出hello there。

tips: $expect_out(buffer)存储了所有对expect的输入,<$expect_out(0,string)>存储了匹配到expect参数的输入。

比如如下程序:

1
2
3
expect "hi\n"
send "you typed <$expect_out(buffer)>"
send "but I only expected <$expect_out(0,string)>"

当在标准输入中输入

1
2
test
hi

是,运行结果如下

1
2
3
you typed: test
hi
I only expect: hi

模式-动作

expect最常用的语法是来自tcl语言的模式-动作。这种语法极其灵活,下面我们就各种语法分别说明。

单一分支模式语法:

1
expect "hi" {send "You said hi"}

匹配到hi后,会输出”you said hi”

多分支模式语法:

1
2
3
expect "hi" { send "You said hi\n" } \
"hello" { send "Hello yourself\n" } \
"bye" { send "That was unexpected\n" }

匹配到hi,hello,bye任意一个字符串时,执行相应的输出。等同于如下写法:

1
2
3
4
5
expect {
"hi" { send "You said hi\n"}
"hello" { send "Hello yourself\n"}
"bye" { send "That was unexpected\n"}
}

spawn命令

上文的所有demo都是和标准输入输出进行交互,但是我们跟希望他可以和某一个进程进行交互。spawm命令就是用来启动新的进程的。spawn后的send和expect命令都是和spawn打开的进程进行交互的。结合上文的send和expect命令我们可以看一下更复杂的程序段了。

1
2
3
4
5
6
7
8
9
10
set timeout -1
spawn ftp ftp.test.com //打开新的进程,该进程用户连接远程ftp服务器
expect "Name" //进程返回Name时
send "user\r" //向进程输入anonymous\r
expect "Password:" //进程返回Password:时
send "123456\r" //向进程输入don@libes.com\r
expect "ftp> " //进程返回ftp>时
send "binary\r" //向进程输入binary\r
expect "ftp> " //进程返回ftp>时
send "get test.tar.gz\r" //向进程输入get test.tar.gz\r

这段代码的作用是登录到ftp服务器ftp ftp.uu.net上,并以二进制的方式下载服务器上的文件test.tar.gz。程序中有详细的注释。

interact

到现在为止,我们已经可以结合spawn、expect、send自动化的完成很多任务了。但是,如何让人在适当的时候干预这个过程了。比如下载完ftp文件时,仍然可以停留在ftp命令行状态,以便手动的执行后续命令。interact可以达到这些目的。下面的demo在自动登录ftp后,允许用户交互。

1
2
3
4
5
6
spawn ftp ftp.test.com
expect "Name"
send "user\r"
expect "Password:"
send "123456\r"
interact

参考

Linux-expect命令详解
sftp
expect教程中文版
EXPECT

ps: 各位老铁是怎么做ci的? 欢迎在下方来评论