Feb
24
Why: kitex framework is using gofumpt as linter in gitlab CI, but goland defaults to use gofmt, which enforces weaker rules.
Procedure:
0. $ go install mvdan.cc/gofumpt@v0.2.0 # or any version as you need
1. Install file watcher plugin in goland settings;
2. Go to settings -> Tools -> File Watchers:
2.1. Click on "+", and choose "go fmt"
2.2. Replace "Program:" to be the full path of your gofumpt binary
2.3. Modify "Arguments:" to be "-w $FilePath$"
2.4 OK & OK again.
Procedure:
0. $ go install mvdan.cc/gofumpt@v0.2.0 # or any version as you need
1. Install file watcher plugin in goland settings;
2. Go to settings -> Tools -> File Watchers:
2.1. Click on "+", and choose "go fmt"
2.2. Replace "Program:" to be the full path of your gofumpt binary
2.3. Modify "Arguments:" to be "-w $FilePath$"
2.4 OK & OK again.
Dec
26
先实现一个纯 Go 的版本：
修改上述 fac 方法，只保留函数定义（即声明存在该函数，由汇编代码实现）：
新增 fac.s
编译运行：
$ go run .
3628800
说明：
1. TEXT ·fac(SB), $0-8
- TEXT 表示这个方法在 TEXT 段中
- · 是Unicode的「中点」（中文输入法，1左边的按键），前面省略了包名，表示这是 main 包的 fac 函数
- SB 是 stack base pointer，Go ASM 中的「伪寄存器」（不是硬件寄存器），大致等同于程序的起始地址
- $0-8：0 表示这个函数没有局部变量，8 表示返回值占用8个字节
2. MOVQ n+0(FP), CX
- MOVQ 的 Q 表示 8 个字节
- n+0(FP) 表示变量 n 在 FP（Frame Pointer，伪寄存器，表示这个函数的栈帧起始位置） + 0 的位置（即第一个参数）。注意这个写法形式上是必须得，但是变量名n没有实际意义，只是用来注记。
- CX 即 x86/x86_64 的 CX（16bit），ECX（32bit），RCX（64bit） 寄存器，具体多长取决于前面的指令（MOVQ是64bit）
- 这句的意思是把第一个参数的值写入 RCX
3. MOVQ $1, DX
- $1：$开头的是立即数
- 这句的意思是给 RDX 赋值为 1
4. IMULQ CX, DX
- DX = DX * CX
5. DECQ CX
- CX = CX - 1
6. JNZ LOOP
- JNZ: Jump if Not Zero
- 当 CX 不等于 0 时跳转到 LOOP
7. MOVQ DX, result+8(FP)
- 将 RDX 的值写入到 FP+8 的位置。
8. RET
- 返回到调用方。
p.s. 这个汇编版本的实现并不等同于原来 Go 版本，只是这样写会更简单（只要一个jump）。
参考：
- Golang ASM 简明教程：https://jiajunhuang.com/articles/2020_04_22-go_asm.md.html
- A Quick Guide to Go's Assembler：https://go.dev/doc/asm
// main.go
package main
import "fmt"
func fac(n uint) uint {
var result uint = 1
for n > 0 {
result = result * n
n -= 1
}
return result
}
func main() {
fmt.Println(fac(10))
}
package main
import "fmt"
func fac(n uint) uint {
var result uint = 1
for n > 0 {
result = result * n
n -= 1
}
return result
}
func main() {
fmt.Println(fac(10))
}
修改上述 fac 方法，只保留函数定义（即声明存在该函数，由汇编代码实现）：
func fac(n uint) uint
新增 fac.s
TEXT ·fac(SB), $0-8
MOVQ n+0(FP), CX
MOVQ $1, DX
LOOP:
IMULQ CX, DX
DECQ CX
JNZ LOOP
MOVQ DX, result+8(FP)
RET
MOVQ n+0(FP), CX
MOVQ $1, DX
LOOP:
IMULQ CX, DX
DECQ CX
JNZ LOOP
MOVQ DX, result+8(FP)
RET
编译运行：
引用
$ go run .
3628800
说明：
1. TEXT ·fac(SB), $0-8
- TEXT 表示这个方法在 TEXT 段中
- · 是Unicode的「中点」（中文输入法，1左边的按键），前面省略了包名，表示这是 main 包的 fac 函数
- SB 是 stack base pointer，Go ASM 中的「伪寄存器」（不是硬件寄存器），大致等同于程序的起始地址
- $0-8：0 表示这个函数没有局部变量，8 表示返回值占用8个字节
2. MOVQ n+0(FP), CX
- MOVQ 的 Q 表示 8 个字节
- n+0(FP) 表示变量 n 在 FP（Frame Pointer，伪寄存器，表示这个函数的栈帧起始位置） + 0 的位置（即第一个参数）。注意这个写法形式上是必须得，但是变量名n没有实际意义，只是用来注记。
- CX 即 x86/x86_64 的 CX（16bit），ECX（32bit），RCX（64bit） 寄存器，具体多长取决于前面的指令（MOVQ是64bit）
- 这句的意思是把第一个参数的值写入 RCX
3. MOVQ $1, DX
- $1：$开头的是立即数
- 这句的意思是给 RDX 赋值为 1
4. IMULQ CX, DX
- DX = DX * CX
5. DECQ CX
- CX = CX - 1
6. JNZ LOOP
- JNZ: Jump if Not Zero
- 当 CX 不等于 0 时跳转到 LOOP
7. MOVQ DX, result+8(FP)
- 将 RDX 的值写入到 FP+8 的位置。
8. RET
- 返回到调用方。
p.s. 这个汇编版本的实现并不等同于原来 Go 版本，只是这样写会更简单（只要一个jump）。
参考：
- Golang ASM 简明教程：https://jiajunhuang.com/articles/2020_04_22-go_asm.md.html
- A Quick Guide to Go's Assembler：https://go.dev/doc/asm
May
23
手头项目每次 mvn package 得到的 jar 是 160M 左右，有时候需要替换到服务器上，上传时间较长。
Google 搜到这么个项目：xdelta
https://github.com/jmacd/xdelta-gpl/releases
可以对二进制文件做 patch，对 jar 的效果还挺好，两个相近的版本做 diff，生成的 patch 文件只有 500KB 左右。
用法：
有个小问题是，服务器是 centos 7 ，yum install 的是 xdelta 3.0.7 不支持最新的 lzma 压缩，因此生成 patch 的时候需要加上 -S djw 参数，指定为 djw 编码：
Google 搜到这么个项目：xdelta
https://github.com/jmacd/xdelta-gpl/releases
可以对二进制文件做 patch，对 jar 的效果还挺好，两个相近的版本做 diff，生成的 patch 文件只有 500KB 左右。
用法：
引用
# 生成 patch
xdelta.exe -es v1.jar v2.jar v1-v2.patch
# 应用 patch
xdelta.exe -ds v1.jar v1-v2.patch v2.jar
xdelta.exe -es v1.jar v2.jar v1-v2.patch
# 应用 patch
xdelta.exe -ds v1.jar v1-v2.patch v2.jar
有个小问题是，服务器是 centos 7 ，yum install 的是 xdelta 3.0.7 不支持最新的 lzma 压缩，因此生成 patch 的时候需要加上 -S djw 参数，指定为 djw 编码：
引用
xdelta.exe -S djw -es v1.jar v2.jar v1-v2.patch
May
16
踩了个小坑，记录一下。
swagger api 定义：
/upload:
post:
tags:
- "tag"
summary: "summary"
operationId: uploadFile
consumes:
- multipart/form-data
parameters:
- name: "data"
in: "formData"
type: "file"
required: true
description: "file content"
responses:
200:
description: "success"
schema:
$ref: "#/definitions/UploadFileResponse"
生成的 API：
直接用这个 API 请求会报错：
swagger Required request part 'file' is not present
细看发现是 swagger 生成的是 @RequestPart("file") 而不是 @RequestPart("data")，需要手动修改过来才能正确读取到文件字段。
swagger api 定义：
引用
/upload:
post:
tags:
- "tag"
summary: "summary"
operationId: uploadFile
consumes:
- multipart/form-data
parameters:
- name: "data"
in: "formData"
type: "file"
required: true
description: "file content"
responses:
200:
description: "success"
schema:
$ref: "#/definitions/UploadFileResponse"
生成的 API：
@RequestMapping(value = {"/sf/express/upload_channel_file" }, produces = { "application/json" }, consumes = { "multipart/form-data" }, method = RequestMethod.POST)
default ResponseEntity<UploadFileResponse> uploadFile(@ApiParam(value = "file detail") @Valid @RequestPart("file") MultipartFile data) {
return new ResponseEntity<>(HttpStatus.NOT_IMPLEMENTED);
}
default ResponseEntity<UploadFileResponse> uploadFile(@ApiParam(value = "file detail") @Valid @RequestPart("file") MultipartFile data) {
return new ResponseEntity<>(HttpStatus.NOT_IMPLEMENTED);
}
直接用这个 API 请求会报错：
swagger Required request part 'file' is not present
细看发现是 swagger 生成的是 @RequestPart("file") 而不是 @RequestPart("data")，需要手动修改过来才能正确读取到文件字段。
Feb
14
切到新语言就是不断地踩坑呀。
手头有一个函数，输入一个 itemList，统计不同类型的个数，核心代码如下：
其他 typeParser 在遇到异常数据时会返回 null。
重构的时候，稳妥起见为它写了个单测，结果就在上述代码的第二行 NPE 了。
debug 时确认了 typeParser 和 item 都不是 null，猜测是 switch 不能处理 null ，但不熟悉 java 语法，搜了一下，果然如此。
由于 case 数量不多，就暂且改成了 if ... else if ... else 的结构。
由此可见，单测对于代码的覆盖率确实是很有帮助。
手头有一个函数，输入一个 itemList，统计不同类型的个数，核心代码如下：
int xCount = 0, yCount = 0;
switch(typeParser.parse(item)) {
case X:
xCount++;
break;
case Y:
yCount++;
break;
default:
log.error("unknown type");
break;
}
switch(typeParser.parse(item)) {
case X:
xCount++;
break;
case Y:
yCount++;
break;
default:
log.error("unknown type");
break;
}
其他 typeParser 在遇到异常数据时会返回 null。
重构的时候，稳妥起见为它写了个单测，结果就在上述代码的第二行 NPE 了。
debug 时确认了 typeParser 和 item 都不是 null，猜测是 switch 不能处理 null ，但不熟悉 java 语法，搜了一下，果然如此。
由于 case 数量不多，就暂且改成了 if ... else if ... else 的结构。
由此可见，单测对于代码的覆盖率确实是很有帮助。
Jan
26
又遇到一个灵异的 intellij idea 问题。
背景：在项目 P 的同一个 Module M 下面， PKG P1 需要 import PKG P2 下面的 C1 和 C2 两个 class。
现象：import C1 成功，但是import C2失败；然而通过 mvn clean install 是可以正常完成编译的。
删除 project 下的 .idea 目录重新 import 并没有解决这个问题。
在另一个同学的电脑上尝试，报的错竟然不一样，是在 C2 这个 class 下无法 import 另一个 class C3，但同样可以通过 mvn 命令行完成编译。
通过 Google 搜到 StackOverflow 的这个 thread：
https://stackoverflow.com/a/66167190/802910
解决方案很简单：删掉 idea 的cache 目录，让它重建就好了。
在 windows 下，这个目录位于 %LOCALAPPDATA%\JetBrains\IdeaIC2021.2\caches （注意替换为自己版本号）
在 mac 下，目录应该是 ~/Library/Caches/JetBrains/IdeaIC2021.2
似乎 IDEA 本身也有清空 cache 的功能（File -> Invalidate Caches...），下次遇到再验证一下。
背景：在项目 P 的同一个 Module M 下面， PKG P1 需要 import PKG P2 下面的 C1 和 C2 两个 class。
现象：import C1 成功，但是import C2失败；然而通过 mvn clean install 是可以正常完成编译的。
删除 project 下的 .idea 目录重新 import 并没有解决这个问题。
在另一个同学的电脑上尝试，报的错竟然不一样，是在 C2 这个 class 下无法 import 另一个 class C3，但同样可以通过 mvn 命令行完成编译。
通过 Google 搜到 StackOverflow 的这个 thread：
https://stackoverflow.com/a/66167190/802910
解决方案很简单：删掉 idea 的cache 目录，让它重建就好了。
在 windows 下，这个目录位于 %LOCALAPPDATA%\JetBrains\IdeaIC2021.2\caches （注意替换为自己版本号）
在 mac 下，目录应该是 ~/Library/Caches/JetBrains/IdeaIC2021.2
似乎 IDEA 本身也有清空 cache 的功能（File -> Invalidate Caches...），下次遇到再验证一下。
Aug
11
# 现象
手头有一个比较大的maven project，拆成了十几个module，如果我要在 Intellij IDEA 跑个单测什么的，就会报错，各种依赖找不到，即使 pom.xml 里是明明白白写着：
依然无法识别，连 lombok 和 junit 都不行:
尽管 idea 很好心地给了帮助 "Add JUnit4 to classpath"，点击后也只是在 pom.xml 里再添加一次，并没有什么卵用。
这个问题有个很灵异的现象是，每次用 "mvn clean install" 整体编译的时候是正常的，但是在 idea 跑 test case，或启动某个 main，就会报错。
# 排查
打开 Project Structure 可以看到，这个 module 的 dependency 全是空的：
说明 pom.xml 文件应该是有坑。
查看 maven reload 的output，发现是了问题是某个dependency没有指定版本号
参考其他 module 指定正确的版本号：
再重新reload，问题就解决了。
# 回顾
再回头想想前面提到的灵异现象，从结果倒推，大概是因为把项目作为整体编译的时候，同一个package只能有一个版本，即使模块A没有指定版本，只要模块B有指定，就能正常引用。
之前还遇到过另一个现象，整体编译没问题，但是在 iDEA 里跑单测的时候，会发现引用了旧版本，其实也是同样的问题了。
完。
手头有一个比较大的maven project，拆成了十几个module，如果我要在 Intellij IDEA 跑个单测什么的，就会报错，各种依赖找不到，即使 pom.xml 里是明明白白写着：
依然无法识别，连 lombok 和 junit 都不行:
尽管 idea 很好心地给了帮助 "Add JUnit4 to classpath"，点击后也只是在 pom.xml 里再添加一次，并没有什么卵用。
这个问题有个很灵异的现象是，每次用 "mvn clean install" 整体编译的时候是正常的，但是在 idea 跑 test case，或启动某个 main，就会报错。
# 排查
打开 Project Structure 可以看到，这个 module 的 dependency 全是空的：
说明 pom.xml 文件应该是有坑。
查看 maven reload 的output，发现是了问题是某个dependency没有指定版本号
引用
[ERROR] org.apache.maven.artifact.InvalidArtifactRTException: For artifact {org.apache.flink:flink-streaming-java_2.11:null:jar}: The version cannot be empty.
参考其他 module 指定正确的版本号：
引用
<version>1.10.1</version>
再重新reload，问题就解决了。
# 回顾
再回头想想前面提到的灵异现象，从结果倒推，大概是因为把项目作为整体编译的时候，同一个package只能有一个版本，即使模块A没有指定版本，只要模块B有指定，就能正常引用。
之前还遇到过另一个现象，整体编译没问题，但是在 iDEA 里跑单测的时候，会发现引用了旧版本，其实也是同样的问题了。
完。
Aug
9
遥想第一次听说Google Authenticator已经是 7年前的事情 了，那时候它还托管在 Google Code 上（缅怀）。
说来惭愧，那会儿我就已经用着 SecureCRT 好几年了，就在D厂的时候大家都在用的那个D版。今年终于咬牙买了个正版，突然意识到它的Logon Script可以用来搞这个两步认证，上网搜了一下，已经有大神写好放在 gist 上了，于是抄了一把，略作改动，贴在这里。
注意：
1. 记得要把 SecureCRT session option里 Login Actions → "Display logon prompts in terminal window" 勾上。
2. 这个版本是windows版用的，保存成py文件；用mac版的同学，要看下scrt的脚本引擎是py2还是py3，py3的话，得用原作者这个 gist 里的另一个版本
REF：
https://gist.github.com/hex-ci/a8c58ac049c4b3a05ef2d6f9d98193c2
说来惭愧，那会儿我就已经用着 SecureCRT 好几年了，就在D厂的时候大家都在用的那个D版。今年终于咬牙买了个正版，突然意识到它的Logon Script可以用来搞这个两步认证，上网搜了一下，已经有大神写好放在 gist 上了，于是抄了一把，略作改动，贴在这里。
注意：
1. 记得要把 SecureCRT session option里 Login Actions → "Display logon prompts in terminal window" 勾上。
2. 这个版本是windows版用的，保存成py文件；用mac版的同学，要看下scrt的脚本引擎是py2还是py3，py3的话，得用原作者这个 gist 里的另一个版本
# $language = "python"
# $interface = "1.0"
import hmac, base64, struct, hashlib, time, json, os
TOTP_KEY = 'YOUR_TOTP_KEY'
YOUR_PASSWD = 'PASSWORD'
def get_hotp_token(secret, intervals_no):
"""This is where the magic happens."""
key = base64.b32decode(normalize(secret), True) # True is to fold lower into uppercase
msg = struct.pack(">Q", intervals_no)
h = hmac.new(key, msg, hashlib.sha1).digest()
o = ord(h[19]) & 15
h = str((struct.unpack(">I", h[o:o+4])[0] & 0x7fffffff) % 1000000)
return prefix0(h)
def get_totp_token(secret):
"""The TOTP token is just a HOTP token seeded with every 30 seconds."""
return get_hotp_token(secret, intervals_no=int(time.time())//30)
def normalize(key):
"""Normalizes secret by removing spaces and padding with = to a multiple of 8"""
k2 = key.strip().replace(' ','')
# k2 = k2.upper() # skipped b/c b32decode has a foldcase argument
if len(k2)%8 != 0:
k2 += '='*(8-len(k2)%8)
return k2
def prefix0(h):
"""Prefixes code with leading zeros if missing."""
if len(h) < 6:
h = '0'*(6-len(h)) + h
return h
def main():
tab = crt.GetScriptTab()
if tab.Session.Connected != True:
crt.Dialog.MessageBox("Session Not Connected")
return
tab.Screen.Synchronous = True
tab.Screen.WaitForStrings(['[MFA auth]:'])
vc = get_totp_token(TOTP_KEY)
tab.Screen.Send("{vc}\r\n".format(vc=vc))
tab.Screen.WaitForStrings(['Opt>'])
tab.Screen.Send("relay2\r\n")
if tab.Screen.WaitForString('password:', 1):
tab.Screen.Send("{pwd}\r\n".format(pwd=YOUR_PASSWD)) #鄙厂的relay后面还有个relay
return
main()
# $interface = "1.0"
import hmac, base64, struct, hashlib, time, json, os
TOTP_KEY = 'YOUR_TOTP_KEY'
YOUR_PASSWD = 'PASSWORD'
def get_hotp_token(secret, intervals_no):
"""This is where the magic happens."""
key = base64.b32decode(normalize(secret), True) # True is to fold lower into uppercase
msg = struct.pack(">Q", intervals_no)
h = hmac.new(key, msg, hashlib.sha1).digest()
o = ord(h[19]) & 15
h = str((struct.unpack(">I", h[o:o+4])[0] & 0x7fffffff) % 1000000)
return prefix0(h)
def get_totp_token(secret):
"""The TOTP token is just a HOTP token seeded with every 30 seconds."""
return get_hotp_token(secret, intervals_no=int(time.time())//30)
def normalize(key):
"""Normalizes secret by removing spaces and padding with = to a multiple of 8"""
k2 = key.strip().replace(' ','')
# k2 = k2.upper() # skipped b/c b32decode has a foldcase argument
if len(k2)%8 != 0:
k2 += '='*(8-len(k2)%8)
return k2
def prefix0(h):
"""Prefixes code with leading zeros if missing."""
if len(h) < 6:
h = '0'*(6-len(h)) + h
return h
def main():
tab = crt.GetScriptTab()
if tab.Session.Connected != True:
crt.Dialog.MessageBox("Session Not Connected")
return
tab.Screen.Synchronous = True
tab.Screen.WaitForStrings(['[MFA auth]:'])
vc = get_totp_token(TOTP_KEY)
tab.Screen.Send("{vc}\r\n".format(vc=vc))
tab.Screen.WaitForStrings(['Opt>'])
tab.Screen.Send("relay2\r\n")
if tab.Screen.WaitForString('password:', 1):
tab.Screen.Send("{pwd}\r\n".format(pwd=YOUR_PASSWD)) #鄙厂的relay后面还有个relay
return
main()
REF：
https://gist.github.com/hex-ci/a8c58ac049c4b3a05ef2d6f9d98193c2
