依云's Blog

atuin 是最近在群里看到的工具。功能和我自己用 skim 糊的脚本一样，搜索并执行 shell 的命令历史用的。但是，它的数据存储使用的是 SQLite3，并且它是使用 Rust 编程语言编写的。于是事情有了一些好的变化。

首先，因为 atuin 并不像 Web 服务那样，会持续打开并操作数据库，所以 SQLite3 并发容易报错的问题并不需要担心。而 atuin 会记录执行时间、耗时、工作目录和退出码等信息。更多的元信息，能给之后的搜索和分析提供更多帮助。

其次，因为搜索走的数据库查询，因此并不需要像我用 skim 那样，每次把全部历史加载到内存。这样就可以保留更多的历史记录而不用怕越用越慢了。不知道 SQLite3 的搜索功能效率如何，但我几万条记录，已经可以明显感觉到加载耗时的差异了。

最后，它是 Rust 写的——这点很重要，因为这大大地方便了我对它进行修改（而不像某 Zig 写的工具，我翻了半天文档都没改对最后只好放弃了）。

当然，让我没多犹豫就决定尝试 atuin 的最重要的原因是：它独立于 shell 原本的历史记录功能，并不会取而代之。所以它要是不合我意，我只要把它删掉就好了，原本的历史记录丝毫不受影响。

于是我到现在已经用半个月了，结果非常满意。不过也已经对它做了好多修改了。比较重要的如下：

1. 支持 Shift+Del 键删除记录。有时候会不小心打错命令。这种命令记在历史里时不时被翻出来，不但占用显示空间，还容易不小心选错然后相同的错误又犯一遍，甚至因为没看清命令细节而不小心删掉好多文件（还好我有快照）。atuin 的作者最近也加了删除功能，但是是在另一个界面操作，对于我这种经常在找命令的时候要删除多条命令的用法来说，不光麻烦，而且上下文切换的代价很大，会忘记自己原本是要干什么的。

2. 精确匹配模式，这是 skim 的叫法。你叫它多子字符串匹配也行。自从 fzf 流行以来，大家都迷上了子序列匹配的所谓「模糊匹配（fuzzy match）」。但是我不喜欢这种匹配方法，会给出太多不相关的结果，加大脑力负担。真正好的模糊匹配是 agrep 那种基于编辑距离的算法，打错点字没关系那种。所以我给 atuin 也加上了精确匹配模式，同时还提升了查询性能呢。

3. 反转 UI 的 --invert 命令行选项。像我之前使用 skim 那样，当光标位于终端窗口的上半部分时，我希望我搜索时打字的地方在上方；而当光标来到终端窗口的下半部分时，搜索时光标也放下边。这样关注的焦点就不会跳很远，有连贯性，节省认知脑力。atuin 本身有反转 UI 的功能，但是是写在配置文件里的，而我需要视情况决定要不要反转 UI，所以还是得加个命令行选项。

4. 更改了选中项的颜色。atuin 原本用的是红色，我总觉得是哪里有报错……

还有些不太重要的修改，可以来我的分支查看：https://github.com/lilydjwg/atuin/commits/lilydjwg。注意这个分支我会经常 rebase 的。

另外我修改过的 zsh 插件在 https://github.com/lilydjwg/dotzsh/blob/master/plugins/atuin.zsh。

值得一提的是，atuin 还支持同步。同步的数据本身是加密的，但是还是会泄露一堆诸如什么时候在跑命令之类的元数据，所以我自己跑了个服务。服务很好跑，但是同步似乎有些问题。我两个系统，两边都导入了之前的历史记录并同步，但是后同步的那个系统上的历史，很难被同步过去。甚至 atuin 发现本地比远程多，就从最新开始慢慢上传，直到两边一样多；如果远程比本地多，那就把远程的删掉一些（我也不知道它删了哪些，我是看到访问日志里巨量的 DELETE 请求才意识到问题的）。总之经过我不懈地反复运行，最终它只比远程多几条记录了，并且绝大部分历史记录已经两边都有了。我猜它可能没想到我会从不同的系统上同步已有且已分歧的数据吧……

我这里 docker hub 连不上或者连上了访问很慢，根本没法用。本来我常规代理的办法，要么是 proxychains，要么是用 iptables 代理特定的 IP 段。至于 docker 嘛，亚马逊的 IP 段那么多，它用到的域名我也不是很清楚，一点点加好麻烦。作为系统服务，用 proxychains 不仅得修改 systemd 服务配置，而且不知道会不会出什么幺蛾子。最近刚好在某个地方看到这一手，就试试啰。

其实用法很简单的。去 /sys/fs/cgroup/net_cls 下建立个目录，往 net_cls.classid 里写一个整数（支持十六进制的 0x 表示法），然后把 dockerd 的 pid 写到 cgroup.procs 里去。最后用 iptables 代理这部分流量即可。现在都用 443 端口啦，所以只要代理它便好，也避免影响了别的东西：

iptables -t nat -A OUTPUT -p tcp --dport 443 -m cgroup --cgroup 0x110001 -j REDIRECT --to-ports XXX

XXX 是 ss-redir 的端口啦。

注意不要把进程的 pid 往 tasks 文件里写。那里得写的是 task 的 id 而不是 process 的 id，也就是说（用内核的术语来说）是线程的 pid 而不是进程的 tgid（thread group id）。所以非要写 tasks 文件的话，得把 docker 所有的线程的 pid 都写进去才行。真是混乱呢……画个表格好了：

另外如果更新过内核的话，那句 iptables 有可能会找不到模块的。（所以更新内核之后还是重启一下以避免尴尬吧。）

前两天我又看到了基于子序列匹配的字符串过滤工具 fzf 的绚丽效果了。实际上我很早就听说了这个工具，只是懒得动手配置。此次提及，我发现 fzf 已经在官方软件源里了，而我也正好有时间，所以打算试一试。

然后呢，Arch Linux CN 群组里艾穎初提到 skim 这么一个工具。了解了一下，这个就是 Rust 版本的 fzf，并且在 archlinuxcn 源里也有（git 版本，即 skim-git）。这太好了，就是它了！

skim 的操作很简单。文章开头的链接里已经有效果演示了。常用的也就是输入子序列去过滤，然后再输入一个进一步过滤，直到看到想要的。使用 ! 前缀可以反向过滤，^ 匹配开头 $ 匹配结尾。Ctrl-p/n 来上下移动。提示符那里也支持通常的行编辑。

到现在为止，我自行实现了 sk-cd、sk-search-history、sk-vim-mru 三个功能。另外使用了自带的 completion.zsh 文件。由于各种不满意，没有使用自带的 key-bindings.zsh 文件（也就包含 cd 和历史命令搜索功能啦）。

completion.zsh 里目前有两个功能。kill 时通过 ps 补全进程 pid。这个想法很好，以后我可能专门做一个通用的方便 strace 啊 lsof 啊 gdb 啊之类的用。

另一个是遇到两个星号（**）时按 Tab 补全，查找并替换成当前目录下的文件。

我实现的 sk-cd 是从 autojump 取目录列表，然后喂给 skim。于是就成了交互式的 autojump～这是一个我很需要的功能。原来我都是通过 Tab 补全列出可能的项，然后再 Tab 过去选的，有些慢也有些麻烦。

sk-search-history 就是在历史命令里找东西。因为遇到特殊字符时无法正确地加载预览，我并没有开启预览功能。反正找到的命令只会放在命令行上，并不会自动执行的，选错了可以及时取消。

以上两个功能分别绑定到 Alt-s d 和 Alt-s r 上。我使用 Alt-s 作为 skim 快捷键的开头，以便保留 zsh 原本的快捷键，避免冲突，特别是以后可能会有更多功能被加入。我在 Vim 里，也是类似的做法，Alt-q 是 easymotion 的开头快捷键，Alt-d 是 denite 的开头快捷键。

sk-vim-mru 仅仅是个命令了。使用的数据是 mru.vim 的历史记录文件。然后做了两个函数：vim-mru 使用 Vim 编辑文件，vv-mru 使用我自己的 vv 命令在已有的 gVim 里编辑文件。

我做的版本和 skim 自带版本，最大的差别在于，我的版本会尽量使用全部的窗口空间，而 skim 自带的总是会使用 40% 窗口高度。（所以我有个函数用来获取当前光标位置，有需要的可以自己拿去用。）

如果你想用我的配置，可以 wget https://github.com/lilydjwg/dotzsh/raw/master/plugins/sk-tools.zsh 回去，然后 source 一下就好。有需要的话（比如数据来源、键绑定等）可以自行修改。

2018年09月17日更新：我尝试了一下把 sk-search-history 映射到 Ctrl-r 上，然后很快就放弃了。因为 skim 的结果是不可预测的，而默认的 Ctrl-r 的结果是完全可预测的（只要还记得；当然你不能开（那个让我在服务器上误杀过进程的）实时历史共享）。可预测性对提高效率非常关键，因为你不需要中断思维，停下来等结果。

这是我用了多年的 zsh 提示符。

右提示符比较简单，先说。

首先，这个右提示符是 zsh 才支持的，不是 hack 左提示符来的哦。

我的右提示符显示的是（提示符打印出来时的）时间。在有后台任务时，会在左边以黄色显示出后台任务的数量，增加些许后台默默工作的进程的存在感啦。

截图中可以看到，只有最后一行才显示了右提示符（以至于我截图都得 hack 一下）。我使用了setopt transient_rprompt，这样 zsh 会清掉旧的右提示符，就不会影响复制了。以前每次复制时都带上一堆空格然后几个时间，折行之后根本没法看，后来才发现体贴的 zsh 已经有这么个选择了。

另外，在输入命令到右提示符时，右提示符会自动消失，以免和命令混淆。都说了很体贴的哦～

左边，是一个两行的提示符。之所以做成两行，是为了保持命令的起始位置不会因为提示符的长度变化而变化，每次输入新命令的时候，光标都在同一列，易读好找。我就不明白，那些坚持 bash 默认提示符的人是怎么坚持下来的，用着用着不知道自己光标去哪里了……对了，zsh 在输出提示符时，会保证它从终端最左边那一列开始输出。如果上一行不完整，zsh 会打印一个反色的「%」来表示（截图里 ^C 那里就有一个）。

蓝色「>>> 」是学 Python 的，但是使用了蓝色以免和 Python 混淆。如果是 root 用户，则显示红色的「### 」以警示。这个比较刺眼，所以就尽量不用 root 跑 shell 啦。

第一行开头是命令序号，就是历史记录里有多少条命令。每执行一条命令它就会加一，空行或者 Ctrl-C 放弃的不算。其实没什么用的样子。

然后是一个用于标识不同机器的名字。比如这里 lilywork 表示我正在我的工作机上。我家里那个系统里不会显示这个。这个信息可以通过ZSH_PS_HOST变量来设置，比如一般可以设置成$(hostname)。GitLab 之前的提示符里大概没有这个吧。

再就是最后一条命令的状态码（$?）。如果命令成功就不显示，否则显示一个红色的数字，以提示上条命令出错了。所以说了嘛，我没法理解坚持使用 bash 及其默认提示符的人……

然后是缩短过的当前目录。~tmp是我的临时目录，有名字（hash -d tmp=....）的。但是它不会缩短中间路径的名字，反正我在它下边写命令，不用担心路径太长。不过我不建议深入探索 nodejs 的模块树，显示好几行的路径并不好看的。

最后一项又是可选的，git 当前分支。这个功能是我自己写的，不是 zsh 自带的那个，是异步显示的哦～忙着干活呢，不能在这种小事上浪费时间、中断思绪嘛。并且还可以通过设置来排除一些目录，比如访问特别慢的远程目录，比如已经死掉很久的 Wuala。

显示的信息不多，也一点都不华丽，但十分有用呢。

介绍完毕，提示符的定义我这里就不写啦。代码都在这里：https://github.com/lilydjwg/dotzsh。

alembic 这个升级/降级的工具，看上去挺好的，编写好一系列版本脚本之后，能够自动地把数据库给升级或者降级到指定版本。它也使用类似 git 的一串十六进制数来表示各个版本，也支持分支，不过呢，比 git 的易用性差太远了。

我今天有个需求，给一些列添加外键。因为懒得单独新写一些脚本，所以我直接改了相关脚本，手动去数据库执行了 SQL。本以为这样子就好了，后来发现新添加外键所引用的表的创建顺序不对，应该在所有引用到它的表之前创建才对。

可是 alembic 没有 git rebase -i 命令啊，不能简单地调整各种版本的顺序。我尝试着手工编辑了一下，结果弄出来两个 head，一个 branchpoint，但是我就是没能看出来是哪里分叉了……于是想到把各个版本的关系给画出来。这种图 GraphViz 最适合了，而简单地解析 alembic history 的输出，用 awk 就好了：

#!/usr/bin/awk -f

BEGIN {
  print "digraph alembic {";
  shape = "box";
}

/^Rev:/ {
  switch($3) {
    case "(branchpoint)":
      shape = "hexagon";
      break;
    case "(head)":
      shape = "ellipse";
      break;
    default:
      shape = "box";
  }
}

/^Path:/ {
  finding_title = 1;
}

/^    \S/ && finding_title {
  sub(/^\s+|\s+$/, "");
  title = $0;
  finding_title = 0;
}

/^    Revision ID:/ {
  rev = $NF;
}

/^    Revises:/ {
  printf("  r%s -> { r%s };\n", rev, $NF);
  printf("  r%s[label=\"%s: %s\",shape=%s];\n", rev, rev, title, shape);
}

END {
  print "}";
}

head（以及第一个之前的 None 版本）会使用椭圆，分叉点（alembic 说的）会使用六边形，而其它版本是矩形的。这样就可以很方便地看出来是哪里分叉啦：

alembic history | alembic_graph | dot -Txlib

结果发现，我的数据库版本们根本就没有分叉嘛……没办法 revert 回去，把关系图导出 SVG 然后放 Inkscape 里边画边改，总算是把顺序给调整对了=w=

为什么要异步？当然是因为慢了。比如 Arch 核心仓库 git 版挺大的，第一次进去时显示个 git 分支名要等好一会儿。今天在 zsh-users 列表中看到 Bart Schaefer 给出了一个使用 coprocess 的解决方案，眼前一亮，立即照葫芦画瓢给自己的 zsh 用上了。以下是整个提示符设置部分的代码：

if [[ -n $commands[git] ]]; then
  _nogit_dir=()
  for p in $nogit_dir; do
    [[ -d $p ]] && _nogit_dir+=$(realpath $p)
  done
  unset p

  typeset -g _current_branch= vcs_info_fd=
  zmodload zsh/zselect 2>/dev/null

  _vcs_update_info () {
    eval $(read -rE -u$1)
    zle -F $1
    exec {1}>&-
    zle reset-prompt
  }

  _set_current_branch () {
    cwd=$(pwd -P)
    for p in $_nogit_dir; do
      if [[ $cwd == $p* ]]; then
        return
      fi
    done

    setopt localoptions no_monitor
    coproc {
      _br=$(git branch --no-color 2>/dev/null)
      if [[ $? -eq 0 ]]; then
        _current_branch=$(echo $_br|awk '{if($1 == "*"){print "%{\x1b[33m%} (" substr($0, 3) ")"}}')
      fi
      # always gives something for reading, or _vcs_update_info won't be
      # called, fd not closed
      typeset -p _current_branch
    }
    disown %{\ _br
    exec {vcs_info_fd}<&p
    # wait 0.1 seconds before showing up to avoid unnecessary double update
    # precmd functions are called *after* prompt is expanded, and we can't call
    # zle reset-prompt outside zle, so turn to zselect
    zselect -r -t 10 $vcs_info_fd 2>/dev/null
    zle -F $vcs_info_fd _vcs_update_info
  }

  typeset -gaU precmd_functions
  precmd_functions+=_set_current_branch
  setopt PROMPT_SUBST
fi

[[ -n $ZSH_PS_HOST && $ZSH_PS_HOST != \(*\)\  ]] && ZSH_PS_HOST="($ZSH_PS_HOST) "

E=$'\x1b'
PS1="%{${E}[2m%}%h $ZSH_PS_HOST%(?..%{${E}[1;31m%}%?%{${E}[0m%} )%{${E}[32m%}%~\$_current_branch
%(!.%{${E}[0;31m%}###.%{${E}[1;34m%}>>>)%{${E}[0m%} "

比较坑的是使用chpwd_functions的话只能在目录改变时显示一次，再随便执行个什么命令分支提示就没了。又想到目录不改变的时候分支也可以变化（切换分支了嘛），所以使用precmd_functions，每次显示提示符前（单纯的重绘除外）都执行一次。另外，为了避免每次显示提示符时都明显地分为两步干扰视线，所以在那个_set_current_branch函数里等了 0.1 秒，超时才会不管分支名显示先继续了。

2014年2月24日更新：注意，直到 zsh 5.0.5（就是当前最新版本）有个 bug，在显示提示符之后、用户输入之前，上述代码会经常出现「忙等待」的情况浪费 CPU。这里有个补丁可以修复。

很早以前，我就想，在命令比较长的时候，M-f和M-b按单词移动太慢了，特别是遇到长的 URL 或者文件名的时候。用鼠标吧，选择文本又比较麻烦了。所以很希望按 shell 参数来移动的功能，甚至尝试自己写过，但是因为对 zsh 了解太少，终究移动不正常。

昨天夜读 zsh 手册时才发现，原来，我曾见过这个功能的背影。

文档 26.6.1 节（「User Contributions」->「ZLE Functions」->「Widgets」）第一个，讲的是「bash-style word functions」。之前我也在哪里看到过，但是不知道其实这家伙支持好几种风格。使用以下配置就可以把 ZLE 里原来的「单词」概念变成 shell 解析出来的参数了：

autoload -Uz select-word-style
select-word-style shell

但是，我不想替换掉默认的，而是使用另外的键来这样子移动。研究了下代码，最终弄出来了：

# move by shell word {{{2
zsh-word-movement () {
  # see select-word-style for more
  local -a word_functions
  local f

  word_functions=(backward-kill-word backward-word
    capitalize-word down-case-word
    forward-word kill-word
    transpose-words up-case-word)

  if ! zle -l $word_functions[1]; then
    for f in $word_functions; do
      autoload -Uz $f-match
      zle -N zsh-$f $f-match
    done
  fi
  # set the style to shell
  zstyle ':zle:zsh-*' word-style shell
}
zsh-word-movement
unfunction zsh-word-movement
bindkey "\eB" zsh-backward-word
bindkey "\eF" zsh-forward-word
bindkey "\eW" zsh-backward-kill-word

只绑了M-B、M-F和M-W这三个含大写字母的组合键。其它-match函数的功能以后用到时再加好了。

在 Linux 下，最常见的 pager（翻页器）就是 less 了，所以很多时候，我都忘记了还有$PAGER这个环境变量，直到有一天我写了这么个 shell 函数：

repodo () {
  for f in $(cat ~/workspace/.my-repos); do
    echo "\n>>> $f\n"
    cd ~/workspace/$f && stdoutisatty $@
    cd - > /dev/null
  done | less
}

这个函数对于~/workspace/.my-repos中记录的每一个项目，在对应的目录下执行同一条命令，并使用 less 来查看输出。其中，stdoutisatty 是一个把标准输出伪装成 tty 的脚本，这样一些命令就不会因为实际输出到管道而关掉彩色高亮之类的了。

比如

repodo git st

st是status的 git 别名。

这一句命令就可以查看所有项目的工作区状态了。

后来，我执行这样一条命令，它就出问题了：

repodo git grep string

因为 stdoutisatty 的缘故，git grep 会自动调用翻页器。于是，出现了两个 less 同时要读终端输入。

首先想到的是 git 的--no-pager参数，但这个很显然对其它命令无效。于是才想起自设置之后一直没再搭理的$PAGER环境变量：

repodo () {
  for f in $(cat ~/workspace/.my-repos); do
    echo "\n>>> $f\n"
    cd ~/workspace/$f && PAGER=cat stdoutisatty $@
    cd - > /dev/null
  done | less
}

把PAGER指定为cat直接输出，这样就不会有多个 less 在运行了。

但这样还没有结束，因为我的不少脚本里都是直接调用 less 的，现在得改成这样子了：

command | ${PAGER:-less}

或者在 Python 里：

p = subprocess.Popen([os.environ.get('PAGER', 'less')], stdin=subprocess.PIPE,
                      universal_newlines=True)

附：less 默认是会转义来自输入的彩色转义字符序列的。我使用了-FRXM参数，也是通过环境变量传递的：

export LESS=-FRXM

这四个选项的意义是：

-F

如果一屏能显示下，那么显示完就退出

-R

不要转义 ANSI 彩色转义字符序列

-X

不要发布终端初始化和结束字符串。这样才不会使用终端的备用屏幕，less 的输出才会留在主屏幕上（使用-F选项时必须，不然可能看不到东西）

-M

在 less 提示符（最后一行）显示更多信息（比如文件的百分比位置）

关于历史记录，zsh 有很多选项。我的配置是：

HISTFILE=~/.histfile
HISTSIZE=10000
SAVEHIST=10000

# 不保留重复的历史记录项
setopt hist_ignore_all_dups
# 在命令前添加空格，不将此命令添加到记录文件中
setopt hist_ignore_space
# zsh 4.3.6 doesn't have this option
setopt hist_fcntl_lock 2>/dev/null
setopt hist_reduce_blanks

最多保留一万行不重复的历史记录。对其的读取和保存没做额外的配置，因此 zsh 会在启动时读取一次，在退出时保存一次。这样，如果同时开了多个 zsh，它们不会共享启动后的历史记录项，因为还没有写到文件中去。

其实是有选项来方便在多个 zsh 中及时共享历史记录的：

setopt SHARE_HISTORY

但是这样的话，每次显示提示符时 zsh 均会读取一次历史记录，而每当新的历史记录产生时 zsh 都会写入一次。磁盘 I/O 太频繁了，我不喜欢。我只需要在我想的时候，能够手动保存和读取历史记录就可以了。读过长长的文档，发现fc可以做到这点：

# 读取历史记录
fc -IR
# 保存历史记录
fc -IA

-I表示「incremental」，只有新的项目被处理。-R是读取，而-A是写入。千万不要用-IW，这样会丢失原有的历史记录。

工作中经常会需要将一个域名映射到本地以调试，但是其余时间又需要让其正常解析。手工修改/etc/hosts文件烦耶！

于是有了以下脚本：

#!/bin/bash

if [[ $UID -eq 0 ]]; then
  sed -i '/^#127\.0\.0\.1\s\+example\.org/s/^#//;t;/^127\.0\.0\.1\s\+example\.org/s/^/#/' \
    /etc/hosts
  systemctl restart dnsmasq
else
  grep -m1 -F 'example.org' /etc/hosts
fi

使用 sed 是因为觉得没必要用 awk 这样复杂的东西，也正好更深入学习下 sed。此代码中用到了t命令，它的语义是：

当当前行的上一个s命令成功（至少替换一次）时，跳转到指定的标签。如果没有指定标签，则跳转到脚本尾部。上边的命令中，当example.org域名这行被注释掉时，s命令成功去掉其前的注释符，然后t命令跳过后边加注释符的s命令，到达脚本尾部。

标签使用冒号定义。以上命令使用标签时如下所示：

  sed -i '/^#127\.0\.0\.1\s\+example\.org/s/^#//;te;/^127\.0\.0\.1\s\+example\.org/s/^/#/;:e' \
    /etc/hosts

当然，以上脚本还做了另一件事：当以普通用户身份执行时，不修改 hosts 文件，而是显示相关行以查看状态。