依云's Blog

起因是，我偶尔看到 MediaWiki 导出时可以把图片也包含在 XML 文件中，但是不确定能不能顺利地导入回去。本来是准备拿虚拟机测试的，但是得在虚拟机里安装整套环境，麻烦呀。于是，结合前段时间折腾 Aufs 和 LXC 的经验，把当前正在运行的系统利用 Aufs 搞了一份只读挂载。当然还要弄个空目录来放可写分支：

mkdir -p root data
sudo mount -t aufs -o br:$PWD/data=rw:/=ro aufs $PWD/root

其实这个样子就已经可以 chroot 进去跑 httpd 了。不过，得先改一下监听的端口，因为 chroot 环境与主系统只有文件系统是隔离的，网络空间还是共享的。chroot 中 PID 空间也是共享的，所以在里边杀进程时不小心把 PID 写错的话，是可能会把外边的进程给杀掉的……（而 LXC 中，主系统是可以杀容器中的进程，但是反过来不行，因为主系统中的进程在容器中根本没分配 PID。）

于是就来玩玩 LXC 啦。要注意把 fstab 删掉，不然 systemd 会不高兴。日志文件不能共享，否则 journald 会不高兴。因为把 mknod 权限给禁掉了，所以在容器里 loop 设备是没法创建的。如果需要，在主系统里 losetup 之后像注释里那样写一条挂载信息就好。

sudo rm root/etc/fstab
sudo rm -r root/var/log/journal
sudo mkdir root/var/log/journal
sudo chgrp systemd-journal root/var/log/journal
sudo brctl addbr br0
sudo ifconfig br0 192.168.10.1

cat > lxc.conf <<EOF
lxc.utsname = arch2
lxc.autodev = 1
lxc.tty = 1
lxc.pts = 1024
lxc.rootfs = ${PWD}/root
lxc.mount.entry = sysfs sys sysfs ro,defaults 0 0
lxc.mount.entry = proc proc proc nodev,noexec,nosuid 0 0
lxc.mount.entry = /proc/sys ${PWD}/root/proc/sys none ro,bind 0 0
lxc.cap.drop = mknod sys_module mac_admin mac_override
# loop mount
# lxc.mount.entry = /dev/loop1 /home/lilydjwg/tmpfs/root/var/lib/pacman ext4 rw 0 0
#networking
lxc.network.type = veth
lxc.network.link = br0
lxc.network.flags = up
lxc.network.ipv4 = 192.168.10.3
lxc.network.name = eth0
#cgroups
lxc.cgroup.devices.deny = a
lxc.cgroup.devices.allow = c *:* m
lxc.cgroup.devices.allow = b *:* m
lxc.cgroup.devices.allow = c 1:3 rwm
lxc.cgroup.devices.allow = c 1:5 rwm
lxc.cgroup.devices.allow = c 1:7 rwm
lxc.cgroup.devices.allow = c 1:8 rwm
lxc.cgroup.devices.allow = c 1:9 rwm
lxc.cgroup.devices.allow = c 1:9 rwm
lxc.cgroup.devices.allow = c 4:1 rwm
lxc.cgroup.devices.allow = c 5:0 rwm
lxc.cgroup.devices.allow = c 5:1 rwm
lxc.cgroup.devices.allow = c 5:2 rwm
lxc.cgroup.devices.allow = c 136:* rwm
EOF
sudo lxc-start -n arch-dup -f lxc.conf

当然网络和 DNS 还要进去再设置一下：

route del -net 192.0.0.0/8
route add -net 192.168.0.0/16 eth0
route add -net default gw 192.168.10.1
echo 'nameserver 192.168.10.1' > /etc/resolve.conf

LXC 挺有点复杂的。systemd 的开发者也是这么认为的，所以他们搞了个操作便捷性类似于 chroot 但是功能类似于 LXC 的东东——systemd-nspawn！比如上边那个新系统可以这么启动：

sudo systemd-nspawn -b --private-network -D root

不过很遗憾的是，要么加--private-network让新启动的容器没有网络，要么不加，和 chroot 一样与主系统共享网络。毕竟是他们用来测试 systemd 的东东嘛。调试系统的第一个进程可不容易，但是当它在另一个系统中只是一个普通进程、可以连 gdb 和 strace 时情况就大不一样啦 =w=

PS: 在 systemd-nspawn 的 manpage 中（上边那个 freedesktop.org 的链接），Arch 和 Fedora 以及 Debian 并列作为示例了呢 =w=

2015年3月14日更新：使用 Linux 3.18 及以上版本的内核，也可以使用 overlayfs 取代 aufs 来挂载，挂载命令示例如下：

modprobe overlay
mount -t overlay -o lowerdir=/,upperdir=$PWD/.lxc-data,workdir=$PWD/.lxc-root overlayfs $PWD/.lxc-root

lowerdir是只读的目录（其中的数据不会被修改），upperdir是用于记录修改的可写目录，workdir是工作目录，其必要性我也不理解，需要和upperdir同一文件系统。我习惯上指定为挂载目标目录。

overlayfs 某些操作的效率似乎比 aufs 高不少。这里是我自己用来创建这个系统副本的 Shell 脚本。

前几日群里又有人提到使用 systemd 管理用户的守护进程。早些时候我就知道有设计这么个功能，然调用systemctl --user时却总是跑去执行/bin/false，然后告诉我执行失败 QAQ

既然提到，就再试试呗。没想到这次systemctl --user列出一大堆 unit！还没弄明白它是哪里来的，不过至少说明systemctl --user已经可以用了！于是尝试性地把几个不依赖 X 的服务改成 systemd 服务了。至于依赖 X 的就不要 systemd 管了，我自己写在 Awesome 配置里，毕竟它们属于这个 X 会话，独立性没那么强，也免得纠结 DISPLAY 环境变量的问题。

我的 systemd 版本是 208。大概以前的版本确实有些问题，现在已经弄好了。

systemd 的用户配置位于~/.confg/systemd/user、/lib/systemd/user和/etc/systemd/user下。我当然是用「家」里的那个了。

我改写的这些服务之前大部分是在 tmux 里跑的，除了占用 tmux 窗口外还占用个 zsh。现在全部改写成 systemd 服务了，于是 tmux 那边干净了不少 =w=

比如这个：

[Unit]
Description=Privoxy Web Proxy With Advanced Filtering Capabilities
ConditionPathIsDirectory=%h/.privoxy

[Service]
Type=simple
PIDFile=/run/user/%U/privoxy.pid
SyslogFacility=local0
ExecStart=/usr/bin/privoxy --pidfile /run/user/%U/privoxy.pid --no-daemon %h/.privoxy/config

[Install]
WantedBy=default.target

可以看到，systemd 里写起要执行什么命令还是挺简陋的。毕竟它不调用 shell 的，于是环境变量都用不了，家目录的位置也要写成%h，%U则是用户 ID。令我不解的是，执行的命令和#!里的一样，必须使用绝对路径，而不能只写个名字，依赖 $PATH 环境变量去寻找。于是就有这样丑陋的ExecStart了——

ExecStart=/bin/zsh -c "exec sslocal -s HOST -p PORT -l LOCALPORT -k PASSWORD -m METHOD -c <(echo {})"

至于那个SyslogFacility，是为了在 syslog-ng 的日志中不显示出来而定义的，这样就可以根据 facility 来过滤掉这些用户级服务的日志了。

还有个SyslogIdentifier也挺好用的。systemd 默认使用ExecStart里第一个字的文件名部分来作为日志的标识，于是在系统日志（syslog 和 journald）中就看到一堆 sh 以及一些 zsh 和 socat，没区分度了……于是写明 SyslogFacility 来赋予其一个更合理的名字。

systemd 用户级服务使用systemctl --user来管理，其它的和系统级的差不多，也是 enable / start / disable / stop / status 这些。当然 daemon-reload 命令会频繁地使用啦 :-)

查看 journald 日志却有些不同，也是加--user，但是查看某个服务的日志输出却不是-u SERVICE了。有个--user-unit NAME参数，但是它会只显示 systemd 启动的进程的日志，而没有 systemd 自己处理该服务时的日志了……通过阅读日志的 JSON 格式输出（-o json-pretty），终于弄了个比较理想的方案。以下是我在 zshrc 里的相关配置（zsh only 哦）：

alias sysuser="systemctl --user"
function juser () {
  # sadly, this won't have nice completion
  typeset -a args
  integer nextIsService=0
  for i; do
    if [[ $i == -u ]]; then
      nextIsService=1
      args=($args _SYSTEMD_CGROUP=/user.slice/user-$UID.slice/user@$UID.service/)
    else
      if [[ $nextIsService -eq 1 ]]; then
        nextIsService=0
        args[$#args]="${args[$#args]}$i.service"
      else
        args=($args $i)
      fi
    fi
  done
  journalctl -n --user ${^args}
}

加-n是因为默认全部输出，一下子跳到后边的日志时就太卡了，但是只输出最后一部分日志就挺快的。默认是十行，也可以接数字来指定数量。指定多次时最后一次生效，所以我问题把它写进去也不怎么影响手动指定的情况。

于是管理用户级服务时我就用sysuser ...，而要看某个服务的日志时就用juser -u xxx。

因为我使用 eCryptfs 加密了主目录，所以还遇到一个问题：用户级的 systemd 进程是通过 PAM 启动的，而这启动的时候我的主目录还没解密呢。于是 systemd 没有读取到我的配置，没有自动启动任何服务……于是只好在~/.profile里加两行，在挂载之后告诉 systemd 一声：

if [ -r "$HOME/.ecryptfs/auto-mount" ]; then
  grep -qs "$HOME ecryptfs" /proc/mounts
  if [ $? -ne 0 ]; then
    mv $HOME/.Xauthority /tmp 2>/dev/null
    mount -i "$HOME"
    cd "$HOME"
    mv /tmp/.Xauthority $HOME 2>/dev/null
    systemctl --user daemon-reload
    systemctl --user default
  fi
fi

这几天闲下来的时间多了，于是趁机折腾 systemd，也读了不少 systemd 的文档。

当 Arch 官方宣布 sysvinit 不再被支持的时候，我是有些不喜欢的，因为我还没来得及弄明白 systemd 这完全不同的一套东西。现在看了不少 systemd 的文档，反倒是喜欢上 systemd 了 :-)

关于 systemd，我有两个没想到。其一，systemd 是兼容 sysvinit 服务的，一如 upstart。只是 Arch 一向比较激进，所以根本没用到这兼容性。其二，systemd 这个名字是个双关语，它不仅表示「system daemon」，还与「System V」遥相呼应，因为它是「System D」 :-)

本文不是教程，因此没什么意思的服务启动停止之类的就不写了。本文写点有意思的：让 systemd 监听套接字，在有连接时再启动服务。这不是什么新鲜东西，inetd 就是干这个的，但是我从来没用过，也没感觉有多大的需求。然而整理我的用户级服务时却发现这东西挺好的。

首先来最简单的，使用 sshd.socket 代替 sshd.service。

[Unit]
Conflicts=sshd.service
Wants=sshdgenkeys.service

[Socket]
ListenStream=22
Accept=yes

[Install]
WantedBy=sockets.target

其实用起来很简单，systemctl start sshd.socket就启动它了。因为写了Conflicts=sshd.service，所以已经启动的 sshd 服务会自动停止。但是，我还没告诉 systemd 要监听 2 号端口而不是 22 呢！

直接改这个sshd.socket显然不行，下次更新修改就没了。把文件从/usr/lib/systemd/system复制到/etc/systemd/system下再修改？以前我是这么做的，但是其实还有更好的做法：

在/etc/systemd/system下建立目录sshd.socket.d，然后建立个.conf文件写入需要的修改：

[Socket]
ListenStream=
ListenStream=2

这里有两个ListenStream指示。第一个值为空，是重置该选项的值，之前的设置全部作废。systemd 单元文件中有很多选项都接受多个值，写多遍的话就是多项相加，除非写空值来重置前边设置过的值。一开始看到这种设计我还没明白为什么要这样做，后来看到对.d目录的支持才恍然大悟。

于是乎，自己要的修改完全和系统自带的配置分离开了，既不需要手动合并上游的新配置，也不需要担心自己复制过来修改的配置文件陈旧了。

除了sshd.socket文件外，还有一个与之配套的sshd@.service文件，说明服务该如何启动。当然像 acpid 这种Accept=false（默认）的套接字配置，有连接时只要启动一个进程来处理就可以了，所以对应的 .service 文件不是模板（文件名中没有@）。

下面我自己来给 socat 写个类似的配置。这个极其简单的服务是我为在远程主机中 fcitx.vim 来控制本地 fcitx用的。

首先是.socket文件：

[Socket]
ListenStream=@fcitx-remote
Accept=yes

[Install]
WantedBy=sockets.target

ListenStream第一个字符是@，表示「抽象套接字」，是 Linux 特有的一种在文件系统和网络之外的套接字，好处是不用在监听前先删除相应的套接字文件。socat 和 sshd 一样，也是一个连接对应一个进程，所以Accept=true，让 systemd 接受连接之后把连接的套接字传过来。

然后是对应的.service文件：

[Unit]
Description=Fcitx Socket Forwarder

[Service]
SyslogIdentifier=fcitx-socat
SyslogFacility=local0
ExecStart=/usr/bin/socat stdin tcp:10.7.0.6:8989
StandardInput=socket
StandardError=syslog

StandardInput=socket指定 socat 进程的标准输入是 systemd 接收的套接字，所以 socat 命令变成了这样子：

/usr/bin/socat stdin tcp:10.7.0.6:8989

这样子，原先跑在 tmux 里的命令

socat abstract-listen:fcitx-remote,fork tcp:10.7.0.6:8989

就变成由 systemd 监听，在需要时再启动 socat 来处理啦 =w=

关于这个 .service 文件中那两个 Syslog 开头的指令，以及这两个手写的配置要如何给 systemd 用，请看下篇：玩转 systemd 之用户级服务管理。