假设myfunc已经在其它地方定义，你觉得以下两段代码作用一样吗？
local t = {}
local item = myfunc()
table.insert(t, item)
item = nil
local t = {}
table.insert(t, myfunc())
代码一把函数的结果存放在临时变量里再作为参数传给其它函数，代码二直接将函数返回值作为参数传给其它函数。看上去，代码二比代码一简短了一些，少用了个变量名。
可是，如果myfunc返回多个值的话，代码二将不能正确运行，因为myfunc的所有返回值均会传递给table.insert。和其它语言完全不一样。我想，这个应该是「真正的」多返回值吧？——它返回的不是像其它语言那样的是一种复合类型的值，而真真正正的是多个值，以一种超乎直觉的方式存在着。
所以，要么总是通过赋值来指定需要的返回值，要么不要给已有函数增加新的返回值。我倾向于前者，因为，你记得你所有用到的函数的返回值数目吗？
协程（coroutine）应该是 Lua 最大的卖点之一了。可是，它有一个在文档中根本没有提到过的弱点：只能在 Lua 代码中使用，不能跨越 C 函数调用界限。也就是说，从 C 代码中无法直接或者间接地挂起一个在进入这个 C 函数之前已经创建的协程。而 Lua 本身作为一种易于嵌入的语言，必然不时与 C 打交道。
比如以下程序：
c = require('c')
co = coroutine.create(function()
print('coroutine yielding')
c.callback(function()
coroutine.yield()
end)
print('coroutine resumed')
end)
coroutine.resume(co)
coroutine.resume(co)
print('the end')
C 模块代码：
#include<stdio.h>
#include<stdlib.h>
#include<lua.h>
#include<lualib.h>
#include<lauxlib.h>
static int c_callback(lua_State *L){
int ret = lua_pcall(L, 0, 0, 0);
if(ret){
fprintf(stderr, "Error: %s\n", lua_tostring(L, -1));
lua_pop(L, 1);
exit(1);
}
return 0;
}
static const luaL_Reg c[] = {
{"callback", c_callback},
{NULL, NULL}
};
LUALIB_API int luaopen_c (lua_State *L) {
luaL_register(L, "c", c);
return 1;
}
在官方版 Lua 以及 LuaJIT 中会出现「attempt to yield across metamethod/C-call boundary」错误。只有打过 Coco 补丁的版本才能正常执行。
>>> lua5.1 co.lua coroutine yielding Error: attempt to yield across metamethod/C-call boundary >>> luacoco co.lua coroutine yielding coroutine resumed the end >>> luajit co.lua coroutine yielding Error: co.lua:6: attempt to yield across C-call boundary
据说 LuaJIT 已经解决了这个问题，不过我想他们说的是内建函数支持 yield 而已。
在 Lua 5.2 中，提供了新的 API 来支持在 C 中 yield。不过，既然是 C API，当然得改代码，而且看上去比异步回调更复杂。
nil 相当于 Python 中的 None 或者 C 中的 NULL，表示「没有这个值」的意思。但是，一个神奇的地方在于，所有未定义的变量的值均为 nil。所以，在 Lua 中有空值 nil，但是有时它又不存在：当你尝试把 nil 值存到表里时，它会消失掉。
另外，当 nil 被传入接受可变参数的函数时，官方版 Lua 只能通过select('#', ...)获取参数个数。至于 LuaJIT，很遗憾，没有办法。
LuaJIT 中还有这样一个值，它等于 nil。但是根据 Lua 语言标准，只有 false 和 nil 的值为假。于是，在 LuaJIT 中，两个相等的量，却有着不同的真值。它就是 ffi 中的 NULL 指针。
在另外一些地方，也会有其它各种库定义的 null 值，比如ngx.null、cjson.null。这些空值之间哪些相等哪些不等就难说了。
Lua 一直不肯添加 continue 关键字。作者声称不添加不必要的特性。请问有谁认为「repeat ... until」结构比「continue」关键字更有必要？于是，凡是本来应当使用 continue 的地方，都不得不弄一个大大的 if 语句：
for line in configfile:
if line.startswith('#'):
contine
parse_config(line)
在 Lua 中只能这么写：
for line in configfile do
if string.sub(line, 1, 1) == '#' then
else
parse_config(line)
end
end
所以，Lua 代码的左边空白的形状都是些 45° 或者 135° 的斜线。
Lua 中，习惯的错误表达为，返回两个值，第一个为 nil 表示发生了错误，第二个为字符串，是错误信息。字符串形式的错误信息显示给用户挺不错的（想想微软喜欢的长长的错误号）。可是，程序里只好用模式匹配去判断是否发生了指定类型的错误。这多么像 VimScript 中的错误处理啊。journald 取代 syslog 的重要原因之一就是它存储的是结构化文本。Lua 错误处理最伟大的一点则是我们又回到了字符串匹配。别以为你可以返回一个 table 或者 userdata 来表达错误。很多库可不这么认为。当你的结构化错误被..连接时你就会发现这厮没救了。
别的编程语言下标都从 0 开始。Lua 为了更「人性化」，其下标从 1 开始。其实写多了也能习惯，除了当通过 ffi 获得一个 C 数组的时候……
return 语句之后必须跟着一个end。于是，很多提前返回的时候只能写do return end。有意义么？
访问表或者 userdata 的域使用一个点.，连接字符串使用两个点..。而方法定义和调用时，你需要垂直放置的两个点——冒号:。它与域访问的一个点相比，也就多了四个像素，显示器不干净或者精神不佳的时候就得小心了！
Lua 是不支持面向对象的。很多人用尽各种招术利用元表来模拟。可是，Lua 的发明者似乎不想看到这样的情形，因为他们把取长度的__len方法以及析构函数__gc留给了 C API。纯 Lua 只能望洋兴叹。
Lua 只适合写写配置。做纯计算用用 LuaJIT 也不错。复杂的逻辑还是交给专业点的语言吧。
一直以来，面对 Vim 显示的 auth.log 里满屏的红色 ssh 登录失败记录，要么容忍，要么换端口号，要么是 fail2ban。换端口号显然会造成很多不便，尤其是使用者比较多的时候。fail2ban 以前也用得挺好的，但是需要手工编辑配置文件，阅读其中长长的注释并且小心翼翼地修改参数。配置好之后还会经常收到 fail2ban 发出的邮件。这些都可以忍受。直到有一天，某位使用者不小心登录失败多次以后，那个 IP 被封掉了。我从 /etc/hosts.deny 中删除了对应的项目，但是没有用，因为 fail2ban 会去检查 auth.log，然后把那个 IP 给加回去……
前两天本来是寻找限速的命令的，却无意之中看到了防 ssh 暴力破解的命令，如下：
iptables -I INPUT -p tcp --dport 22 -i eth0 -m state --state NEW -m recent --set iptables -I INPUT -p tcp --dport 22 -i eth0 -m state --state NEW -m recent --update --seconds 60 --hitcount 4 -j DROP
第一句是说，对于外来数据，如果是 TCP 协议，目标端口号是 22，网络接口是 eth0，状态是新连接，那么把它加到最近列表中。第二句是说，对于这样的连接，如果在最近列表中，并且在 60 秒内达到或者超过四次，那么丢弃该数据。其中的-m是模块的意思。
也就是说，如果有人从一个 IP 一分钟内连接尝试四次 ssh 登录的话，那么它就会被加入黑名单，后续连接将会被丢弃。这是对付 ssh 暴力破解的绝佳规则了。不用修改 openssh，也不用另启一个容易招麻烦的服务。不过不知道多久以后那个 IP 才能重新连接上。
我实际使用时正有一北京 IP 在尝试 ssh 登录。命令执行后，auth.log 里的红色失败消息又出现了四次，然后就没有了。后来再查看时，虽然还是能看到不少红色，但是没有以前那么密集了。更重要的是，每四条登录失败消息间的时间间隔比较大了。可谓效果显著啊。
这是我这次搜索 iptables 相关信息的本意。起因是这样子的，在本地测试的时候，经常会发现本地连接的速度实在是太快了。对于网站，不能反映其真实的使用体验；对于网络程序，无法测试其在网络不良时的表现，由于测试的规模小，一些真实使用时容易出现的竞态也由于操作完成得太快而无法重现。
很早就知道 iptables 能够对转发流量进行限速。既然是 iptables 而不是某些商业软件，它就没理由只能对外部流量而不对本地接口 lo 进行限速。于是最后弄到如下命令：
iptables -A INPUT -s 127.0.0.1 -p tcp -d 127.0.0.1 --dport 6900:6901 -m limit --limit 1/s -j ACCEPT iptables -A INPUT -s 127.0.0.1 -p tcp -d 127.0.0.1 --dport 6900:6901 -j DROP
这两条规则组合起来是说，对于所有从 127.0.0.1 到同样的地址的 6900 到 6901 端口的 TCP 连接，每秒只接受一个数据包，多余的丢弃。后边那句是必要的，如果不写的话就没作用了，因为默认策略是接受。
要注意的是，如果使用域名localhost的话，很可能会使用 IPv6 地址::1而不是127.0.0.1了。
rrdtool 是「Round Robin Database tool」的缩写，是一个存放固定数量的数值型数据库，适合随时间变化的量的统计。比如网络传输速度、CPU 使用率、聊天室在线人数等。与大部分数据库软件不一样的是，它可以直接可视化数据，生成 PNG 图像。第一次使用，找点容易快速获取又有意义的数据源——ping 延迟好了。
第一步，确定数据库怎么存放什么数据。我打算发一千个 ping 包，然后存储其延迟。rrdtool 本来是按时间存储的，我用序号来骗骗它好了。起始时间为现在时间。数据的时间间隔为 1 秒，但实际上是一个序号。聚集函数为平均值，存储 1000 个数据。命令如下（百分号提示符表示 shell 是 zsh，下同）：
% start=$(date +'%s') % rrdtool create ping.rrd --start=$start -s1 DS:ping:GAUGE:1:0:U RRA:AVERAGE:0.5:1:1000
其中，DS是「数据源（data source）」的意思，RRA 是「round robin archives」。-s1表示间隔为 1s。时间点是以距 epoche 的秒数表示的。
DS 部分，ping 是数据的名字，GAUGE表示这就是一个值，不是累加（COUNTER，如已传输字节数）或者其它的。1是 heartbeat，超时这个时间还没收到数据的话就当作UNKNOWN值了。再后边是最小值和最大值，超出的话也会被当成UNKNOWN。那里的U表示「UNKNOWN」。
RRA 部分，AVERAGE是求平均值的聚集函数。类似的还有MAX之类的。用于决定一个区间内的多个值如何归并为一个值。0.5部分没看太懂。1即每秒取一个值，1000则是存储 1000 个这样的值。
取得数据：
% ping -c 1000 google.com > ping.log
把数据处理后喂给 rrdtool 的数据库，每次喂最多 1000 条数据：
% grep -oP '\d+\sttl\S+ \S+' ping.log | sed 's/ttl.*=//g' | awk -vstart=$start '{print $1+start ":" $2}' | xargs -n 1000 rrdtool update ping.rrd
生成每 1、5、15 秒的统计图像：
% for i in 1 5 15; do rrdtool graph ping_$i.png --start=$start --end=$(( $start + 1000 )) -S $i --vertical-label=ms --width=800 --height=300 DEF:v=ping.rrd:ping:AVERAGE 'AREA:v#00dd00'; done
其中，-S是指定绘图的步长。其它参数很好理解。后两部分解释如下：
DEF设置变量v为 ping.rrd 数据库中的 ping 变量。还有可选的CDEF，比如可以写CDEF:s=v,1000,/，即令变量s等于v / 1000。这里是逆波兰表达式。'AREA:v#00dd00'表示绘制矩形图，纵轴变量为v，颜色为 #00dd00。画线的话可以用'LINE1:v#00dd00'这样子，LINE后边的数字是线的宽度。
好啦，图像如下：
Google Groups 上的邮件列表可以根据管理员的设置自动添加在邮件主题前添加指定的字符串。对于 mutt，固定的字符串没什么，但当这个添加的字符串不断地变化呢？比如这个字符串设置成[vim-cn:%d]，%d会被邮件的序号所取代，于是每封邮件都有了不同主题。（对于回复邮件，按 RFC 5322 3.6.5 节的意思，应当将开头的一个Re:不予考虑。）
这样的邮件会话，mutt 一看，哎呀，会话中出现了新的主题，得显示一下啦。于是，本来通常情况下一个会话只会显示一次的邮件主题，在添加了邮件序号后变成了N个。对比下图中黄线上方和下方的区别。
本来呢，vim-cn 列表是下边那个样子的。最近觉得 vim-cn 的邮件多了起来，看起来眼烦，正好有管理权限，就去把%d删掉了。可谁知我才收到几封不带序号的 vim-cn 邮件呢，python-cn 却开始加序号了，不知道管理员是不是想看看第20万封邮件是谁发的。唉，既然改变不了那个列表的设置，那么就改变本地的邮件处理好了。
在开始使用 mutt 等工具的时候，我一直是把 procmail 当成邮件分发和过滤工具的。如今需要它来修改邮件了，语法还不会呢。另外它的示例中大多是 formail 工具，但我实在不想再学一种语法晦涩的工具了，于是自己搞。本来觉得挺简单的，一句 sed 就能搞定的东西，等真正查看邮件源码时才发现，远没有想像的那么简单！
Subject: =?GB2312?B?W0NQeVVHOjE4MzI0OV0gcHl0aG9uIL+qt6LN+NKz087Pt7rNyta7+rbL?=
=?GB2312?B?zfjC59POz7e+rdHpx/PW+g==?=
第一，它编码过了；第二，它分成了多行。哦还有第三，邮件正文即使出现也不要处理，不然我这文章发过去不是变了样么？
后两点还好，awk 可以搞定，可是这编码不是那么容易呢，于是用上了 Python。既然 Python 3.3 已经发布，所以试了试新的yield from语法。反正我不认为我会需要在只有 Python 3.2 或者更早的系统上使用这个脚本。
#!/usr/bin/env python3
# vim:fileencoding=utf-8
import sys
import re
from email import header
subject_seq = re.compile(r'''((?:..[:：]\s?)? # Re、回复等
\[[^:]+)
:\d+ # 要删除的序号''', re.X)
def stripSeq(input):
subject = None
while True:
l = next(input)
if l.startswith('Subject: '):
# Subject appears
subject = l
continue
elif subject and l[0] in ' \t':
# Subject continues
subject += l
elif subject:
# Subject ends
s = subject[9:]
h = header.decode_header(s)
assert len(h) == 1, 'unexpected subject line: ' + s
s, enc = h[0]
if isinstance(s, bytes):
s = s.decode(enc)
m = subject_seq.match(s)
if not m:
yield subject
else:
s = m.group(1) + s[m.end():]
yield 'Subject: ' + header.Header(s, 'utf-8').encode() + '\n'
subject = None
yield l
elif l.strip() == '':
# mail body
yield from input
else:
yield l
if __name__ == '__main__':
sys.stdout.writelines(stripSeq(iter(sys.stdin)))
procmail 的规则如下，参考了 Stackoverflow 的这个回答。
:0 fw | ~/scripts/python/pyexe/procmail.py
安装过程没什么特别的就不说了。
启动 dnscrypt-proxy。由于 systemd 实在太复杂，一时半会搞不明白，所以我直接手动启动了：
sudo dnscrypt-proxy --local-address=0.0.0.0:35535 --user=nobody --logfile=/var/log/dnscrypt.log --daemonize
然后测试下：
>>> dig -p 35535 twitter.com @localhost ; <<>> DiG 9.9.2 <<>> -p 35535 twitter.com @localhost ;; global options: +cmd ;; Got answer: ;; ->>HEADER<<- opcode: QUERY, status: NOERROR, id: 65004 ;; flags: qr rd ra; QUERY: 1, ANSWER: 3, AUTHORITY: 0, ADDITIONAL: 1 ;; OPT PSEUDOSECTION: ; EDNS: version: 0, flags:; udp: 8192 ;; QUESTION SECTION: ;twitter.com. IN A ;; ANSWER SECTION: twitter.com. 16 IN A 199.59.148.82 twitter.com. 16 IN A 199.59.149.230 twitter.com. 16 IN A 199.59.150.39 ;; Query time: 267 msec ;; SERVER: 127.0.0.1#35535(127.0.0.1) ;; WHEN: Sat Nov 10 15:07:01 2012 ;; MSG SIZE rcvd: 88
It works!
然后配置 dnsmasq。
server=127.0.0.1#35535 bogus-nxdomain=67.215.65.132
bogus-nxdomain那行是为 OpenDNS 加的，类似于国内 ISP 的「114 页面」。dnscrypt 默认使用 OpenDNS 的服务器，暂时不知道其它提供加密 DNS 的服务器地址，所以只好这样了。
然后重启 dnsmasq 就 OK 了。
说点题外话。其实很多服务进程启动起来很简单，比如 sshd，改好配置文件后直接运行就可以了。再比如 mongod 和 privoxy，手动启动还方便指定配置文件什么的。我的个人电脑不是服务器，不需要复杂的各种管理。虽然说不是服务器，但重启次数还是不需要和 Windows 比的。所以，systemd 给我带来了一堆麻烦，却没能解决我遇到的任何问题！
经常地，程序在开始执行某项任务需要从文件读取数据。在任务完成后数据得到更新，新的数据会覆写到之前读取的文件中。怎么将数据写回到文件呢？一个直觉的方案是：
with open(datafile, 'w') as f: f.write(data)
在通常情况下，它能够正确地完成写回数据的任务。如果出于某种原因文件打开失败，通常也不会有人忘记处理。但是，当写入操作失败了呢？
时不时地编译程序看到 gcc 大把地警告：
警告：忽略声明有 warn_unused_result 属性的‘write’的返回值 [-Wunused-result]
在 Python 中，写文件时如果失败会抛出异常，上层的异常处理机制似乎能够作出相应的应对。但是，真的尽力了吗？
我也曾以为这样不会出问题。直到有一天，本地信箱里出现了这样的错误信息：
OSError: [Errno 28] No space left on device
可能是由于内核的某个 bug，我本来就所剩无几的 /home 分区没空闲空间了。一个 cronjob 在写回数据时发生异常。于是，新的数据没能写入文件。那旧数据呢？因为是以「写」方式打开文件，所以它也没了……
在那次事件之后，那段写回数据的代码变成了这个样子：
with open(datafile + '.tmp', 'w') as f: f.write(t) # if the above write failed (because disk is full), the old data should be kept os.rename(datafile + '.tmp', datafile)
注意：测试表明不使用with或者显式地关闭文件的做法是有问题的，即使在 CPython 中。
try:
open('/dev/full', 'w').write('abc')
except:
print('fine.')
在 Python 2.7 中会打印错误信息，Python 3.3.0 中无任何信息。都没有预料中的异常被捕获。
>>> python t.py >>> python2 t.py close failed in file object destructor: IOError: [Errno 28] No space left on device
今天之所以写这个，是因为 Arch Linux CN 的群服务器遇到磁盘配额用尽的问题。XMPP 服务器 Prosody 在写入联系人信息时只写了一小部分，大部分数据丢失。这里有 bug 报告。
2013年7月21日更新：Sublime Text 2 作为商业软件，竟然不仅不采用「新建+重命名」的方式写入文件，而且连写入是否成功都不检查。难怪 Linux 版中文输入法的问题迟迟不修复，原来连造成用户数据丢失的问题都无所谓。
在处理 HTTP 响应时，我需要来一段数据就处理一段。为了节约网络资源，我开启了 gzip 传输。然后问题来了：有什么办法把 gzip 过的数据一段段传进去，它能一段段地解压并吐出数据呢？gzip 模块虽然支持fileobj参数，但是它读不到数据时认为数据流已经结束，然后进行 CRC 校验……这里有个人也这样尝试过。解决办法也有了：
d = zlib.decompressobj(16+zlib.MAX_WBITS)
使用一个神奇的数字构造一个decompress对象，然后不断地调用它的decompress方法就可以得到一段段的解压数据了 :-)
然后，我发现我真的想太多了——我用的可流式解析 HTTP 响应的库 http-parser 原生支持解压的，而且同时支持 gzip 和 deflate 方法！这个库能很好地适配到异步 I/O 框架中，可是文档太少了，这个解压的支持 docstring 里都没写，看了源码才知道 :-(
HTTP 代理是明文的，这导致实际访问的 URL 可以被他人监测到。即使使用 HTTPS 协议，经过 HTTP 代理时会发送CONNECT请求，告诉代理要连续到远程主机的指定端口。于是，访问的目标域名暴露了。
有没有办法将传输内容加密呢？比如像 HTTPS 那样，使用 TLS 协议连接到代理服务器，然后再进行 HTTP 请求。很遗憾的是，我在 ziproxy 的配置里没有发现这样的选项。在 shlug 邮件列表里询问后，Shell Xu 提到了 stunnel 这个工具。以前我试过用它把 HTTP 的网站转成 HTTPS 的，但是网站后端程序无法知晓用户实际上使用的是 HTTPS，有些郁闷，就没管它了。
这次再次请出 stunnel，在代理服务器上执行如下命令：
sudo stunnel -d 0.0.0.0:8081 -r localhost:8080 -p /etc/stunnel/stunnel.pem
这样，所有到服务器的 8081 端口的请求，都会经过 TLS 解密后传递给 8080 端口。同时响应的数据也会被加密后再返回请求方。
接下来的问题是，浏览器无法直接使用这种代理。实际上除了拿 openssl 命令手动连接外，我不知道任何程序能够使用这种代理。那好，本地弄个反过来加密/解密的服务好了。还是使用 stunnel。不过出了点意外：Arch Linux 的 stunnel 是第四版，不再用命令行参数，转而使用配置文件了。于是参考这篇 Upgrading to stunnel 4，写了份 stunnel4 的配置文件：
compression = zlib foreground = yes output = /dev/stdout client = yes pid = /tmp/stunnel.pid # or will output to syslog :-( output = /tmp/stunnel.log [name] accept = 8082 connect = server.com:8081
这样在本地 8082 端口监听，把所有请求加密后转发到 server.com 的 8081 端口。同时响应的数据会被解密后再返回。
现在，所有与代理服务器传输的数据都被加密了，不怕被偷窥啦。
后记：
后来，我发现其实代理服务器和我本机都装了两个版本的 stunnel，只是名字中不带版本号的一个是第三版而另一个是第四版而已……
再后来，我猛然想起神器 socat——这家伙是支持 OpenSSL 的！比如客户端这边像下边这样子就可以了：
$ socat tcp-listen:8082,fork openssl:server.com:8081,verify=0
socat 真是神器啊，cat、netcat、rinetd、stunnel 的功能都覆盖了！
这样使用的时候，每次来新请求时，socat 会 fork 一个新进程来处理。有点浪费资源。不过略微查看了下，stunnel 似乎也一样。
| Theme: Aeros 2.0 by TheBuckmaker.com