依云's Blog

在处理 HTTP 响应时，我需要来一段数据就处理一段。为了节约网络资源，我开启了 gzip 传输。然后问题来了：有什么办法把 gzip 过的数据一段段传进去，它能一段段地解压并吐出数据呢？gzip 模块虽然支持fileobj参数，但是它读不到数据时认为数据流已经结束，然后进行 CRC 校验……这里有个人也这样尝试过。解决办法也有了：

d = zlib.decompressobj(16+zlib.MAX_WBITS)

使用一个神奇的数字构造一个decompress对象，然后不断地调用它的decompress方法就可以得到一段段的解压数据了 :-)

然后，我发现我真的想太多了——我用的可流式解析 HTTP 响应的库 http-parser 原生支持解压的，而且同时支持 gzip 和 deflate 方法！这个库能很好地适配到异步 I/O 框架中，可是文档太少了，这个解压的支持 docstring 里都没写，看了源码才知道 :-(

HTTP 代理是明文的，这导致实际访问的 URL 可以被他人监测到。即使使用 HTTPS 协议，经过 HTTP 代理时会发送CONNECT请求，告诉代理要连续到远程主机的指定端口。于是，访问的目标域名暴露了。

有没有办法将传输内容加密呢？比如像 HTTPS 那样，使用 TLS 协议连接到代理服务器，然后再进行 HTTP 请求。很遗憾的是，我在 ziproxy 的配置里没有发现这样的选项。在 shlug 邮件列表里询问后，Shell Xu 提到了 stunnel 这个工具。以前我试过用它把 HTTP 的网站转成 HTTPS 的，但是网站后端程序无法知晓用户实际上使用的是 HTTPS，有些郁闷，就没管它了。

这次再次请出 stunnel，在代理服务器上执行如下命令：

sudo stunnel -d 0.0.0.0:8081 -r localhost:8080 -p /etc/stunnel/stunnel.pem

这样，所有到服务器的 8081 端口的请求，都会经过 TLS 解密后传递给 8080 端口。同时响应的数据也会被加密后再返回请求方。

接下来的问题是，浏览器无法直接使用这种代理。实际上除了拿 openssl 命令手动连接外，我不知道任何程序能够使用这种代理。那好，本地弄个反过来加密/解密的服务好了。还是使用 stunnel。不过出了点意外：Arch Linux 的 stunnel 是第四版，不再用命令行参数，转而使用配置文件了。于是参考这篇 Upgrading to stunnel 4，写了份 stunnel4 的配置文件：

compression = zlib
foreground = yes
output = /dev/stdout
client = yes
pid = /tmp/stunnel.pid
# or will output to syslog :-(
output = /tmp/stunnel.log

[name]
accept = 8082
connect = server.com:8081

这样在本地 8082 端口监听，把所有请求加密后转发到 server.com 的 8081 端口。同时响应的数据会被解密后再返回。

现在，所有与代理服务器传输的数据都被加密了，不怕被偷窥啦。

后记：

后来，我发现其实代理服务器和我本机都装了两个版本的 stunnel，只是名字中不带版本号的一个是第三版而另一个是第四版而已……

再后来，我猛然想起神器 socat——这家伙是支持 OpenSSL 的！比如客户端这边像下边这样子就可以了：

$ socat tcp-listen:8082,fork openssl:server.com:8081,verify=0

socat 真是神器啊，cat、netcat、rinetd、stunnel 的功能都覆盖了！

这样使用的时候，每次来新请求时，socat 会 fork 一个新进程来处理。有点浪费资源。不过略微查看了下，stunnel 似乎也一样。

看到别人的 Racket 版，心里痒痒，写了个 Haskell 版。只用了尾递归，没用什么高级特性。题目地址。

calc3xp1 :: Int -> Int
calc3xp1 n | even n = n `div` 2
           | otherwise = 3 * n + 1

countlen :: Int -> Int
countlen = countlen_tail 0

countlen_tail :: Int -> Int -> Int
countlen_tail c n | n == 1 = c
                  | otherwise = countlen_tail (c+1) $ calc3xp1 n

findmax :: Int -> Int
findmax = findmax_tail 1 1 1

findmax_tail max maxn n final | n >= final = maxn
                              | otherwise = if new_len > max
                                               then findmax_tail new_len n n' final
                                               else findmax_tail max maxn n' final
                                             where new_len = countlen n
                                                   n' = n + 1

main = print $ findmax 1000000

>>> time ./3xp1
./3xp1  14.92s user 0.02s system 99% cpu 14.955 total

Erlang 版本直接照抄 Haskell 版：

-module(e3xp1).
-export([main/1]).

calc3xp1(N) when N rem 2 == 0 ->
  N div 2;
calc3xp1(N) ->
  3 * N + 1.

countlen(N) -> countlen_tail(0, N).

countlen_tail(C, 1) ->
  C;
countlen_tail(C, N) ->
  countlen_tail(C+1, calc3xp1(N)).

findmax(N) ->
  findmax_tail(1, 1, 1, N).

findmax_tail(_, Maxn, N, Final) when N >= Final ->
  Maxn;
findmax_tail(Max, Maxn, N, Final) ->
  Newlen = countlen(N),
  if Newlen > Max -> findmax_tail(Newlen, N, N+1, Final);
    true -> findmax_tail(Max, Maxn, N+1, Final)
  end.

main(_) ->
  io:format("~B~n", [findmax(1000000)]).

它在六分钟后还没能输出结果……

>>> time escript e3xp1.erl
^C
escript e3xp1.erl  374.55s user 0.94s system 99% cpu 6:15.76 total

Racket 版在同一机器上用时：

>>> time racket 3xp1.racket
racket 3xp1.racket  3.22s user 0.22s system 99% cpu 3.448 total

这是为什么呢？

PS: C 更快，不到半秒就搞定了……

更新：又试了试 Lua 版本的，和 Haskell 版速度相当。但是——LuaJIT 竟然只 2.4s 出结果，因为换了机器，所以实际上它应该比 Racket 版快一倍以上。

再次更新：Erlang 版编译后还是挺快的：

>>> erlc e3xp1.erl
>>> time erl -noshell -s e3xp1 main -s init stop
erl -noshell -s e3xp1 main -s init stop  5.59s user 0.01s system 84% cpu 6.608 total

不过，它什么事都不干启动后立即停止也花了一秒多，比 Java 更厉害：

>>> time erl -noshell -s init stop
erl -noshell -s init stop  0.06s user 0.01s system 6% cpu 1.077 total

2014年12月24日更新：Rust 版也非常快，而且写起来舒服：

fn calc3xpi(n: uint) -> uint {
    if n % 2 == 0 {
        n / 2
    } else {
        3 * n + 1
    }
}

fn countlen(&n: &uint) -> uint {
    let mut c = 0;
    let mut x = n;
    while x != 1 {
        c += 1;
        x = calc3xpi(x);
    }
    c
}

fn findmax(n: uint) -> uint {
    range(1, n).max_by(countlen).unwrap()
}

fn main(){
    let mut stdout = std::io::stdout();
    stdout.write_uint(findmax(1000000));
    stdout.write_char('\n');
}

今天下载别人在云诺网盘上分享的文件，无奈网络太差，火狐才下了不到百分之一就认为下载完成了。每当这个时候，我便会祭出「中国特色网络」下的下载利器——wget。每当浏览器下不好文件时，wget 总会不屈不挠地一次次坚持，直到文件真正下载完成。

不过，这次对付云诺这个互联网友好发展的阻碍者时出现了问题。wget 总是下载到那个网页，即使指定 UserAgent 或者 Cookie 也没用。后来经过我不懈地尝试，发现指定Referer即可，例如：

wget --header 'Referer: http://s.yunio.com/xMliei' http://s.yunio.com/public/download/token/xMliei

另外，要取得正确的文件名，需要使用--content-disposition选项。不过，可能还需要使用ascii2uni -a J来处理百分号转义。下边是我的~/.wgetrc：

# 不要乱转义中文
--restrict-file-names=nocontrol
# 使用重定向后的文件名
--trust-server-names=on
--content-disposition=on

GTK 右键的输入法菜单中有一项「IPA」，用于输入国际音标的。不过为了输入几个国际音标去够鼠标点菜单太麻烦了。既然是输入，交给我最爱的 fcitx 输入法去处理就好了嘛。

GTK 的国际音标输入很简单，每一两个字符对应一个音标字符。不过，因为通常是连续输入好几个国际音标，因此简单地使用 fcitx 的「快速输入」模块的话，每输入一个得打一次前缀，太痛苦了。于是我用 fcitx 的 Lua 模块来做。

要注意的是，fcitx 的 Lua 支持默认没有开启，编译时需要在 cmake 参数中加上-DENABLE_LUA=On。Arch 用户可以从 archlinuxcn 源安装 fcitx-lilydjwg-git。其它发行版可能有单独的fcitx-lua包，也可能需要自行编译。

安装方法很简单，把ipa.lua放到~/.config/fcitx/lua目录下即可。然后按Ctrl-5（默认）重新加载 fcitx 配置即可。

使用方法是，使用预定义的快速输入快捷键（默认是;）进入「快速输入」模式后，输入命令前缀yb，然后按 GTK 那个 IPA 输入法的方式输入即可，按空格提交输入。不知道对应关系的可查看脚本源码。

[ˌðæts ˈɔːl ˈθænks].

Suǒwèide 「pīnyīn shēngdiào shùzì zhuǎn zìfú」 jiùshì bǎ 「pīnyīn+shùzìdiàbiǎo de shēngdiào」 zhuǎnchén Unicode zìfú biǎoshì.

所谓的「拼音声调数字转字符」就是把「拼音+数字表示的声调」转成 Unicode 字符表示，为了是做成 fcitx 的拼音输入插件，以方便输入上段的内容。

算法是参考别人的，把所有带声调的音节后缀穷举出来再转换，简单暴力好用。我改写的 Python 3 版在 github/winterpy 上，支持大写和「ü」。

为了在 fcitx 中使用，我又改写了一 Lua 版本，代码如下：

#!/usr/bin/env lua

-- http://www.robertyu.com/wikiperdido/Pinyin%20Parser%20for%20MoinMoin

-- definitions
-- For the pinyin tone rules (which vowel?), see
-- http://www.pinyin.info/rules/where.html

local strsub = string.gsub
local _strupper = string.upper

-- map (final) constanant+tone to tone+constanant
mapConstTone2ToneConst = {
  n1 = '1n',
  n2 = '2n',
  n3 = '3n',
  n4 = '4n',
  ng1 = '1ng',
  ng2 = '2ng',
  ng3 = '3ng',
  ng4 = '4ng',
  r1 = '1r',
  r2 = '2r',
  r3 = '3r',
  r4 = '4r',
}

-- map vowel+vowel+tone to vowel+tone+vowel
mapVowelVowelTone2VowelToneVowel = {
  ai1 = 'a1i',
  ai2 = 'a2i',
  ai3 = 'a3i',
  ai4 = 'a4i',
  ao1 = 'a1o',
  ao2 = 'a2o',
  ao3 = 'a3o',
  ao4 = 'a4o',
  ei1 = 'e1i',
  ei2 = 'e2i',
  ei3 = 'e3i',
  ei4 = 'e4i',
  ou1 = 'o1u',
  ou2 = 'o2u',
  ou3 = 'o3u',
  ou4 = 'o4u',
}

-- map vowel-number combination to unicode
mapVowelTone2Unicode = {
  a1 = 'ā',
  a2 = 'á',
  a3 = 'ǎ',
  a4 = 'à',
  e1 = 'ē',
  e2 = 'é',
  e3 = 'ě',
  e4 = 'è',
  i1 = 'ī',
  i2 = 'í',
  i3 = 'ǐ',
  i4 = 'ì',
  o1 = 'ō',
  o2 = 'ó',
  o3 = 'ǒ',
  o4 = 'ò',
  u1 = 'ū',
  u2 = 'ú',
  u3 = 'ǔ',
  u4 = 'ù',
  v1 = 'ǜ',
  v2 = 'ǘ',
  v3 = 'ǚ',
  v4 = 'ǜ',
}

function strupper(c)
  local specials = {
    ['ā'] = 'Ā',
    ['á'] = 'Á',
    ['ǎ'] = 'Ǎ',
    ['à'] = 'À',
    ['ē'] = 'Ē',
    ['é'] = 'É',
    ['ě'] = 'Ě',
    ['è'] = 'È',
    ['ī'] = 'Ī',
    ['í'] = 'Í',
    ['ǐ'] = 'Ǐ',
    ['ì'] = 'Ì',
    ['ō'] = 'Ō',
    ['ó'] = 'Ó',
    ['ǒ'] = 'Ǒ',
    ['ò'] = 'Ò',
    ['ū'] = 'Ū',
    ['ú'] = 'Ú',
    ['ǔ'] = 'Ǔ',
    ['ù'] = 'Ù',
    ['ǜ'] = 'Ǜ',
    ['ǘ'] = 'Ǘ',
    ['ǚ'] = 'Ǚ',
    ['ǜ'] = 'Ǜ',
  }
  if specials[c] then
    return specials[c]
  else
    return _strupper(c)
  end
end

function ConvertPinyinToneNumbers(lineIn)
  local lineOut = lineIn

  -- first transform
  for x, y in pairs(mapConstTone2ToneConst) do
    lineOut = strsub(strsub(lineOut, x, y), strupper(x), strupper(y))
  end

  -- second transform
  for x, y in pairs(mapVowelVowelTone2VowelToneVowel) do
    lineOut = strsub(strsub(lineOut, x, y), strupper(x), strupper(y))
  end

  -- third transform
  for x, y in pairs(mapVowelTone2Unicode) do
    lineOut = strsub(strsub(lineOut, x, y), strupper(x), strupper(y))
  end

  return strsub(strsub(lineOut, 'v', 'ü'), 'V', 'Ü')
end

local function main()
  local lineOut
  for lineIn in io.stdin:lines() do
    lineOut = ConvertPinyinToneNumbers(lineIn)
    print(lineOut)
  end
end

main()

很可惜的是，fcitx 的 Lua 模块目前不支持屏蔽数字键选字，所以暂无法在 fcitx 中使用。