依云's Blog

Re: 的确挺好玩的～

那个 frecency 懒得去研究是干什么用的，大概是频度之类的？frecency 即是火狐地址栏著名的 frecency 算法的值。

A
标题：工作台 - Chito
URL：http://lilydjwg.is-programmer.com/admin
访问次数：1828
frecency：3564600
最后访问日期：2014-03-13 21:26:42

B
标题：搜索结果 (页 1) / Arch Linux 中文论坛
URL：https://bbs.archlinuxcn.org/search.php?action=show_new
访问次数：1550
frecency：3100000
最后访问日期：2014-03-13 21:47:33

C
标题：Twitter / Interactions
URL：https://twitter.com/i/connect
访问次数：673
frecency：1063004
最后访问日期：2014-03-13 20:30:28

D
标题：豆瓣
URL：http://www.douban.com/
访问次数：290
frecency：212507
最后访问日期：2014-02-26 21:34:39

E
标题：所有消息 - SegmentFault
URL：http://segmentfault.com/user/events
访问次数：298
frecency：539380
最后访问日期：2014-03-13 21:44:30

F
标题：Index of /ftp/python
URL：http://python.org/ftp/python/
访问次数：7
frecency：2614
最后访问日期：2014-02-19 23:45:13

G
标题：Gmail
URL：https://mail.google.com/mail/
访问次数：396
frecency：449053
最后访问日期：2014-02-28 20:26:26

H
标题：工作台 - Chito
URL：http://lilydjwg.is-programmer.com/admin
访问次数：1828
frecency：3564600
最后访问日期：2014-03-13 21:26:42

I
标题：依云's Blog
URL：http://lilydjwg.is-programmer.com/
访问次数：100
frecency：126258
最后访问日期：2014-03-09 23:28:52

J
标题：jQAPI - Alternative jQuery Documentation Browser
URL：file:///home/lilydjwg/%E6%96%87%E6%A1%A3/%E7%BD%91%E9%A1%B5/Javascript/jqapi_2013-01-21/index.html
访问次数：5
frecency：1446
最后访问日期：2013-12-18 02:25:01

K
标题：The Linux Kernel Archives
URL：http://kernel.org/
访问次数：41
frecency：33347
最后访问日期：2014-03-02 21:47:12

L
标题：Lua 5.2 Reference Manual - contents
URL：file:///usr/share/doc/lua/contents.html#index
访问次数：24
frecency：14682
最后访问日期：2014-03-05 21:47:52

M
标题：Google 地图
URL：https://maps.google.com/
访问次数：83
frecency：52035
最后访问日期：2014-03-12 19:30:50

N
标题：None
URL：http://lilydjwg.is-programmer.com/admin/posts/new
访问次数：24
frecency：33600
最后访问日期：2014-03-13 22:08:35

O
标题：查看版面 - Vim和Emacs • Ubuntu中文论坛
URL：http://forum.ubuntu.org.cn/viewforum.php?f=68
访问次数：236
frecency：166138
最后访问日期：2014-03-02 22:26:47

P
标题：Python Module Index — Python v3.3.0 documentation
URL：file:///home/lilydjwg/%E6%96%87%E6%A1%A3/%E7%BC%96%E7%A8%8B/Python/python/py-modindex.html
访问次数：124
frecency：169744
最后访问日期：2014-03-10 23:10:46

Q
标题：Qt 4.8:
URL：jar:file:///home/.ecryptfs/lilydjwg/public/%E6%96%87%E6%A1%A3/%E7%BC%96%E7%A8%8B/qt4-doc/qt4-doc.zip!/index.html
访问次数：9
frecency：5198
最后访问日期：2014-03-06 22:05:35

R
标题：InoReader • 轻便快捷的 RSS 阅读器
URL：https://www.inoreader.com/
访问次数：155
frecency：177119
最后访问日期：2014-03-12 22:41:51

S
标题：SegmentFault
URL：http://segmentfault.com/
访问次数：1486
frecency：411473
最后访问日期：2014-03-13 20:47:13

T
标题：Google 翻译
URL：http://translate.google.cn/?hl=zh-CN
访问次数：138
frecency：145314
最后访问日期：2014-03-11 23:50:21

U
标题：Pinboard: public bookmarks for vayn
URL：http://pinboard.in/u:vayn
访问次数：13
frecency：5589
最后访问日期：2014-02-16 18:42:04

V
标题：查看版面 - Vim和Emacs • Ubuntu中文论坛
URL：http://forum.ubuntu.org.cn/viewforum.php?f=68
访问次数：236
frecency：166138
最后访问日期：2014-03-02 22:26:47

W
标题：新浪微博-随时随地分享身边的新鲜事儿
URL：http://weibo.com/
访问次数：78
frecency：117933
最后访问日期：2014-02-27 22:51:10

X
标题：None
URL：http://localhost/xcache/
访问次数：6
frecency：6688
最后访问日期：2014-03-02 22:50:15

Y
标题：soimort/you-get
URL：https://github.com/soimort/you-get
访问次数：24
frecency：19374
最后访问日期：2014-03-07 21:13:24

Z
标题：消息 - 知乎
URL：http://www.zhihu.com/notifications
访问次数：528
frecency：823165
最后访问日期：2014-03-09 16:53:10

附：从 URL 生成这些数据的代码。当然，还有后期处理，是用 Vim 简单地做了几次正则替换。

#!/usr/bin/env python3

import os
import sys
import sqlite3
from time import strftime, localtime

places = os.path.expanduser('~/.mozilla/firefox/profile/places.sqlite')

def main():
  db = sqlite3.connect(places)
  sql = '''select title, visit_count, frecency, last_visit_date
           from moz_places where url = ? limit 1'''
  c = db.cursor()

  for url in sys.stdin:
    url = url.strip()
    c.execute(sql, (url,))
    title, visit_count, frecency, last_visit_date = c.fetchall()[0]
    print('''\
标题：%s
URL：%s
访问次数：%d
frecency：%d
最后访问日期：%s
''' % (title, url, visit_count, frecency,
       strftime('%Y-%m-%d %H:%M:%S', localtime(last_visit_date//1000000))))

if __name__ == '__main__':
  main()

又附：上边的代码忘记写是哪个字母了 -_-||| 已经补上，用了个 Vim 宏来完成。话说好久没用 Vim 宏了呢～

子类里访问父类的同名属性，而又不想直接引用父类的名字，因为说不定什么时候会去修改它，所以数据还是只保留一份的好。其实呢，还有更好的理由不去直接引用父类的名字，参见 Python’s super() considered super! | Deep Thoughts by Raymond Hettinger。

这时候就该 super() 登场啦——

class A:
  def m(self):
    print('A')

class B(A):
  def m(self):
    print('B')
    super().m()

B().m()

当然 Python 2 里 super() 是一定要参数的，所以得这么写：

class B(A):
  def m(self):
    print('B')
    super(B, self).m()

需要提到自己的名字。这个名字也是动态查找的，在这种情况下替换第三方库中的类会出问题。

super() 很好地解决了访问父类中的方法的问题。那么，如果要访问父类的父类（准确地说，是方法解析顺序（MRO）中位于第三的类）的属性呢？

比如，B 类是继承 A 的，它重写了 A 的 m 方法。现在我们需要一个 C 类，它需要 B 类的一些方法，但是不要 B 的 m 方法，而改用 A 的。怎么间接地引用到 A 的 m 方法呢？使用self.__class__肯定是不行的，因为 C 还可能被进一步继承。

从文档中我注意到，super 的实现是通过插入一个名为 __class__ 的名字来实现的（super 会从调用栈里去查找这个 __class__ 名字）。所以，就像文档里暗示的，其实可以直接在定义方法时访问 __class__ 名字，它总是该方法被定义的类。继续我们的单字母类：

class C(B):
  def m(self):
    print('C')
    # see the difference!
    print(__class__.__mro__)
    print(self.__class__.__mro__)
    __class__.__mro__[2].m(self)

class D(C):
  def m(self):
    print('D')
    super().m()

o = D()
o.m()

会得到：

D
C
(<class 't.C'>, <class 't.B'>, <class 't.A'>, <class 'object'>)
(<class 't.D'>, <class 't.C'>, <class 't.B'>, <class 't.A'>, <class 'object'>)
A

不过，PyPy 并不支持这个 __class__ 名字。

我所谓的「正常化」，就是适合人而不是机器读取的格式啦。比如你们说「12/2/14」这是哪天呢……明明可以显示成「20YY年M月DD日 上午H:MM」这样子的（鼠标移过去会出现），但是为什么非要我去移鼠标呢。于是就有了这个很简单的脚本：

// ==UserScript==
// @name           GMail 日期正常化
// @namespace      http://lilydjwg.is-programmer.com/
// @description    将 GMail 中的日期使用更适合人阅读的形式显示
// @include        https://mail.google.com/*
// @grant	   none
// ==/UserScript==

var doit = function(){
  var elements = document.querySelectorAll('span[alt]');
  for(var i=0, len=elements.length; i<len; i++){
    elements[i].textContent = elements[i].getAttribute('alt');
  }
};
document.addEventListener('overflow', doit);
window.addEventListener('focus', doit);

点此安装。

编译完 lsof，却发现 htop 还是不能用……另开一个终端 strace 之，才知它竟然在调用 /bin/sh 而不是 /system/bin/sh。检查之，原来这个 htop 来自 Terminal IDE，是一个静态链接的版本，大概是使用 glibc 的吧，所以才会去标准位置寻找命令解释器。

编译过程：

path+=/opt/android-ndk/toolchains/arm-linux-androideabi-4.8/prebuilt/linux-x86_64/bin
mkdir android-build && cd android-build
CFLAGS='-I/ldata/media/temp/android/installed_binaries/include/ncurses -I/ldata/media/temp/android/installed_binaries/include' LDFLAGS=-L/ldata/media/temp/android/installed_binaries/lib CC='arm-linux-androideabi-gcc --sysroot=/opt/android-ndk/platforms/android-18/arch-arm' ../configure --host=arm-linux-gnu --prefix=/system --bindir=/system/xbin --disable-unicode
rm ../config.h

然后修改当前目录中的 config.h 文件，注释掉 HAVE_NATIVE_AFFINITY 行，添加两个 syscall 的定义，即：

// #define HAVE_NATIVE_AFFINITY 1
#define SYS_ioprio_get __NR_ioprio_get
#define SYS_ioprio_set __NR_ioprio_set

继续 make 即可。

编译好的 htop 可由此下载。

Android 自带的那个 lsof 实际上是 toolbox 里的，功能十分单一，除了显示出所有进程的所有打开的文件外就什么都不能做，连说明也没有 :-( 于是为了 htop 用着爽一点，还是自己编译一个吧。

首先弄个 GNU 工具链。Android NDK 的没有 tcp.h 头文件，会报 TCP_LISTEN 等标识符未定义。

• 我使用 crosstool-NG 1.19.0 编译的 gcc 4.8.1。适用于 Arch Linux x86_64。第一次编译工具链，没想到在 crosstool-NG 的帮助下一次就编译好了，所以是未作静态链接的版本，其它版本的 Linux 可能无法运行。
• zshaolin 使用的工具链 gcc 4.4.6。它是使用 crosstool-NG 1.13.2 编译的。

编译过程。使用了静态链接，最终文件大小 741K。

path+=/ldata/txtfiles/soft/arm-lilydjwg-linux-gnueabi/bin
LSOF_CC=arm-lilydjwg-linux-gnueabi-gcc LSOF_CFGF='-DHAS_STRFTIME -DHASNORPC_H -DGLIBCV' LSOF_VERS=3.0.8 ./Configure -n linux
make
arm-lilydjwg-linux-gnueabi-gcc -o lsof -static dfile.o dmnt.o dnode.o dproc.o dsock.o dstore.o arg.o main.o misc.o node.o print.o proc.o store.o usage.o util.o -L./lib -llsof
arm-lilydjwg-linux-gnueabi-strip lsof

编译好的 lsof 可由此下载。

代码很简单，功能也很简单 =w=

#!/usr/bin/env python3

import sys

try:
  from PyQt4 import QtWebKit
  from PyQt4.QtCore import QUrl
  from PyQt4.QtGui import QApplication, QPrinter
except ImportError:
  from PySide import QtWebKit
  from PySide.QtCore import QUrl
  from PySide.QtGui import QApplication, QPrinter

app = QApplication(sys.argv)

def done(status):
  p = QPrinter()
  p.setOutputFormat(QPrinter.PdfFormat)
  p.setOutputFileName('a.pdf')
  view.print(p)
  app.exit()

view = QtWebKit.QWebView()
view.load(QUrl('http://lilydjwg.is-programmer.com/'))
view.loadFinished[bool].connect(done)
# PySide does not have QApplication.exec
app.exec_()

注意：虽然没有图形界面，但是还是需要 X 连接……

都是《冰雪奇缘》惹的祸，不仅画面美仑美奂，音乐激荡人心，而且还玩多语言版本的主题曲。

而 you-get 竟助纣为虐，把歌词给下回来了！只叹 soimort 没有好人做到底，留一个语义不详的 JSON 让我情何以堪。

好在 muzuiget 才识不凡，有码略释其义，遂如我光影、声音、文字三位一体之愿！

编成代码数十行，只为女王歌一曲：

#!/usr/bin/env python3

import json
import sys

def cmtjson_reader(f):
  data = json.load(f)
  for o in data:
    c = o['c'].split(',')
    m = o['m']
    # see
    # https://github.com/muzuiget/niconvert/blob/master/niconvert/libsite/acfun.py
    start = float(c[0])
    yield start, m

def format_time(t):
  s, ms = divmod(t, 1)
  s = int(s)
  ms = int(ms * 1000)
  m, s = divmod(s, 60)
  h, m = divmod(m, 60)
  return '%d:%02d:%02d,%03d' % (h, m, s, ms)

def crt_writer(f):
  i = 0

  fmt = '%d\n%s --> %s\n%s\n\n'
  try:
    while True:
      t, m = yield
      ts = format_time(t)
      if i != 0:
        f.write(fmt % (i, format_time(old_t), ts, old_m))
      i += 1
      old_t = t
      old_m = m
  except GeneratorExit:
    f.write(fmt % (
      i+1, format_time(t), format_time(t+2), m))

def main():
  w = crt_writer(sys.stdout)
  w.send(None)
  old_d0 = 0
  for d in cmtjson_reader(sys.stdin):
    if d[0] < old_d0:
      break
    w.send(d)
    old_d0 = d[0]

if __name__ == '__main__':
  main()

mplayer 君虽识得 UTF-8 之码，却不通 fontconfig 之术，部分文字沦为了下划线。又及。

自打知道 FUSE 以来都觉得亲手写一个 FUSE 文件系统是很好玩的事情，但是因为没好的自己能够很快实现的点子所以一直没动手。前段时间需要从 Android xrecovery 备份中取得一旧版本的应用，才决定动手的，顺便也练习一下很久没怎么用到的 C 语言。至于为什么不用 Python，好像那个 Python 绑定不太稳定的样子，Python 3 版更是如此。而且我也不希望效率太差。

首先介绍一下，所谓的「dedupefs」，就是把 Android xrecovery 的「dedupe」备份格式的数据挂载成文件系统来查看。其实仅仅只是想查看的话，把那个 dedupe 目录下的东东 gcc 一下就可以创建和解开 dedupe 的备份了，只是占用很多磁盘空间而已。

dedupe 的格式很简单，一个文本文件描述文件信息（时间、路径、大小、类型等），一个目录里全是 sha256 命名的文件来存储文件的数据，以便在备份时不同的备份中的相同文件只保存一次。

FUSE 嘛，我好像从来没看到过完整一点的文档，就是官方 API 文档也经常语焉不详。dedupefs 是参考 rofs 写的。dedupefs 也是只读的。

挂载之前，先得把 dedupe 的纯文本格式处理一下。纯文本适合存储和人阅读，但是查询效率低下。我决定用更适合处理纯文本的 Python，把数据存储到 GNU dbm 键值对数据库中，然后 dedupefs 直接读取数据库就好了。（于是顺便学会了在 C 中使用 GNU dbm :-)）数据的组织方式如下：

• d + 文件路径：该目录下的文件名列表
• f + 文件路径：该文件的信息

这样要读取一个目录下的文件列表就查 d 开头的项，要取得一个文件的信息（stat）或者打开文件，就读 f 开头的。

下边是编码和调试过程中的经验与收获：

• GNU dbm 没说它是线程安全的，所以它不是线程安全的。但是 FUSE 又是多线程的（调试用的单线程模式我就不玩的），所以读取数据库时要加锁。
• GNU dbm 查询结果数据是要调用者来 free 的。
• 因为涉及到二进制数据交换（Python <-> C），所以要注意在结构体声明时围上#pragma pack(push, 1)和#pragma pack(pop)，以免对齐不一致造成数据错误。
• valgrind 用来诊断内存访问错误效果非常棒！
• FUSE 的struct fuse_file_info里有个fh域可以用来存文件描述符，这样就不用像 rofs 那样每次读取都要打开一遍文件了。
• FUSE 读取用的回调函数传的offset一定要用，要首先lseek(finfo->fh, offset, SEEK_SET);一下，不然指不定读取到什么地方的数据了。
• FUSE 文件系统可以忽略文件权限，所以自己不在open和access里判断的话，就可以访问到明明看上去不能访问的文件（这正在我想要的）。
• du 命令读取文件占用磁盘空间时使用了struct stat的st_blocks域。如果在 FUSE 程序里不管它的话，那么 du 将总是报告占用了 0 字节的空间……这里的块大小总是 512 字节。

第一次写 FUSE 程序，虽然文档差了一点，但用起来还是挺方便 =w=

哦对了，android-dedupefs 的仓库链接。

稍微了解一点类 UNIX 系统的进程管理的都知道，当一个进程的父进程死亡之后，它就变成了孤儿进程，会由进程号 1 的 init 进程收养，并且在它死亡时由 init 来收尸。但是，自从使用 systemd 来管理用户级服务进程之后，我发现 systemd --user 管理的进程总是在它之下，即使进程已经 fork 了好几次。systemd 是怎么做到的呢？

对一个软件的实现有不懂的想了解当然是读它的源码了。这种东西可没有另外的文档，因为源码本身即文档。当然之前我也 Google 过，没有得到结果。在又一个全新的源码树里寻寻觅觅一两天之后，终于找到了这个：

        if (arg_running_as == SYSTEMD_USER) {
                /* Become reaper of our children */
                if (prctl(PR_SET_CHILD_SUBREAPER, 1) < 0) {
                        log_warning("Failed to make us a subreaper: %m");
                        if (errno == EINVAL)
                                log_info("Perhaps the kernel version is too old (< 3.4?)");
                }
        }

原来是通过prctl系统调用实现的。于是去翻 prctl 的 man 手册，得知PR_SET_CHILD_SUBREAPER是 Linux 3.4 加入的新特性。把它设置为非零值，当前进程就会变成 subreaper，会像 1 号进程那样收养孤儿进程了。

当然用 C 写不好玩，于是先用 python-cffi 玩了会儿，最后还是写了个 Python 模块，也是抓住机会练习一下 C 啦。有个 python-prctl 模块，但是它没有包含这个调用。

#include<sys/prctl.h>
#include<Python.h>

static PyObject* subreap(PyObject *self, PyObject *args){
  PyObject* pyreaping;
  int reaping;
  int result;

  if (!PyArg_ParseTuple(args, "O!", &PyBool_Type, &pyreaping))
    return NULL;
  reaping = pyreaping == Py_True;

  Py_BEGIN_ALLOW_THREADS
  result = prctl(PR_SET_CHILD_SUBREAPER, reaping);
  Py_END_ALLOW_THREADS

  if(result != 0){
    return PyErr_SetFromErrno(PyExc_OSError);
  }else{
    Py_RETURN_NONE;
  }
}

static PyMethodDef mysysutil_methods[] = {
  {"subreap", subreap, METH_VARARGS},
  {NULL, NULL}    /* Sentinel */
};

static PyModuleDef mysysutil = {
  PyModuleDef_HEAD_INIT,
  "mysysutil",
  "My system utils",
  -1,
  mysysutil_methods,
  NULL, NULL, NULL, NULL
};

PyMODINIT_FUNC PyInit_mysysutil(void){
  PyObject* m;

  m = PyModule_Create(&mysysutil);
  if(m == NULL)
    return NULL;
  return m;
}

编译之后，

>>> import mysysutil
>>> mysysutil.subreap(True)

然后开子进程，不管它 fork 多少次，都依然会在这个 Python 进程之下啦。

但是，这样子不太好玩呢。如果我登陆之后所有启动的子进程都在一个进程之下不是更有意思么？于是我打上了 Awesome 的主意，因为它支持运行任意的 Lua 代码嘛。于是我又给这个 prctl 调用弄了个 Lua 绑定。最终的版本如下：

#include<lua.h>
#include<lualib.h>
#include<lauxlib.h>

#include<sys/prctl.h>
#include<sys/wait.h>
#include<errno.h>
#include<string.h>
#include<signal.h>

static int l_setsubreap(lua_State * L){
  int reap;
  if(lua_isboolean(L, 1)){
    reap = lua_toboolean(L, 1);
  }else{
    return luaL_argerror(L, 1, "not a boolean");
  }
  if(prctl(PR_SET_CHILD_SUBREAPER, reap) != 0){
    return luaL_error(L, "prctl failed: %s", strerror(errno));
  }
  return 0;
}

static int l_ignore_SIGCHLD(lua_State * L){
  signal(SIGCHLD, SIG_IGN);
  return 0;
}

static int l_reap(lua_State * L){
  int pid, st;
  pid = waitpid(-1, &st, WNOHANG);
  lua_pushinteger(L, st);
  lua_pushinteger(L, pid);
  return 2;
}

static const struct luaL_Reg l_lib[] = {
  {"setsubreap", l_setsubreap},
  {"reap", l_reap},
  {"ignore_SIGCHLD", l_ignore_SIGCHLD},
  {NULL, NULL}
};

int luaopen_clua(lua_State * L){
  lua_newtable(L);
  luaL_setfuncs(L, l_lib, 0);
  return 1;
}

除了调用 prctl 外，还增加了显式忽略 SIGCHLD 信号，以及非阻塞地调用 waitpid 收割单个僵尸进程的函数，因为 Awesome 本身没处理子进程退出，我一不小心弄出了好几个僵尸进程……对了，那个 waitpid 要注意给弄成非阻塞的，不然一不小心就会出问题。

用的时候就是这样子，可以写到rc.lua里，也可以在 awesome-client 里调用：

package.cpath = package.cpath .. ';/home/lilydjwg/scripts/lua/cmod/?.so'
clua = require('clua')
clua.setsubreap(true)
clua.ignore_SIGCHLD()

最终，我的进程树成了这样子：

可以看到，由 Awesome 启动的进程已经全部待在 Awesome 进程树之下了。systemd --user 是由 PAM 启动的，所以不在 Awesome 树下。但是，那些 dbus 的东西和 gconfd-2、at-spi 之类的是怎么回事呀……

Tcl：一切皆字符串。
Python：一切皆对象，真的！整数、函数、类、方法、模块、代码、函数调用栈等等都是对象！
Lisp：好一碗美味的括号汤！
Lua：在与不在之间——nil。
Zsh 脚本：Perl 根本不算什么！
Haskell：=纯粹+庸懒+晦涩
Erlang：你不是一个人在战斗，不是一个人！