依云's Blog

rpysh 是为习惯 Linux 的 Pythoners 在不得不处理 Windows 上的事务时写的远程 shell。

源起

前些天，我尝试了使用 Python 控制 Word。但我对 Windows 下的交互式 Python shell 很不满意。

首先，我尝试的是 cmd.exe 那个黑窗口。太难用了！只有最基本的行编辑、在不知不觉中历史记录被窜改、复制粘贴极其麻烦。补全当然也是没有的。

于是，尝试 IDLE。这家伙我选了「IDLE Classic Unix」，但是能工作的键并不多。比如我刚刚尝试的Ctrl-u就不管用。而Ctrl-p竟然是把光标向上移动，回车才会把那行的内容取到输入命令的那行。这样一来，想再次执行最后一条语句，需要视上条命令输出的行数按几下Ctrl-p。另外，鼠标在窗口内点击后光标会被移开。这样，我使用鼠标从其它窗口切回来时，还得再手动定位光标，极其不爽。至于补全么，太智能了，所以在我输入时不时会出现这种情况：

还有一个问题：我查资料、做笔记、写代码都在 Linux 上，虽然Ctrl-C、Ctrl-V在物理机和虚拟机间能够无缝操作，但比起选中+中键粘贴的 X 主选区还是麻烦多了！

没办法，我只好重拾很久以前的想法——写个程序，在 Linux 上操作，在 Windows 上执行！

——等等！这和 ssh 差不多吗？或者 telnet？

——不不，Cygwin 的 ssh 跑不了 Windows 控制台程序，而且，不还是没 readline 支持么？

实现

毫无疑问是网络通信了。距离上一次不成功的尝试已经过去很久了，我不仅更加了解了code模块的能力，也知道 Python 命令行补全是怎么回事了。也就是说，Windows 版的 Python 是有补全的接口的，只是没有 readline 的等价物来调用。跑在 Windows 上的服务端要完成以下操作：

1. 重写相关方法，把用户数据由标准输入改到从客户端读取
2. 标准输出重定向到网络 socket
3. 收到客户端的补全请求后，使用rlcompleter模块获取补全结果，再回送给客户端

对于第一点，实际上取代code.InteractiveConsole实例的raw_input方法就行。它和内建的input()函数具有相同的输入和输出形式，也就是会接收命令提示符。将这个直接发给客户端好了。

第二点很简单，直接socket.makefile然后把sys.stdout指过去。

第三点，为了简单起见，我另开了个线程和 socket，专门用于补全。需要传递的参数和返回值全部 pickle 了扔给对方就是了。

写完这些我才发现，其实我的raw_input方法和补全函数具有相似的执行逻辑：发送参数到网络，再从网络获取执行结果——也就是远程过程调用呵。

使用方法

rpyshd.py可选一个参数作为端口号，为方便起见，提供默认值8980。也是为了方便双击执行起见，我添加了.py后缀。

rpyshc相当于telnet命令了，直接接主机地址和端口号两个参数即可。

缺陷

• 从标准输入读数据时在服务端
• 偶尔提示符出现不及时
• 虽然我实现了Ctrl-C，但是实际上没什么用，因为收到消息时之前的操作肯定已经执行完了

不知道怎么搞的，新版 MongoDB 自带的 mongo shell 现在不支持 readline，而且使用一个极简到工作不正常的 linenoise。编译时加上 readline 也没用。虽然内建了简单的历史记录和补全，可是历史记录不能搜索，补全只能像 Vim 命令行默认的那样一个一个切换不能像 bash/zsh 那样全部列出来。这些还不是最令人郁闷的。最让我受不了的问题和十年前的 DOS 版 WPS 里遇到的差不多——当年的 WPS 里删汉字一次只删一半，现在的 mongo shell 里删汉字一次只删三分之一！而且光标定位是错的，按字节算的！

于是乎拿 Python 写了一个 shell。不愧是 Python，内置的东西真不错，不到100行就写好了。不过用到了自己另外的库函数，另外用到了自己的 colorless 程序来高亮显示查询结果。如果不想要 pygments 这个依赖的话，可以用 less 程序代替。以下贴个无高亮版的，高亮版的见 github。

#!/usr/bin/env python3
# vim:fileencoding=utf-8

import sys
import os
from pprint import pprint
import subprocess

from pymongo import Connection
import pymongo.cursor

# 这个模块位于 github 上的 winterpy 仓库的 pylib/cli.py
from cli import repl

import locale
locale.setlocale(locale.LC_ALL, '')
del locale

host = 'localhost'
port = 27017
db = 'test'

def displayfunc(value):
  if isinstance(value, pymongo.cursor.Cursor):
    p = subprocess.Popen(['less', '-RFX'], stdin=subprocess.PIPE,
                        universal_newlines=True)
    pprint(list(value), stream=p.stdin)
    p.stdin.close()
    p.wait()
  else:
    pprint(value)

def main():
  global db
  conn = Connection(host=host, port=port)
  db = conn[db]

  v = globals().copy()
  v.update(locals())
  del v['repl'], v['argv'], v['main'], v['v'], v['host'], v['port']
  del v['displayfunc'], v['subprocess']
  del v['__name__'], v['__cached__'], v['__doc__'], v['__file__'], v['__package__']
  sys.displayhook = displayfunc

  repl(
    v, os.path.expanduser('~/.mongo_history'),
    banner = 'Python MongoDB console',
  )

if __name__ == '__main__':
  argv = sys.argv
  if len(argv) == 2:
    if '/' in argv[1]:
      host, db = argv[1].split('/', 1)
    if ':' in host:
      host, port = host.split(':', 1)
  elif len(argv) == 1:
    pass
  else:
    sys.exit('argument error')

  main()

有一天，我发现了一个很好用的 Python shell——bpython。它使用了 ncurses 来做界面，使用了 pygments 来高亮代码，怎么看都比 ipython 漂亮，更不用说 Python 自己的了。不过既然它使用了 ncurses，麻烦也就来了——ncurses 不支持 readline！虽然有些模拟，但终究是不好用，M-f M-b不起使用，M-数字也不能用。于是我再次去 google 同时使用 ncurses 和 readline 这两个库的办法。

功夫不负有心人，这次终于 google 到了点有用的东西：

The basic idea is to use call rl_callback_read_char() when input from the user is available (determined with select, or similar), then print 'rl_line_buffer' as you would any other string in ncurses, and optionally set A_REVERSE on the position indicated by rl_point. (or just reposition the cursor I guess, either works...)

不过可惜的是，这封邮件给出的代码在我这里并没有跑起来。其实跑起来了也用处不大，因为我需要的那部分代码独立性太差了，还是得重写。

花了一个下午，我终于弄出了一个雏形。

首先，这个rl_callback_read_char()是这么用的（文档）：

#include<stdio.h>
#include<readline/readline.h>

int main(void){
  int cont = 1;

  void callback(char *text){
    if(text == NULL){
      rl_callback_handler_remove();
      putchar('\n');
      cont = 0;
    }else{
      printf("%s.\n", text);
    }
  }

  rl_callback_handler_install(">> ", callback);
  while(cont){
    rl_callback_read_char();
  }
  return 0;
}
      

首先安装个回调函数，它将在 readline 读取到一行内容时调用。当标准输入可用的时候，调用rl_callback_read_char()来读取字符。另外注意，这里我用了 gcc 的嵌套函数支持，免得弄出不少全局变量。

知道怎么用rl_callback_read_char()之后，就可以按那封邮件所说的，把它和 ncurses 联合起来了。代码修改自NCURSES Programming HOWTO。思路很简单，readline 负责读取并处理用户输入，显示是自己处理的。不过作为中文用户，纠结了半天的中文问题。最开始是有了 ncurses 之后，中文显示异常。这个是通过setlocale解决的。然后又是光标放的位置不对。于是又用上了我同样不熟悉的 wchar，自己计算光标应该放在哪里。

#define _XOPEN_SOURCE 700       /* for wcswidth and 700 is for mbsnrtowcs */
#include<wchar.h>
#include<ncurses.h>		/* ncurses.h includes stdio.h */
#include<stdlib.h>
#include<string.h>
#include<readline/readline.h>
#include<locale.h>
 
int mygetstr(char *str, int y, int x){
  WINDOW *win;
  int size, col;
  int ok = 0;
  int width;
  wchar_t wstr[80];
  char *p;
 
  getmaxyx(stdscr, size, col);
 
  void getaline(char *s){
    str = s;
    rl_callback_handler_remove();
    ok = 1;
  }
 
  rl_callback_handler_install("", getaline);
  win = newwin(1, col-x, y, x);
  while(1){
    rl_callback_read_char();
    if(ok)
      break;
    werase(win);
    strncpy(str, rl_line_buffer, 80);
    p = str;
    /* how many column chars before cursor occupies? */
    size = mbsnrtowcs(wstr, (const char**)&p, rl_point, 80, NULL);
    width = wcswidth(wstr, size);
    mvwprintw(win, 0, 0, "%s", str);
    /* put the cursor at right column */
    wmove(win, 0, width);
    wrefresh(win);
  }
  delwin(win);
  return 0;
}
 
int main(){
  char mesg[] = "Enter a string: ";
  char str[80];
  int row, col;
 
  setlocale(LC_ALL, "");        /* make ncurses handle Chinese correctly */
  initscr();
  getmaxyx(stdscr, row, col);
  mvprintw(row / 2, (col - strlen(mesg)) / 2, "%s", mesg);
  refresh();
  mygetstr(str, row / 2, (col + strlen(mesg)) / 2);
  mvprintw(LINES - 2, 0, "You Entered: %s", str);
  getch();
  endwin();
 
  return 0;
}
      

注意：此代码只是演示用，缓冲区溢出什么的我都没处理。

终于搞定了 C 下结合两者的使用，接下来 Python 版思路是有了，但因为其标准库 readline 中没有提供rl_callback_read_char()函数，所以只能用 ctypes 了。下面是在 Python 里使用rl_callback_read_char()的示例，ncurses 部分我暂时不想折腾了。

#!/usr/bin/env python3
# vim:fileencoding=utf-8

import sys
import readline
import ctypes
import ctypes.util

rllib_path = ctypes.util.find_library('readline')
rllib = ctypes.CDLL(rllib_path)

def callback(s):
  if s is None:
    rllib.rl_callback_handler_remove()
    sys.stdout.write('\n')
    sys.exit()
  elif not s:
    pass
  else:
    print('%s.' % s.decode())
    # 这样也可以
    # print(readline.get_line_buffer())

cbfunc = ctypes.CFUNCTYPE(None, ctypes.c_char_p)

rllib.rl_callback_handler_install.restype = None
rllib.rl_callback_handler_install(ctypes.c_char_p(b">> "), cbfunc(callback))

while True:
  rllib.rl_callback_read_char()
      

2011年8月4日更新：今天终于完成了个 quick and dirty 的 Python 版：

#!/usr/bin/env python3
# vim:fileencoding=utf-8

import sys
import readline
import ctypes
import ctypes.util
import curses
import struct
from 字符集 import width
 
rllib_path = ctypes.util.find_library('readline')
rllib = ctypes.CDLL(rllib_path)
 
def getstr(win, y, x):
  _, col = win.getmaxyx()
  inputbox = curses.newwin(1, col-x, y, x)
  ret = ''
  ok = False
  def callback(s):
    nonlocal ok, ret
    if s is None:
      rllib.rl_callback_handler_remove()
      raise EOFError
    elif not s:
      ok = True
    else:
      ret = s.decode()
      ok = True
  
  cbfunc = ctypes.CFUNCTYPE(None, ctypes.c_char_p)
  
  rllib.rl_callback_handler_install.restype = None
  rllib.rl_callback_handler_install(ctypes.c_char_p(b""), cbfunc(callback))
  
  while True:
    rllib.rl_callback_read_char()
    if ok:
      break
    inputbox.erase()
    # 这样获取的值不对。。。
    # bbuf = ctypes.string_at(rllib.rl_line_buffer)
    buf = readline.get_line_buffer()
    bbuf = buf.encode()
    inputbox.addstr(0, 0, buf)
    rl_point = struct.unpack('I', ctypes.string_at(rllib.rl_point, 4))[0]
    w = width(bbuf[:rl_point].decode())
    inputbox.move(0, w)
    inputbox.refresh()

  del inputbox

  return ret

msg = '输入字符串：'
win = curses.initscr()
curses.noecho()
row, col = win.getmaxyx()
win.addstr(row // 2, (col - width(msg)) // 2, msg)
win.refresh()
s = getstr(win, row // 2, (col + width(msg)) // 2)
win.addstr(row - 2, 0, '你输入了: ' + s)
win.getch()
curses.endwin()