依云's Blog

11
16
2020

Python 小版本升级是怎么 break 已有项目的

近日，Arch Linux 终于开始升级到 Python 3.9 了。很多人认为 Python 小版本升级容易搞坏兼容性，导致项目无法在新的版本上运行。事实是这样的吗？我正好借着 Arch Linux 升级 3.9 的机会，分析一下打包过程中失败的项目到底是出了什么事。

需要说明的是，我仅大致地分析了打包的报错信息，不排除分析出错，或者有额外的问题没有被看见的情况。另外我是在打包过程中随机（arbitrarily）取样，并且排除了我不能确定问题所在的案例。

以下项目测试失败是和 Python 3.9 相关的。排序是按照项目开发者的无辜程度排序的。也就是说，排序越靠前的，我越是认为项目开发者是无辜的；而像「硬编码 Python 3.9 为未发布的版本」这种完全不 future-proof 的做法，现在坏掉了真是自找的。

其中，使用的公开特性变化导致问题的有 3 个，调用私有属性或者方法、依赖非正式的文本信息的有 11 个，使用已废弃的特性的有 8 个，使用已被修复的 bug 的有 2 个，使用未来注定会出问题的信息的有 3 个。总共 27 个。

freecad: PyTypeObject.tp_print 没了
python-llfuse: PyTypeObject.tp_print 没了
linux-tools: PyMODINIT_FUNC 的变化导致了警告，然后被转为错误
python-blist: _PyObject_GC_IS_TRACKED 宏不再在第三方库中可用（被公开 API 取代）
python-pyflakes: Python 语法解析报告的列位置似乎不太对，应该是受新的语法解析器的影响
python-pylint: Python 语法解析报告的列位置似乎不太对，应该是受新的语法解析器的影响
python-typing_inspect: 使用私有名称 typing._GenericAlias，结果新版本变成了 typing._SpecialGenericAlias
python-sphinx-autodoc-typehints: 看上去是类型标注相关的内部更改移除了 typing.Dict.__parameters__ 属性造成的
python-fastnumbers: 看上去是内部函数 _Py_dg_stdnan 不再被默认包含导致的问题
python-libcst: 类型标注相关的内部更改移除了 typing.Dict.__args__ 属性造成的
monkeytype: typing.Dict 的类型从 type 变成了 typing._SpecialGenericAlias
scrapy: 由于 typing.Optional[str] 的字符串表示由 typing.Union[str, NoneType] 变成了 typing.Optional[str] 导致 mitmproxy 运行出错，进而使得 scrapy 的测试失败
python-billiard: 调用的私有方法 _posixsubprocess.fork_exec 参数发生了变化
python-pytest-benchmark: argparse 的帮助信息格式有优化
python-opentracing: 自 3.7 起废弃的 asyncio.Task.current_task 被移除
python-engineio: 自 3.7 起废弃的 asyncio.Task.all_tasks 被移除
impacket: 自 3.2 起废弃的 array.array.tostring() 被移除
python-pybtex: 自 3.2 起废弃的 xml.etree.ElementTree.Element.getchildren 被移除
python-jsonpickle: 自 3.1 起废弃的 base64.decodestring 被移除
python-ioflo: 自 3.1 起废弃的 json.loads() 参数 encoding 被移除
routersploit: 自 Python 3 起废弃的 threading.Thread.isAlive 终于被移除了
python-socketpool: 自 Python 3 起废弃的 threading.Thread.isAlive 终于被移除了
python-furl: Python 3.9 修正了一处 URL 解析 bug
python-stem: Python 3.9 移除了错误的 unittest.mock.__version__
python-natsort: Python 的 Unicode 支持更新到了 13.0.0 版本，CHORASMIAN NUMBER ONE 字符被判定为数字，但是测试代码不认识，认为程序出错
python-pony: 对新版本的 Python 报不支持的错误
python-dephell-pythons: 硬编码 Python 3.9 为未发布的版本，但现在 3.9 已经发布了

而以下项目的测试失败与 Python 3.9 没有直接关系，共 26 个。其中与 Python 生态有关的有 18 个，与其它项目有关的有 4 个，依赖外部信息的有 3 个，包括一个特别搞笑的依赖夏令时是否生效的。

python-eventlet: 调用的 dnspython 私有方法已不存在；DNS 解析超时
python-markdown2: 语法高亮的结果有少许变化，不符合预期。推测是 pygments 新版本的变化
python-flake8-typing-imports: 似乎是 flake8 能够检测到更多的问题了
python-babel: 使用了已废弃的特性，测试被 pytest 拒绝
python-pygal: pytest 6.1.0 移除了 Metafunc 的 funcargnames 属性
python-flask-gravatar: 使用了已废弃的特性，测试被 pytest 拒绝
python-pytest-relaxed: 使用了已废弃的特性，测试被 pytest 拒绝
python-pytest-randomly 使用了已废弃的特性，测试被 pytest 拒绝
python-deprecated: 测试所预期的警告文本信息已经发生变化
python-dbus-signature-pyparsing: 执行时间超过了测试设定的 200ms 时限
python-tinycss2: flake8 风格检查未通过
python-pytest-runner: black 风格检查未通过
python-portend: black 风格检查未通过
python-aiohttp: @coroutine 的 DeprecationWarning 被视作错误
python-poetry: poetry-core 的一项数据由 dict 改为 OrderedDict，使得输出顺序与测试预期的不一致
python-isort: 将使用旧版本 isort 的外部项目的 import 排序视为正确，然后它还真出错了
python-cachecontrol: Python 2.7 相关
python-zc.lockfile: 测试代码把 Python 3 代码喂给了 Python 2.7。可能是该库已经不支持 2.7 了
python-occ-core: 依赖 OpenCASCADE 的版本更新，不被支持
protobuf: C 整型比较因表示范围问题而恒为假，警告转错误。是因为新版本的 gcc 比较聪明么？
gnome-passwordsafe: 构建系统发现有依赖缺失
io: C 代码引用了不存在的系统头文件
ceph: C++ 相关问题
python-distlib: 调用远程 XML-RPC 太多被限制导致预期的数据与实际错位
python-requests-toolbelt: 测试所需要的 HTTP 资源 404 了
postgresql: 夏令时结束，导致实际时区与预期对不上。「所以冬天就不要滚包啦，冬天要冬眠！」

所以在这些升级 Python 3.9 的项目中，不兼容 Python 3.9 仅仅只占一半，其中又有一半多属于「总有一天会坏掉」的类型（一大半属于「不听话」，使用没有明确文档、预期为私有的特性，少数尝试当预言家但是失败了）。最后剩下的，再一大半是使用了至少两个版本前已经说了要废弃的特性，只有三个莫名地发现自己真的被 Python 坑了，还都是 C API 部分的。

所以我对我自己的脚本顺利升级到 Python 3.9 非常有信心呢。可能有些老代码使用了已经废弃的特性，所以我也设置了环境变量 PYTHONWARNINGS=default,ignore::ResourceWarning 以便及时得到提示。

哦对了，Arch Linux 中受 Python 3.9 升级影响需要更新的软件包共有2077个，绝大部分我都没见着失败的。目前从开始升级到现在已经过去六天，还剩最后40个失败了的包。

Category: python | Tags: python Arch Linux 编程语言编程

10
29
2020

从 PyPI 上下载 Telethon 的原始 tar 归档回来看看，发现最近几个版本里，文件权限全部只有自己可以读（-rw-------），而所有者是 u0_a167/10167。开发者突然在 Android 系统上打包了呢……安装的时候，部分文件的权限被保留了下来（Arch Linux 打包时强烈反对使用 root 权限执行，因此我用 devtools 打包，解包部分自然是普通用户操作的，所有者无法被保留）。

然后我又看了一下之前的版本，哦豁，所有者成开发者的 id 了，但是有三个版本的 pyc 文件，还有好几个 pyc 文件都是 -rwxrwxrwx。大概系统上的低权限用户可以去改改，然后看谁跑 Telegram 机器人就拿谁的权限？

经过跟开发者的讨论，最终干掉了 pyc 文件，也不在 Android 上打包了。777 权限问题还待解决。不过我更在意的是，为什么会发生这种状况呢？setuptools 干嘛不修一修呢？别的工具创建的用于发布的 tar 归档会不会有类似的问题呢？

结果找了找，发现 setuptools 前年就有人报告这个问题，但是并没有解决。行吧，我打包时统一修正一下权限好了……

下一个 GitHub 生成的 tar 归档看看？咦，-rw-rw-r-- root/root，是处理过了么？啊对，git archive 生成的包是怎么样的？去试了试，原来一样的啊。看来 git 想到了这个问题并且处理了，只是 002 的 umask 有点意外。

Arch Linux 为了普通用户打出文件为 root 所有的 tar 归档使用了 fakeroot，那么 git 是怎么实现的呢？翻了翻代码，git 是自己生成 tar 文件的，写死了所有者是 root/root，但是权限位还是有专门的 umask，默认是 002。可以配置，比如git config --global tar.umask user一下，就会取当前 umask 作为 tar 归档里文件的 umask 了。

至于传统的 GNU autotools 构建系统创建的 tar 归档，我也创建了一个看了一下，并没有特殊处理，跟手动跑 tar 一样。

Category: Linux | Tags: linux python Git

11
26
2019

Python 3.8 升级记录

Python 3.8 发布有好多天了，Arch Linux 也早就重新打包了一千多个包（感谢辛勤的肥猫猫），隔天就从 [staging] 进入 [testing] 了，四天之后进入正式仓库（[extra] 和 [community]）。

Python 3.8 进入官方仓库的次日，我本地进行了更新。之所以要等一天，自然是等 [archlinuxcn] 的更新啦。然后那些需要人工干预而又暂时没人理的我本地重新打包了。使用 pacman -Qo /usr/lib/python3.7/site-packages 查询尚未更新的软件包，然后对着对应的 PKGBUILD 一顿改（基本上也就是 pkgrel 加 0.1 而已），makepkg -si 就好了。

但是这样还没完事哦。

先 sudo updatedb 更新一下 mlocate 的数据库。然后 locate -be python3.7 | grep -v /var/lib/lxc 找到一些残留的文件，主要是 ~/.local/lib 下的，以及散落在管理之外的 venv 里的。~/.local/lib 下的都是我自己的项目，删掉然后重新去项目里 python setup.py develop --user 就好了。venv 的话，直接删掉吧……

然后是 locate -be python-37 | grep -v /var/lib/lxc | grep -v /usr/lib/python3.7/site-packages。这个是为了查 Python 3.7 的 pyc 文件，所以这次也排除了 Python 3.7 的 site-packages，避免尚未更新的 Python 包的干扰（有些暂时用不到的包我就懒得自己 makepkg 了），等更新完之后整个目录删掉。有些软件包（比如 gdb-common）没有使用标准的 Python 安装流程（比如因为并不是标准的 Python 库），打包者（比如著名的 Allan McRae）没有或者拒绝在打包时编译 pyc 文件，造成 Python 自行创建不被管理的 pyc 文件，软件包卸载或者 Python 升级后就残留下来了。

确认没有问题之后（比如有些软件可能自带了个旧版本的 Python，或者有些并不是 pyc 的文件也包含这个字符串），执行 locate -be python-37 | grep -v /var/lib/lxc | grep -v /usr/lib/python3.7/site-packages | sudo xargs rm -v 删除这些文件。当然如果有需要保留的文件自行从文件列表中删掉先。

pyc 清理之后，接下来清理一下空的 __pycache__ 目录啦。locate -be __pycache__ | sudo xargs rmdir -v 2>/dev/null 就可以了，非空目录不会被删掉的。

哦对了，我现在在用 mypy 了，所以还要 locate -we .mypy_cache/3.7 一下。

我之所以现在记录这事儿，「现在」的原因是，我要在另一个系统上再测试一遍再发布出来，「记录」的原因是，下一次我就不用想要执行哪些命令了。

Category: Linux | Tags: linux python Arch Linux

1
2
2019

解析 zxinc IPv6 数据库

很久以前，我就开始使用纯真 IP 数据库来进行简单的 IP 归属查询。离线数据库的好处在于快速、可依赖，我可以使用 ipmarkup 程序来快速地给文本中的所有 IP 地址注解。

然后随着 IPv6 的普及，我越来越多地需要查询 IPv6 地址了。每次 whois 或者找 ipip.net 实在是太没效率了，还暴露隐私。于是看到这个IP地址查询网站提供离线数据库下载之后，就也做了一个和 LinuxToy 介绍的这个程序类似的工具。

数据格式部分参考《纯真IP数据库格式详解》以及该网站自带的简略说明。

ipdb 程序库（带命令行）使用截图：

用于在文本中标注 IP 的 ipmarkup 工具链接开头给了。另外有一个 cip 可以根据情况调用 ipdb 或者 QQWry。

ipdb 解析部分只依赖 Python 3.5+，下载及更新部分会依赖我同一仓库中的 myutils 库。

顺便我也优化了一下 QQWry 模块：一是没必要保留一个低效率的版本，二是既然用 mmap 了，就去掉了所有的 seek 操作，目前大概是线程安全的了。这种跳转来跳转去的二进制格式，就算不用 mmap，也可以用 pread 来操作，免得要维护个当前文件位置，还线程不安全。

Category: python | Tags: python IP地址

11
19
2018

正确地上传至 PyPI 并展示文档

数年过去了，今天经过多次尝试和询问，我终于成功让 nvchecker 的文档以富文件的形式展示在 PyPI 上了！

正确地打包上传命令是这样的：

rm -rf dist && python setup.py sdist && twine check dist/* && twine upload -s dist/*

如果 twine check 不通过，那么修正后重新执行。如果文档包含错误，PyPI 会以纯文本形式展示。

听说要设置 long_description_content_type。好像 Markdown 才要设置的，rst 不用。
听说不支持 # 开头的链接。实际上现在已经支持了。
听说要用 twine，那就用吧。

原来我之前的文档一直没有正确地渲染，是因为有一个标题的「-」少了两个……

关于 PyPI 的资料是挺多的，但是细节不够详细，陈旧信息很多，唉。

Category: python | Tags: python

9
28
2018

每次修 Python 代码的 bug 的时候总会想念 Rust

俗话说：由俭入奢易，由奢入俭难。

之前写 Python，老是在实现完一个特性之后，弄出来几个 AttributeError: 'NoneType' object has no attribute 或者 TypeError: list indices must be integers or slices, not str，还有 TypeError: can only concatenate str (not "int") to str 这样的错误。一看就明白自己又是哪里一不小心疏忽了，稍微修一下就好。

后来啊，我遇见了 Rust，整个流程就变了。之前写的时候，基本上都是通过手动测试来发现这种问题。为了高效、不破坏性地测试，需要控制测试的数据量，需要保证出错的时候相关的数据不会处于某种中间状态。当然在服务器上跑的脚本，我还要来来回回地传更新的脚本，或者弄个本地测试环境。而这一切，可能不过是为了跑一个成功之后再也不会用到的小程序，比如之前分析抓包数据的那次。而在 Rust 里，这些最容易犯的错误，cargo check 一下，编译器基本上能全给你指出来。所以有时候写一些小工具我也用 Rust，虽然写起来慢，但写好就能正常运行，不用反复试错，多好啊！

最近给 Arch Linux 中文社区的自动打包机器人 lilac 增加新特性。结果实现完部署之后，夜里就被 lilac 叫起来修 bug 了，还一下子就是仨……（lilac 很难本地测试，而短暂地服务中断又没多大影响，所以我都是不进行本地测试的。）

第一个 bug 是，与 dict.get 不一样，getattr 是没有默认值的。Python 里这种不一致很多，比如 configparser 里默认值要用关键字参数指定。Rust 遇到类似的情况，就会返回一个 Option。或者如果 API 决定如果不存在就 panic 的话，那么它就会直接返回我要取的值的类型，而不会包一层 Option。而我后边的代码是预期到这里可能取不到那个属性的，所以弄错了就会类型不匹配。

第二个 bug 是局部变量在一个分支上没有初始化。Rust 当然不会允许这种情况了。实际上 C 都不用担心这种问题，编译器会给出警告的，还有一些 linter 可以用。而 Python，很遗憾的是，我所使用的 pyflakes 并没有对此发出警告。我当然知道 pylint 那些。我很讨厌 pylint 和 jslint 这种不区分潜在 bug 和风格问题的 linter。我只需要工具在我可能疏忽的时候提醒我，而不需要它对我的编码风格指指点点，特别是那些指指点点往往是不对的。比如我的文件描述符变量名不叫 fd 难道要叫 fildes？

第三个 bug 是一个可能为 None 的变量我忘了先作 is not None 判断。这段代码如果初写的话我肯定是会注意到的，但是改的时候，只想着如果 pkg 里有冒号我得处理一下，就忘记了根本没有关联的包名的情况。Python 的 None，以及 C 和 C++ 的 NULL、Java 的 null、Lua 和 Ruby 的 nil、JavaScript 的 undefined 和 null，被称作是十亿美元错误，给无数程序员和用户带来了无尽的 bug。幸好这个东西在 Rust 里不存在：表达「没有值」的值没有被作为特殊值存在于几乎所有类型中，而是作为一类类型的可能的值之一。想要使用「正常」的值，就需要显式地进行类型转换，所以不可能被不小心忽略掉。顺便说一下，Go 里也有 nil 这种东西，以至于会出现这种不容易发现的 bug。

Python 现在也给出了解决方案：类型注解，提供类似的类型检查。不过检查器是第三方的，也并不十分完善。等我找到机会试用过之后再来写感想啦。

Category: python | Tags: python 编程编程语言 Rust

6
14
2018

递归遍历目录：Python vs Go vs Rust

群友提出了一个简单的任务：递归遍历一个很大的目录，根据文件名数一下有多少 JPEG 文件。怎么最快呢？然后他用了 Go 语言实现。

我忽略想起 Python 3.5 的 What's New 里提到，他们优化了 os.scandir 使得目录遍历快了好几倍（PEP 471）。其核心思想是：不进行不必要的 stat 系统调用，因为读目录获得了不少信息，原来都是丢弃掉了，现在改成了通过 DirEntry 对象来返回。这些信息包括文件名等，刚好有我们需要的。

于是 Go 做了这个优化没有呢？

翻了一下代码。Go 自带的实现位于 src/path/filepath/path.go 文件中。可以看到，它对每一个文件都 lstat 了。后来一阁指出，不仅如此，而且它还莫名其妙地对目录下的文件名进行了排序！

呃，前者可以说是疏忽了，毕竟 Python 也是直到 3.5 才优化的。可是，它排那个序干嘛呢……

然后我又想到，Rust 那边如何呢？

结果是，Rust 对它所包含的东西非常审慎，标准库里并没有递归遍历目录的函数。那我们自己写一个？才不呢，用第三方库啦！可以看到，它也是返回 DirEntry 对象的。

后来了解到，Go 也有一个第三方的实现 godirwalk，对这些细节进行了优化。

光是了解实现不够。我们让它们来比试一下吧。顺便，把 find 和 fd 也拖进来好了。

任务：数一数一个拥有近万文件的目录下有多少 JPEG 文件。

实现代码：walkdir-test

结果：

   Rust: top:    4.78, min:    4.72, avg:    4.90, max:    5.46, mdev:    0.17, cnt:  20
 Go_3rd: top:    7.71, min:    7.64, avg:    7.79, max:    8.41, mdev:    0.16, cnt:  20
   find: top:   11.49, min:   11.32, avg:   11.76, max:   14.18, mdev:    0.59, cnt:  20
     fd: top:   18.17, min:   15.18, avg:   21.29, max:   29.94, mdev:    3.84, cnt:  20
     Go: top:   21.08, min:   20.91, avg:   21.28, max:   22.70, mdev:    0.37, cnt:  20
 Python: top:   29.66, min:   29.51, avg:   30.43, max:   35.84, mdev:    1.45, cnt:  20
Python2: top:   30.37, min:   30.10, avg:   30.85, max:   33.15, mdev:    0.75, cnt:  20

Rust 如预期一样是最快的。Go_3rd 就是那个第三方库的实现，也非常快的。fd 是 Rust 实现的，目标之一是快，但是这次并没有比老牌的 find 快。Go 自带的那个实现，十分令人遗憾地连 find 都没比过呢，不过还是比 Python 快了不少。Python 2 这次终于没有跑在 Python 3 前边了（虽然差距很小），我猜是 PEP 471 那个优化的功劳。

对了，还有代码行数：

  15 Python/walk
  29 Rust/src/main.rs
  30 Go/walk.go
  33 Go_3rd/walk.go

Rust 竟然不是最长的。不过确实是字符数最多的。

话说 Go 的 } 竟然也是有规定的，结构体的不能另起一行写，只能跟 Lisp 的风格那样堆在一行的尾巴里。

PS: 没想到之前给 swapview 写的 benchmark 程序在另外的项目里用上了呢，果然写东西还是通用些的好。

更新：在群友的提示下，我找了一个更大的目录来测试，结果很不一样呢。这次遍历的目录是 /usr，共有 320397 个文件。

     fd: top:  265.80, min:  259.84, avg:  273.89, max:  319.76, mdev:   15.03, cnt:  20
   Rust: top:  269.98, min:  266.86, avg:  272.82, max:  282.84, mdev:    4.17, cnt:  20
 Go_3rd: top:  361.17, min:  359.05, avg:  363.82, max:  370.22, mdev:    3.31, cnt:  20
   find: top:  454.03, min:  450.79, avg:  458.51, max:  467.31, mdev:    5.08, cnt:  20
 Python: top:  624.80, min:  615.73, avg:  630.67, max:  640.88, mdev:    6.79, cnt:  20
     Go: top:  890.03, min:  876.98, avg:  910.63, max:  967.14, mdev:   24.84, cnt:  20
Python2: top: 1171.38, min: 1157.19, avg: 1189.99, max: 1228.09, mdev: 4186.28, cnt:  20

可以看到，唯一的并行版本 fd 胜出了～Rust 版本紧随其后，显然在此例中并行并没有多么有效。Go_3rd 还是慢于 Rust 但也并不多。然后，经过优化的 Python 终于在更大的数据量上明显胜过了 Go 以及 Python 2 这两个浪费了很多系统调用的版本。

Category: 编程 | Tags: python go 编程语言 Rust

11
6
2017

使用 Python 读取火狐的 cookies

这事本来是有个 browsercookie 库可以做的，但是初看它就有不少问题：

不能指定要使用的火狐 profile（后来发现可以指定数据库文件）。
找不到 sessionstore.js 文件时会向标准输出打印一行信息。对于 cron 脚本，这种行为是非常非常讨厌的。

我在尝试解决这些问题时，又发现了额外的问题：它每次都要把所有的 cookie 全部读取。再加上不必要地导入 keyring、Crypto 等库，让我想放弃了。

于是我考虑自己实现一个 cookiejar。但发现它有如下问题：

公开接口和实现细节没有清晰地分离
没有提供存储和读取 cookie 的抽象，而是存在一个字典里

这样扩展起来就十分令人不爽了，也不知道能正常工作多久。

也罢，cookiejar 是个十分复杂的东西，我不如实现一个获取匹配的 cookie 的独立功能，然后通过各种姿势传给 HTTP 客户端库好了。

火狐的 cookie 数据库文件「cookies.sqlite」里就一个「moz_cookies」表，其结构也挺简单的。但是，怎么做 cookie 的匹配呢？既然决定放弃 Python 自带的 cookiejar，那就不看它，直接看火狐的源码好了。

于是去 DXR 上搜索火狐的源码。没费多少力气就找到了相关的部分，然后跟着代码就能知道是怎么匹配的了：

通过祼域名查得候选 cookie
根据域名、路径和 secure 等属性来过滤 cookie
就这样，没有第三步了

祼域名使用 tldextract 库来做，其它属性的匹配算法直接看火狐的代码。虽然是不熟悉的 C++ 代码，但是写得很棒，很容易理解。

把自己需要的部分写成 Python，得一新模块——firefoxcookies。就一个方法，返回一个 cookie 的字典，用起来也很方便。比如在我的 requestsutils.RequestsBase 中，这么干就可以了：

class FireRequests(RequestsBase):
  def initialize(self):
    self._fc = FirefoxCookies(os.path.expanduser(
      '~/.mozilla/firefox/nightly/cookies.sqlite'))

  def request(self, url, method=None, *args, **kwargs):
    if self.baseurl:
      url = urljoin(self.baseurl, url)

    cookies = self._fc.get_cookies(url)

    return super().request(url, method=method, cookies=cookies)

就这样就满足我的需求了。以后再有别的需求，再慢慢扩展。

Category: python | Tags: 火狐 python http

9
15
2017

放弃 you-get，转投 youtube-dl

you-get 是一个视频下载工具。我于五年零一周前（2012年9月7日）在 AUR 打包并维护其 git 版本。当时还是叫 python-you-get-git，后来根据 Arch 官方的推荐，与语言没什么关系的软件不带语言前缀，改名为 you-get-git。

youtube-dl 是另一个差不多同时期出现的视频下载工具，一开始主要针对 YouTube 等跨国网站。

选择 you-get 一部分原因是当时它对国内网站的支持更好，另一方面也是支持国产。但是今天，我决定放弃 you-get 了。

五年来，我一直是支持 you-get 的。也尝试过向其贡献代码。目前已经有29个提交被合并，排名第五位。基本上都是一些很小的修改，比如编码问题、未回收的僵尸进程、标题的反转义、ffmpeg 命令的特殊字符转义、支持 python -m 调用、视频链接的解析更新和扩充、进度条的修正和优化，等等。

其实这些年来，我一直想做更多事：

可选地使用 requests 库，以提高解析速度，改善用户体验
支持使用 aria2c 下载视频链接
支持网易云课堂的更高清晰度的未内嵌字幕的视频（pr#1002）
解析更准确的信息
一些其它网站的解析器（比如 bilibili 的 bangumi.bilibili.com 子域）

但是，其中很多都没能完成。勉强完成的也很奇怪：明明是针对网易云课堂的解析，我还非得关心网易云音乐。一直以来，我对 you-get 的修改都是事倍功半。我也曾尝试过更深入的修改，但是牵一发而动全身，往往要改就得改很大很大一部分代码，然后完全没有办法保证其正确性。就像今天的事情一样。

我花了数小时的时间，牺牲睡眠，把命令行选项解析由 getopt 改成了 argparse（pr#2260）。促使我做此修改的原因是，我想下载 bilibili 一整个播放列表的视频。我记得 you-get 有下载整个播放列表的功能。但是我读了好几遍 help 信息，都没有找到那个选项。我记错了吗？阅读源码之后，我终于找到了那个选项。同时，我也看到了在 C 和 bash 代码里经常看到的，一长串 if/else 来解析命令行选项。翻了好几屏。

当一个相对独立的代码片断翻屏时，bug 数量会骤增。

曾经在公司里遇到过一个 case，非常直接地证明这句论断是有多么正确。那个函数刚好超过一屏数行，而在第二屏的那部分代码，有个「}」和「return」的顺序写反了。我也是拿 Vim 的匹配括号跳转功能才发现的。

当然了，不管怎样的代码，不动它是不会出新问题的。然而我动了它。回报我的是两个局部变量名忘记改了：pr#2346、pr#2355。

这种问题在 nvchecker 重构以支持 aiohttp 时并没有发生。为什么呢？我们有测试。如此明显的问题，只要 cover 了必然会发现。所以我可以放心大胆地重构。

you-get 呢？you-get 也有测试。我在提交 pull requests 之后有个习惯：盯着未完成的测试，直到它变绿。如果红了，赶紧看看是不是自己代码的问题，是就赶紧修掉。一些项目（比如 Tornado）的测试本地跑起来要配置环境、装不少东西，太麻烦了，所以我习惯先提了 pr，然后等 Travis-CI 的结果。可这次，测试过了。但是有两个重要的功能却并不能正常工作。

其实呢，对于这种简单的错误，通常 linter 会告诉我的。我有装 neomake，全面支持各种 linter，用起来十分惬意。但 pylint……就像 jslint 一样，我很讨厌它们。因为它们不仅检查潜在的问题，同时还检查代码风格。而代码风格这事是每个项目单独配置的，而不是开发者自己配置好，然后让自己参与的所有开源项目都遵守。不过今天我也终于知道了另一个 Python linter——pyflakes 很对我的味口：只管问题，不管风格。

总之呢，由于各种原因，重写中出了这么两个直接立刻让用户不能用的 bug。很抱歉。一般来说，出错了就改呗。更深入一些，分析一下为什么会出现这种错误，今后怎么避免同样的错误两次出现（早年向 Tornado 提交代码时，Ben Darnell 一个简单的行为教会了我一件事：修了 bug 就写个对应的测试）。但是 you-get 的协作者 rosynirvana 不按惯例来，反而要求放弃此修改。如果就如此也就算了，后续讨论中我意识到了一个真相——为什么我在 you-get 上的工作如此困难？

The best part of you-get is that it's not so pythonic so those who only know js or as3 can take part in, moving from the universal getopt to a py-domain-specific library cannot be a nice idea.

source

What library nowaday pythonists love do not really matter here because those one know js and as3 can contribute even more in this project.

source

因为 you-get 根本就是反 Pythoner 的！作为一个 Python 项目，you-get 想要吸引的是 JavaScript 和 ActionScript 3 开发者！

我很震惊。

作为 Python 开发者，我已被他们刻意排斥在外。
作为 JavaScript 开发者，我还是觉得 C 好难写，还是 pythonic 的代码比较好维护啊。
作为 C 开发者，我倒是对这种长达数屏的作用域见怪不怪了。不过重复的逻辑，咱一般会用宏之类的手段给整成声明式的啊。

所以，我的努力注定不会有多少效果。

然后，我看了一眼 youtube-dl。其实就瞟了一眼，也没看出太多东西来，但是

按 URL 进行正则匹配的，网易云音乐和网易云课堂可以分开处理了！
解析器以 class 表达，有组织有纪律！不用用 Python 的语法写 C 了！

我 disown 了 AUR 和 [archlinuxcn] 里的 you-get-git 包。关闭了未完成的 issue 和 feature pr。等修复 argparse 引入的错误的 pr 被合并（不管是只修正问题还是退回到 getopt），事一了，我就删掉仓库，只保留网易云课堂的高清视频解析代码（花了我一整天的）。已安装的 you-get 暂时保留，但首选 youtube-dl，遇到问题有时间就去修一下。已经投入到 you-get 的时间是沉没成本，不必留恋。

Category: python | Tags: python 编程软件开发

9
11
2017

等连上互联网之后再来找我吧

最近公司弄了 Wi-Fi 登录。就是那个叫 captive portal 的东西。

Android 早就会在连接 Wi-Fi 时检测网络是不是要登录了，为此 Google 弄了个 /generate_204 的 URL。小米、高通、USTC、v2ex 也都提供了这个东西，方便广大中国大陆 Android 用户使用。（我发现我的 Android 使用的是高通的地址，没有用 Google 的。）

但我使用的 Arch Linux 自行开发的 netctl 网络管理工具没这种功能。火狐倒是不知道什么时候加上了，不过使用的地址 http://detectportal.firefox.com/success.txt 是返回 200 的。

所以我启动火狐就可以看到要登录的提示了。然而问题是，其它程序不知道要登录啊。像 offlineimap、openvpn、rescuetime 这种还好，会自己重试。可每次网络需要登录的时候 dcron 就会给我发一堆邮件告诉我我的 git pull 都失败了……当然还有我老早就注意到的 pkgstats，经常会因为启动过早而无法发送统计数据。

所以呢，得想个办法，等连上互联网之后再跑那些脚本啊服务什么的。

检测是不是连好了很简单，不断尝试就可以了。但我需要一个系统级的 Condition 对象来通知等待方可以继续了。然而我只知道 Linux 有提供信号量。难道要自己弄共享内存来用么？

去 #archlinux-cn 问了一下，farseerfc 说试试命名管道。我想了想，还真可以。只有读端的时候进程就会阻塞，一旦有写端就能成功打开了。当然没有读端的打开写端会打不开，不过没关系，反正这进程也不能退出，得一直拿着这个文件描述符。

没想到很少用到的命名管道有意想不到的用法呢。我以前还为了不阻塞而专门写了篇文章呢。

于是负责检测网络连通的 check-online 和等待网络连好的 wait-online 都写好了。

check-online 应当是个服务。那就交给 systemd 吧。然后……systemd 不是有个 network-online.target 么？正好可以让 check-online 来达成这个目标呢，多合适呀。

于是服务写好了。测试了几天，大成功！不仅 wait-online 很好地工作了，而且我发现 openvpn 和 pkgstats 自动排到 network-online.target 后边去了。nginx 的 OSCP staple 经常因为 DNS 失败而无法成功，我也可以在联好网之后去 reload 一下它了。（不是强依赖，我可不希望连不上网的时候我本地的 wiki 也访问不了。）

整个项目就叫作 wait-online，在 GitHub 上，欢迎送小星星哦～Arch Linux 包可以从 [archlinuxcn] 仓库安装 wait-online-git 包。

Category: Linux | Tags: Arch Linux python systemd 网络 fifo linux

« 上一页 1 2 3 4 5 6 7 8 下一页 »