4
11
2016
19

MongoDB 到底要吃多少内存？

发现一只32G内存的服务器，上边跑了几个 sharding 模式的 mongod，把内存吃到只剩下4G，8G swap 更是丁点不剩。

我见过吃内存的 mongod，可没见过大胃口的 mongod 啊。不过以前我也没怎么见到在这么大内存的机器上跑的 mongod。不过不管如何，把 swap 全吃掉总归是不对的。

于是翻了翻 mongodb 源码，发现出现这种情况还真是机器的配置的问题。代码里有这么一段（在 GitHub 上的位置）：

        if (cacheSizeGB == 0) {
            // Since the user didn't provide a cache size, choose a reasonable default value.
            // We want to reserve 1GB for the system and binaries, but it's not bad to
            // leave a fair amount left over for pagecache since that's compressed storage.
            ProcessInfo pi;
            double memSizeMB = pi.getMemSizeMB();
            if (memSizeMB > 0) {
                double cacheMB = (memSizeMB - 1024) * 0.6;
                cacheSizeGB = static_cast<size_t>(cacheMB / 1024);
                if (cacheSizeGB < 1)
                    cacheSizeGB = 1;
            }
        }

大概这就是决定它自己要用多少内存的代码了。先留出1G，然后再留出40%，剩下的能吃就吃！于是，好几只 mongod 开始抢食了！默认vm.swappiness=60的内核看到内存快用完了，于是开始往 swap 挪。结果造成内核挪多少，mongod 吃多少……

这种情况在机器内存少的时候没有出现，大概是因为内存少的时候，mongod 留出的比例比较高，内核就没那么卖力地把数据往 swap 上挪了。而且这次是好几只 mongod 哄抢呢。

Category: 网络 | Tags: 数据库 linux mongodb
11
28
2011
7

弄了个支持 readline 的 MongoDB shell

不知道怎么搞的，新版 MongoDB 自带的 mongo shell 现在不支持 readline，而且使用一个极简到工作不正常的 linenoise。编译时加上 readline 也没用。虽然内建了简单的历史记录和补全，可是历史记录不能搜索，补全只能像 Vim 命令行默认的那样一个一个切换不能像 bash/zsh 那样全部列出来。这些还不是最令人郁闷的。最让我受不了的问题和十年前的 DOS 版 WPS 里遇到的差不多——当年的 WPS 里删汉字一次只删一半，现在的 mongo shell 里删汉字一次只删三分之一！而且光标定位是错的，按字节算的！

于是乎拿 Python 写了一个 shell。不愧是 Python，内置的东西真不错，不到100行就写好了。不过用到了自己另外的库函数，另外用到了自己的 colorless 程序来高亮显示查询结果。如果不想要 pygments 这个依赖的话，可以用 less 程序代替。以下贴个无高亮版的，高亮版的见 github。

#!/usr/bin/env python3
# vim:fileencoding=utf-8

import sys
import os
from pprint import pprint
import subprocess

from pymongo import Connection
import pymongo.cursor

# 这个模块位于 github 上的 winterpy 仓库的 pylib/cli.py
from cli import repl

import locale
locale.setlocale(locale.LC_ALL, '')
del locale

host = 'localhost'
port = 27017
db = 'test'

def displayfunc(value):
  if isinstance(value, pymongo.cursor.Cursor):
    p = subprocess.Popen(['less', '-RFX'], stdin=subprocess.PIPE,
                        universal_newlines=True)
    pprint(list(value), stream=p.stdin)
    p.stdin.close()
    p.wait()
  else:
    pprint(value)

def main():
  global db
  conn = Connection(host=host, port=port)
  db = conn[db]

  v = globals().copy()
  v.update(locals())
  del v['repl'], v['argv'], v['main'], v['v'], v['host'], v['port']
  del v['displayfunc'], v['subprocess']
  del v['__name__'], v['__cached__'], v['__doc__'], v['__file__'], v['__package__']
  sys.displayhook = displayfunc

  repl(
    v, os.path.expanduser('~/.mongo_history'),
    banner = 'Python MongoDB console',
  )

if __name__ == '__main__':
  argv = sys.argv
  if len(argv) == 2:
    if '/' in argv[1]:
      host, db = argv[1].split('/', 1)
    if ':' in host:
      host, port = host.split(':', 1)
  elif len(argv) == 1:
    pass
  else:
    sys.exit('argument error')

  main()
Category: python | Tags: python MongoDB linenoise readline

Mastodon | Theme: Aeros 2.0 by TheBuckmaker.com