単語 n-gram カウンターと Tokyo Cabinet

単語 n-gram カウンターを作った。
今のところ、高速化のためのアルゴリズムを考えるほど手間をかける部分じゃないが、Hash で単にカウントするだけだと少し待たされる。

そこで Tokyo Cabinet を使ったら、1/5 くらいの速さになった(単語数約 5 万)。
http://gist.github.com/634199