NLP

YamChaとかMeCabとか使って顔文字抽出

NLP

概要 Ruby,YamCha,MeCabで顔文字抽出を作りました。前に情報特別演習(筑波大学の実践的な授業)でやっていたものより精度が良かったので、こっちを先に公開します。先に言っておくと、残念ながら私のオリジナルではありません。

TRIE木全体を1つの論理式で表す

あらすじ reTRIEval treeの名の通り、恐るべき検索効率を誇るTRIE木。これをPrologで実装しようとした所、最終的には「単語集合を1つの節に変換するRubyのスクリプト」ができあがったので、記録として書いておきます。なお、この記事はTRIE木もRubyもProlog…

顔文字をMeCabで形態素解析する

NLP

顔文字を形態素解析? テキストコミュニケーションにおける「身振り手振り言語」とも言われる顔文字は、目・鼻・口などの顔のパーツから構成されています。ところで顔文字をパーツごとに分割し、パーツの種類(品詞)を推定するというタスクは、形態素解析と…

Rubyで半角カタカナを全角カタカナに、全角英数字を半角英数字に変換する

はじめに 相変わらずNLPというよりは文字列処理ですね。内部的にnkfを呼び出します。OSはMac OS X 10.6.7、バージョンは1.9.2, 1.8.7にて確認しました。

銀河変換というものを作ってます

概要 銀河変換とは、日本語の文章を銀河日本語に変換する作業のことです。 自然言語処理を勉強しようと思ってMeCabで遊んでいたら、脇道にそれまして、その産物がこれです。 以下の詳しくは実行例を見てください。 PerlとMeCabを使っています。 文字列処理と…