ラズパイ 読む時間 約10分

ラズパイに MeCab をインストールして、文章を単語に分ける API にする:sudo なし・pip だけで、家の LAN から使える形まで

日本語の文章を単語に分ける形態素解析の MeCab を、ラズパイに pip だけでインストールして、家の LAN の中から http で呼べる API にする手順です。品詞・原形・読みと、名詞の数を返します。Raspberry Pi 3 で 1 秒に約 20 万文字・メモリー 34MB でした。

ラズパイの MeCab を API にする:sudo なし・pip だけで家の LAN から文章を単語に。POST /api/parse で「ラズパイで環境を作りました。」を送ると、ラズパイ(名詞)・環境(名詞)・作り(動詞・原形は作る)。Pi 3 で 1 秒に約 20 万文字・34MB

日本語の文章は、英語とちがって単語のあいだに空白がありません。「ラズパイで環境を作りました」を、コンピューターは 1 つの長い文字の並びとしてしか見られません。単語に分けて、それぞれが名詞か動詞か、元の形は何かまで分かれば、文章を数えたり、くらべたり、決まった言葉を探したりできるようになります。この単語に分ける処理を形態素解析といい、日本語では MeCab(メカブ)がよく使われています。

この記事では、ラズパイに MeCab をインストールして、家の LAN の中のどのプログラムからでも呼べる API にするところまでを作ります。この記事の手順では sudo(管理者の権限)を使わず、Python の仮想環境に pip でインストールするだけです。使い方(似た記事を探す・文章の決まりを点検する・ページの変わった言葉を出す など)は、次の記事から紹介していく予定です。

この記事の前にできていること

  • ラズパイに PC から SSH で接続できる(第 3 回まで)
  • Python の仮想環境の部品(python3-venv)がインストールされている(スクレイピングの記事の手順 A でインストールしたもの。まだなら sudo apt-get install -y python3-venv。ないまま手順 A を進めると「ensurepip is not available」と出ます)

この記事でできるようになること

  • ラズパイで、文章を単語に分け、品詞・原形・読みを出す
  • PC やほかのプログラムから、http で文章を送ると、単語の一覧や名詞の数が返ってくる
  • 辞書にない言葉(「ラズパイ」など)を、1 つの言葉として扱う

形態素解析で分かること

「ラズパイで自分だけのスクレイピング環境を作りました。」を MeCab に渡すと、次のように分かれます(この記事の手順 B の結果の、主なもの)。

文章の中の形 品詞・原形
自分 名詞・自分
だけ 助詞・だけ
環境 名詞・環境
作り 動詞・作る
まし 助動詞・ます

「作り」の元の形が「作る」だと分かるので、「作る・作った・作りました」をまとめて数えたり探したりできます。名詞だけを取り出せば、その文章が何の話かも見えてきます。

仕組みの形

  • fugashi:MeCab を Python から使うためのライブラリ。ラズパイ(64 ビット)用のビルド済みのものがあるので、ビルドは要りません
  • unidic-lite:MeCab が使う辞書(ダウンロードは約 50MB・インストールすると約 250MB)。pip で一緒にインストールされます
  • nlp_api.py:この記事で作る API。受け口は Python の標準ライブラリ(http.server)で作り、言葉を分けるところだけ fugashi を使います

ラズパイの中に置いておけば、PC を起動していなくても、ほかのラズパイのプログラム(スクレイピングなど)や PC から、いつでも呼べます。料金もかかりません。

用意するもの

  • ラズパイ:家では Raspberry Pi 3 Model B(メモリー 1GB)で動いています。OS は 64 ビットのもの(第 2 回の Raspberry Pi OS Lite(64-bit))。getconf LONG_BIT で 64 と出ることを見ておきます。32 ビットの OS では、ビルド済みのものがないため、この手順ではインストールできません(Pi 4・Pi 5 の 64 ビットの OS は同じ手順で進められます)
  • microSD の空き:300MB ほど(仮想環境と辞書で 265MB でした)

手順 A:仮想環境を作って、MeCab と辞書をインストールする

mkdir -p ~/nlp && cd ~/nlp
python3 -m venv .venv
.venv/bin/pip install "fugashi[unidic-lite]"

家のラズパイでは、50 秒ほどで完了しました(辞書の 47.7MB のダウンロードがほとんど)。Successfully installed fugashi-… unidic-lite-… と出れば成功です。

手順 B:文章を単語に分けてみる

次の内容で、~/nlp/try_mecab.py を作ります。

# MeCab(fugashi)で、文章を単語に分けてみる
from fugashi import Tagger

tagger = Tagger()
text = "ラズパイで自分だけのスクレイピング環境を作りました。"
for w in tagger(text):
    print(w.surface, w.feature.pos1, w.feature.lemma, sep="\t")
cd ~/nlp
.venv/bin/python try_mecab.py

表示の例(実行すると、1 行に「文章の中の形・品詞・原形」がタブで区切って出ます)

文章の中の形 品詞 原形
ラズ 名詞 ラズ-外国
パイ 名詞 パイ-pie
で 助詞 で
自分 名詞 自分
だけ 助詞 だけ
の 助詞 の
スクレイピング 名詞 None
環境 名詞 環境
を 助詞 を
作り 動詞 作る
まし 助動詞 ます
た 助動詞 た
。 補助記号 。
  • 「作り」の原形が「作る」になっています。
  • 「ラズパイ」は「ラズ」と「パイ」に分かれてしまいました。辞書にない言葉だからです(手順 D で 1 つにまとめます)。
  • 「スクレイピング」も辞書になく、原形が None(なし)になりました。

手順 C:API にする

ほかのプログラムからも使えるように、http で文章を受け取って、結果を JSON で返す API にします。次の内容で ~/nlp/nlp_api.py を作ります。

#!/usr/bin/env python3
# -*- coding: utf-8 -*-
"""
MeCab(fugashi+unidic-lite)で文章を単語に分ける、家の LAN の中だけの API

使い方:~/nlp/.venv/bin/python ~/nlp/nlp_api.py   … http://(ラズパイの IP):8095/ で待ち受ける
  POST /api/parse  {"text": "文章"}               → 単語ごとの 表記・品詞・原形・読み
  POST /api/nouns  {"text": "文章", "top": 20}    → 名詞だけを数えた一覧(多い順)
  GET  /api/health                                → 動いているか({"ok": true})
Python の標準の部品と fugashi だけで動く。
"""
import collections
import json
import os
import threading
import time
from http.server import BaseHTTPRequestHandler, ThreadingHTTPServer

from fugashi import Tagger

PORT = 8095
MAX_BYTES = 200_000  # 1 回に受け取る文章の上限(200KB・大きすぎる文章でラズパイを止めないため)
HERE = os.path.dirname(os.path.abspath(__file__))
tagger = Tagger()
LOCK = threading.Lock()  # MeCab の Tagger は 1 つを同時に使わない


def load_words():
    """words.txt に 1 行 1 語で書いた言葉(辞書にない言葉)。分かれてしまったら 1 つの名詞にまとめる"""
    path = os.path.join(HERE, "words.txt")
    if not os.path.exists(path):
        return set()
    with open(path, encoding="utf-8") as f:
        return {l.strip() for l in f if l.strip() and not l.startswith("#")}


WORDS = load_words()


def parse(text):
    out = []
    with LOCK:
        words = [(w.surface, w.feature) for w in tagger(text)]
    for surface, f in words:
        out.append({
            "surface": surface,              # 文章の中の形
            "pos": f.pos1,                     # 品詞(名詞・動詞 など)
            "pos2": f.pos2,                    # 品詞の細かい分け(固有名詞・普通名詞 など)
            "lemma": f.lemma.split("-")[0] if f.lemma else surface,  # 原形(「パイ-pie」→「パイ」・辞書にない言葉はそのままの形)
            "reading": f.kana or "",           # 読み(カタカナ)
        })
    return join_words(out)


def join_words(tokens):
    """続いた 2〜4 語をつなげたものが words.txt にあれば、1 つの名詞にまとめる(例:ラズ+パイ → ラズパイ)"""
    out, i = [], 0
    while i < len(tokens):
        for n in (4, 3, 2):
            part = tokens[i:i + n]
            word = "".join(t["surface"] for t in part)
            if len(part) == n and word in WORDS:
                out.append({"surface": word, "pos": "名詞", "pos2": "固有名詞", "lemma": word,
                            "reading": "".join(t["reading"] for t in part)})
                i += n
                break
        else:
            out.append(tokens[i])
            i += 1
    return out


def nouns(text, top):
    words = [t["lemma"] for t in parse(text) if t["pos"] == "名詞" and t["pos2"] != "数詞"]
    return collections.Counter(words).most_common(top)


class Handler(BaseHTTPRequestHandler):
    timeout = 10  # 送ってくる途中で止まった相手を、10 秒で切る

    def send_json(self, code, body):
        data = json.dumps(body, ensure_ascii=False).encode("utf-8")
        self.send_response(code)
        self.send_header("Content-Type", "application/json; charset=utf-8")
        self.send_header("Content-Length", str(len(data)))
        self.end_headers()
        self.wfile.write(data)

    def do_GET(self):
        if self.path == "/api/health":
            return self.send_json(200, {"ok": True})
        self.send_json(404, {"error": "POST /api/parse か /api/nouns を使ってください"})

    def do_POST(self):
        try:
            size = int(self.headers.get("Content-Length") or 0)
        except ValueError:
            size = -1
        if size <= 0:
            return self.send_json(400, {"error": "JSON の {\"text\": \"文章\"} で送ってください"})
        if size > MAX_BYTES:
            return self.send_json(413, {"error": "文章は 1 回 %d バイトまでです" % MAX_BYTES})
        try:
            req = json.loads(self.rfile.read(size).decode("utf-8-sig"))  # メモ帳などの BOM つきも受け取る
            text = str(req.get("text", ""))
            top = max(1, min(int(req.get("top", 20) or 20), 200))
        except (ValueError, TypeError, UnicodeDecodeError, AttributeError):
            return self.send_json(400, {"error": "JSON の {\"text\": \"文章\"} で送ってください"})
        t0 = time.time()
        if self.path == "/api/parse":
            body = {"tokens": parse(text)}
        elif self.path == "/api/nouns":
            body = {"nouns": [{"word": w, "count": n} for w, n in nouns(text, top)]}
        else:
            return self.send_json(404, {"error": "POST /api/parse か /api/nouns を使ってください"})
        body["ms"] = round((time.time() - t0) * 1000, 1)
        self.send_json(200, body)

    def log_message(self, fmt, *args):
        pass  # 文章の内容をログに残さない


if __name__ == "__main__":
    ThreadingHTTPServer(("0.0.0.0", PORT), Handler).serve_forever()

書き方と役目

  • POST /api/parse:文章を単語に分けて、1 語ずつ「文章の中の形・品詞・細かい品詞・原形・読み」を返す
  • POST /api/nouns:名詞だけを原形で数えて、多い順に返す(数字は外す)。top で何位まで返すかを決める
  • MAX_BYTES・timeout = 10:1 回に受け取る文章は 200KB まで。送ってくる途中で止まった相手は 10 秒で切る。形のおかしいリクエストには 400 を返す(ラズパイの処理が止まらないように)
  • LOCK:MeCab は 1 つを同時に使う作りではないので、同時に呼ばれても 1 つずつ分ける
  • log_message:送られた文章の内容をログに残さない
  • join_words():手順 D の words.txt の言葉が分かれていたら、1 つの名詞にまとめる
  • utf-8-sig:メモ帳などで保存した、頭に BOM の付いた JSON も受け取る

手順 D:辞書にない言葉を 1 つにまとめる

「ラズパイ」のように分かれてしまう言葉を、~/nlp/words.txt に 1 行に 1 つ書いておきます。API は起動するときに読み込み、続いた 2〜4 語をつなげたものが一覧にあれば、1 つの名詞にします。「SiteBeacon」「スクレイピング」のように、もともと 1 語で出る言葉は書かなくて大丈夫です。

# 辞書にない言葉(分かれてしまう言葉)を 1 行に 1 つ。API を起こし直すと読み込む
ラズパイ
ホームページ
サイトビーコン

MeCab には、自分の言葉を足す「ユーザー辞書」の仕組みもありますが、辞書を作る手順が別に要ります。この記事では、手軽な「まとめる言葉の一覧」にしました。言葉を足したら、手順 E の restart.sh で API を起こし直します。

手順 E:起動して、PC から呼ぶ

起こし直しのための小さなスクリプトを作ります。動いていれば止めてから、裏で起動し、番号(PID)を api.pid に残します。

#!/bin/bash
# MeCab の API を起こし直す(動いていれば止めてから・PID は api.pid に残す)
cd "$(dirname "$0")"
# api.pid の番号が、本当にこの API のときだけ止める(再起動のあと、同じ番号が別のプログラムになっていることがあるため)
if [ -f api.pid ] && grep -q nlp_api.py "/proc/$(cat api.pid)/cmdline" 2>/dev/null; then kill "$(cat api.pid)"; sleep 1; fi
nohup .venv/bin/python nlp_api.py >> api.log 2>&1 &
echo $! > api.pid
chmod +x ~/nlp/restart.sh
~/nlp/restart.sh
curl -s http://127.0.0.1:8095/api/health

{"ok": true} と出れば動いています。PC から呼ぶときは、日本語の文章を UTF-8 のファイル(例:req.json)に {"text": "ラズパイで自分だけのスクレイピング環境を作りました。"} のように書いて送ります(コマンドの中に日本語を直接書くと、Windows では文字化けすることがあるため)。req.json は、メモ帳に 1 行を書き、保存のときに文字コードを UTF-8 にして作れます。192.168.1.50 は、ラズパイの IP アドレスに変えます。

$body = [System.IO.File]::ReadAllBytes("$PWD/req.json")
$r = Invoke-RestMethod -Uri http://192.168.1.50:8095/api/nouns -Method Post -ContentType "application/json; charset=utf-8" -Body $body
$r.nouns | Select-Object -First 5 | ForEach-Object { "$($_.word) $($_.count)" }
ラズパイ 1
自分 1
スクレイピング 1
環境 1

「ラズパイ」が 1 つの言葉として数えられています。

返ってくる JSON の例

API に送るのは {"text": "文章"} の JSON です。返ってくる JSON は、次の形です(家のラズパイに送った本物の返事・ms は分けるのにかかった時間〔ミリ秒〕)。

/api/parse:「ラズパイで自分だけのスクレイピング環境を作りました。」を送ったとき。1 語ごとに、文章の中の形(surface)・品詞(pos・pos2)・原形(lemma)・読み(reading)が返ります。

{
  "tokens": [
    {"surface": "ラズパイ", "pos": "名詞", "pos2": "固有名詞", "lemma": "ラズパイ", "reading": "ラズパイ"},
    {"surface": "で", "pos": "助詞", "pos2": "格助詞", "lemma": "で", "reading": "デ"},
    {"surface": "自分", "pos": "名詞", "pos2": "普通名詞", "lemma": "自分", "reading": "ジブン"},
    …(だけ・の・スクレイピング・環境・を)
    {"surface": "作り", "pos": "動詞", "pos2": "一般", "lemma": "作る", "reading": "ツクリ"},
    …(まし・た・。)
  ],
  "ms": 1.2
}

「作り」の原形が「作る」になっているので、「作った」「作ります」も同じ言葉として数えられます。辞書にない「スクレイピング」は、読みが空になります。

/api/nouns:「ラズパイで通知を作りました。ラズパイの通知は声とLINEで届きます。通知の音も選べます。」を "top": 5 で送ったとき。名詞だけを、多い順に数えて返します。

{
  "nouns": [
    {"word": "通知", "count": 3},
    {"word": "ラズパイ", "count": 2},
    {"word": "声", "count": 1},
    {"word": "LINE", "count": 1},
    {"word": "音", "count": 1}
  ],
  "ms": 6.3
}

手順 F:ラズパイの起動のときに、自分で動き出すようにする

ラズパイを再起動したときにも API が動くように、crontab に 1 行足します(crontab -e)。家のラズパイで再起動して、起動の約 40 秒あとに API が動き出すことを確認しました。

@reboot sleep 40 && $HOME/nlp/restart.sh

起動の 40 秒あとに動かすのは、起動のときのほかの処理が落ち着くのを待つためです。restart.sh は、api.pid の番号が本当にこの API のときだけ止めます(再起動のあとは、同じ番号が別のプログラムになっていることがあるため)。

止まったときに自動で起動し直す形は、セルフチェックと自己再生の記事の設定ファイルに、次のように足せば使えます(こちらを使うなら、crontab の 1 行はなくても動きます)。

{"name": "MeCab の API", "keepalive": {"url": "http://127.0.0.1:8095/api/health", "start": ["~/nlp/restart.sh"], "cwd": "~/nlp", "wait": 5}}

試した結果

見たこと 結果(Raspberry Pi 3 Model B)
インストール 50 秒・仮想環境と辞書で 265MB
速さ 1,260 文字の文章を 100 回分けて 0.62 秒(1 秒に約 20 万文字)
メモリー 34MB
API の返事 短い文章 2〜4ms・記事 1 本(約 1 万文字)の名詞の数え 約 0.2 秒

メモリー 1GB の Pi 3 でも、スクレイピングなどほかの処理と一緒に、軽く動かせました。記事 1 本の名詞を数えると、たとえば SiteBeacon の声の記事では「メール 38・声 32・SiteBeacon 29・ホームページ 21・ラズパイ 17」のように、何の話の記事かが数字で見えます。

セキュリティの考え方

  • API は 0.0.0.0(ラズパイのすべての口)で待ち受けるので、家の LAN の中のどの機械からも、ログインなしで呼べます。VPN(Tailscale など)やゲストの Wi-Fi に接続した機械からも呼べることがあります。ルーターで 8095 番を外に開けないでください。LAN の中だけに絞りたいときは、"0.0.0.0" をラズパイの LAN の IP アドレスにします。そのときは 127.0.0.1 からは接続できなくなるので、手順 E の curl・セルフチェックの keepalive の url・ほかのスクリプトの URL も、同じ IP アドレスに変えます。
  • PC で開いた Web ページから送られることもありえますが、返事はそのページからは読めないので、影響はラズパイの処理が少し増えるだけです。
  • 1 回に受け取る文章は 200KB まで・途中で止まった相手は 10 秒で切ります。送られた文章はログに残しません。
  • sudo を使わず、ラズパイのユーザーの仮想環境(~/nlp/.venv)だけにインストールしています。やめるときは、~/nlp のフォルダーと crontab の 1 行を消せば元に戻ります。

まとめ

この記事でできるようになったこと

ラズパイに文章を送ると、文章の中の単語を MeCab が品詞・原形まで見分けて、単語ごとの回数を返してくれるようになりました。家の LAN の中のどのプログラムからでも、http で呼べます。

pip で 1 行インストールするだけで、この手順では sudo も料金も要りません。

次の記事では、この API を使って、文章の言葉の決まり(使わないと決めた言葉)を、原形と品詞でチェックする仕組みを作ります。そのあと、ブログの似た記事を探して「次に読む」の候補を出すことも試していきます。

次に読む

この記事を書いた人

フリースタイル

Web の仕事 25 年以上。WordPress の保守・引っ越しと、PHP の業務の仕組みづくり。 プロフィール →

まずは、お気軽にご相談ください。

相談と見積りは無料です。急ぎのときは、フォームで「急ぎ」を選んでください。