日本語の文章は、英語とちがって単語のあいだに空白がありません。「ラズパイで環境を作りました」を、コンピューターは 1 つの長い文字の並びとしてしか見られません。単語に分けて、それぞれが名詞か動詞か、元の形は何かまで分かれば、文章を数えたり、くらべたり、決まった言葉を探したりできるようになります。この単語に分ける処理を形態素解析といい、日本語では MeCab(メカブ)がよく使われています。
この記事では、ラズパイに MeCab をインストールして、家の LAN の中のどのプログラムからでも呼べる API にするところまでを作ります。この記事の手順では sudo(管理者の権限)を使わず、Python の仮想環境に pip でインストールするだけです。使い方(似た記事を探す・文章の決まりを点検する・ページの変わった言葉を出す など)は、次の記事から紹介していく予定です。
この記事の前にできていること
- ラズパイに PC から SSH で接続できる(第 3 回まで)
- Python の仮想環境の部品(python3-venv)がインストールされている(スクレイピングの記事の手順 A でインストールしたもの。まだなら
sudo apt-get install -y python3-venv。ないまま手順 A を進めると「ensurepip is not available」と出ます)
この記事でできるようになること
- ラズパイで、文章を単語に分け、品詞・原形・読みを出す
- PC やほかのプログラムから、http で文章を送ると、単語の一覧や名詞の数が返ってくる
- 辞書にない言葉(「ラズパイ」など)を、1 つの言葉として扱う
形態素解析で分かること
「ラズパイで自分だけのスクレイピング環境を作りました。」を MeCab に渡すと、次のように分かれます(この記事の手順 B の結果の、主なもの)。
| 文章の中の形 | 品詞・原形 |
|---|---|
| 自分 | 名詞・自分 |
| だけ | 助詞・だけ |
| 環境 | 名詞・環境 |
| 作り | 動詞・作る |
| まし | 助動詞・ます |
「作り」の元の形が「作る」だと分かるので、「作る・作った・作りました」をまとめて数えたり探したりできます。名詞だけを取り出せば、その文章が何の話かも見えてきます。
仕組みの形
- fugashi:MeCab を Python から使うためのライブラリ。ラズパイ(64 ビット)用のビルド済みのものがあるので、ビルドは要りません
- unidic-lite:MeCab が使う辞書(ダウンロードは約 50MB・インストールすると約 250MB)。pip で一緒にインストールされます
- nlp_api.py:この記事で作る API。受け口は Python の標準ライブラリ(http.server)で作り、言葉を分けるところだけ fugashi を使います
ラズパイの中に置いておけば、PC を起動していなくても、ほかのラズパイのプログラム(スクレイピングなど)や PC から、いつでも呼べます。料金もかかりません。
用意するもの
- ラズパイ:家では Raspberry Pi 3 Model B(メモリー 1GB)で動いています。OS は 64 ビットのもの(第 2 回の Raspberry Pi OS Lite(64-bit))。
getconf LONG_BITで 64 と出ることを見ておきます。32 ビットの OS では、ビルド済みのものがないため、この手順ではインストールできません(Pi 4・Pi 5 の 64 ビットの OS は同じ手順で進められます) - microSD の空き:300MB ほど(仮想環境と辞書で 265MB でした)
手順 A:仮想環境を作って、MeCab と辞書をインストールする
mkdir -p ~/nlp && cd ~/nlp
python3 -m venv .venv
.venv/bin/pip install "fugashi[unidic-lite]"
家のラズパイでは、50 秒ほどで完了しました(辞書の 47.7MB のダウンロードがほとんど)。Successfully installed fugashi-… unidic-lite-… と出れば成功です。
手順 B:文章を単語に分けてみる
次の内容で、~/nlp/try_mecab.py を作ります。
# MeCab(fugashi)で、文章を単語に分けてみる
from fugashi import Tagger
tagger = Tagger()
text = "ラズパイで自分だけのスクレイピング環境を作りました。"
for w in tagger(text):
print(w.surface, w.feature.pos1, w.feature.lemma, sep="\t")
cd ~/nlp
.venv/bin/python try_mecab.py
表示の例(実行すると、1 行に「文章の中の形・品詞・原形」がタブで区切って出ます)
| 文章の中の形 | 品詞 | 原形 |
|---|---|---|
| ラズ | 名詞 | ラズ-外国 |
| パイ | 名詞 | パイ-pie |
| で | 助詞 | で |
| 自分 | 名詞 | 自分 |
| だけ | 助詞 | だけ |
| の | 助詞 | の |
| スクレイピング | 名詞 | None |
| 環境 | 名詞 | 環境 |
| を | 助詞 | を |
| 作り | 動詞 | 作る |
| まし | 助動詞 | ます |
| た | 助動詞 | た |
| 。 | 補助記号 | 。 |
- 「作り」の原形が「作る」になっています。
- 「ラズパイ」は「ラズ」と「パイ」に分かれてしまいました。辞書にない言葉だからです(手順 D で 1 つにまとめます)。
- 「スクレイピング」も辞書になく、原形が None(なし)になりました。
手順 C:API にする
ほかのプログラムからも使えるように、http で文章を受け取って、結果を JSON で返す API にします。次の内容で ~/nlp/nlp_api.py を作ります。
#!/usr/bin/env python3
# -*- coding: utf-8 -*-
"""
MeCab(fugashi+unidic-lite)で文章を単語に分ける、家の LAN の中だけの API
使い方:~/nlp/.venv/bin/python ~/nlp/nlp_api.py … http://(ラズパイの IP):8095/ で待ち受ける
POST /api/parse {"text": "文章"} → 単語ごとの 表記・品詞・原形・読み
POST /api/nouns {"text": "文章", "top": 20} → 名詞だけを数えた一覧(多い順)
GET /api/health → 動いているか({"ok": true})
Python の標準の部品と fugashi だけで動く。
"""
import collections
import json
import os
import threading
import time
from http.server import BaseHTTPRequestHandler, ThreadingHTTPServer
from fugashi import Tagger
PORT = 8095
MAX_BYTES = 200_000 # 1 回に受け取る文章の上限(200KB・大きすぎる文章でラズパイを止めないため)
HERE = os.path.dirname(os.path.abspath(__file__))
tagger = Tagger()
LOCK = threading.Lock() # MeCab の Tagger は 1 つを同時に使わない
def load_words():
"""words.txt に 1 行 1 語で書いた言葉(辞書にない言葉)。分かれてしまったら 1 つの名詞にまとめる"""
path = os.path.join(HERE, "words.txt")
if not os.path.exists(path):
return set()
with open(path, encoding="utf-8") as f:
return {l.strip() for l in f if l.strip() and not l.startswith("#")}
WORDS = load_words()
def parse(text):
out = []
with LOCK:
words = [(w.surface, w.feature) for w in tagger(text)]
for surface, f in words:
out.append({
"surface": surface, # 文章の中の形
"pos": f.pos1, # 品詞(名詞・動詞 など)
"pos2": f.pos2, # 品詞の細かい分け(固有名詞・普通名詞 など)
"lemma": f.lemma.split("-")[0] if f.lemma else surface, # 原形(「パイ-pie」→「パイ」・辞書にない言葉はそのままの形)
"reading": f.kana or "", # 読み(カタカナ)
})
return join_words(out)
def join_words(tokens):
"""続いた 2〜4 語をつなげたものが words.txt にあれば、1 つの名詞にまとめる(例:ラズ+パイ → ラズパイ)"""
out, i = [], 0
while i < len(tokens):
for n in (4, 3, 2):
part = tokens[i:i + n]
word = "".join(t["surface"] for t in part)
if len(part) == n and word in WORDS:
out.append({"surface": word, "pos": "名詞", "pos2": "固有名詞", "lemma": word,
"reading": "".join(t["reading"] for t in part)})
i += n
break
else:
out.append(tokens[i])
i += 1
return out
def nouns(text, top):
words = [t["lemma"] for t in parse(text) if t["pos"] == "名詞" and t["pos2"] != "数詞"]
return collections.Counter(words).most_common(top)
class Handler(BaseHTTPRequestHandler):
timeout = 10 # 送ってくる途中で止まった相手を、10 秒で切る
def send_json(self, code, body):
data = json.dumps(body, ensure_ascii=False).encode("utf-8")
self.send_response(code)
self.send_header("Content-Type", "application/json; charset=utf-8")
self.send_header("Content-Length", str(len(data)))
self.end_headers()
self.wfile.write(data)
def do_GET(self):
if self.path == "/api/health":
return self.send_json(200, {"ok": True})
self.send_json(404, {"error": "POST /api/parse か /api/nouns を使ってください"})
def do_POST(self):
try:
size = int(self.headers.get("Content-Length") or 0)
except ValueError:
size = -1
if size <= 0:
return self.send_json(400, {"error": "JSON の {\"text\": \"文章\"} で送ってください"})
if size > MAX_BYTES:
return self.send_json(413, {"error": "文章は 1 回 %d バイトまでです" % MAX_BYTES})
try:
req = json.loads(self.rfile.read(size).decode("utf-8-sig")) # メモ帳などの BOM つきも受け取る
text = str(req.get("text", ""))
top = max(1, min(int(req.get("top", 20) or 20), 200))
except (ValueError, TypeError, UnicodeDecodeError, AttributeError):
return self.send_json(400, {"error": "JSON の {\"text\": \"文章\"} で送ってください"})
t0 = time.time()
if self.path == "/api/parse":
body = {"tokens": parse(text)}
elif self.path == "/api/nouns":
body = {"nouns": [{"word": w, "count": n} for w, n in nouns(text, top)]}
else:
return self.send_json(404, {"error": "POST /api/parse か /api/nouns を使ってください"})
body["ms"] = round((time.time() - t0) * 1000, 1)
self.send_json(200, body)
def log_message(self, fmt, *args):
pass # 文章の内容をログに残さない
if __name__ == "__main__":
ThreadingHTTPServer(("0.0.0.0", PORT), Handler).serve_forever()
書き方と役目
POST /api/parse:文章を単語に分けて、1 語ずつ「文章の中の形・品詞・細かい品詞・原形・読み」を返すPOST /api/nouns:名詞だけを原形で数えて、多い順に返す(数字は外す)。topで何位まで返すかを決めるMAX_BYTES・timeout = 10:1 回に受け取る文章は 200KB まで。送ってくる途中で止まった相手は 10 秒で切る。形のおかしいリクエストには 400 を返す(ラズパイの処理が止まらないように)LOCK:MeCab は 1 つを同時に使う作りではないので、同時に呼ばれても 1 つずつ分けるlog_message:送られた文章の内容をログに残さないjoin_words():手順 D の words.txt の言葉が分かれていたら、1 つの名詞にまとめるutf-8-sig:メモ帳などで保存した、頭に BOM の付いた JSON も受け取る
手順 D:辞書にない言葉を 1 つにまとめる
「ラズパイ」のように分かれてしまう言葉を、~/nlp/words.txt に 1 行に 1 つ書いておきます。API は起動するときに読み込み、続いた 2〜4 語をつなげたものが一覧にあれば、1 つの名詞にします。「SiteBeacon」「スクレイピング」のように、もともと 1 語で出る言葉は書かなくて大丈夫です。
# 辞書にない言葉(分かれてしまう言葉)を 1 行に 1 つ。API を起こし直すと読み込む
ラズパイ
ホームページ
サイトビーコン
MeCab には、自分の言葉を足す「ユーザー辞書」の仕組みもありますが、辞書を作る手順が別に要ります。この記事では、手軽な「まとめる言葉の一覧」にしました。言葉を足したら、手順 E の restart.sh で API を起こし直します。
手順 E:起動して、PC から呼ぶ
起こし直しのための小さなスクリプトを作ります。動いていれば止めてから、裏で起動し、番号(PID)を api.pid に残します。
#!/bin/bash
# MeCab の API を起こし直す(動いていれば止めてから・PID は api.pid に残す)
cd "$(dirname "$0")"
# api.pid の番号が、本当にこの API のときだけ止める(再起動のあと、同じ番号が別のプログラムになっていることがあるため)
if [ -f api.pid ] && grep -q nlp_api.py "/proc/$(cat api.pid)/cmdline" 2>/dev/null; then kill "$(cat api.pid)"; sleep 1; fi
nohup .venv/bin/python nlp_api.py >> api.log 2>&1 &
echo $! > api.pid
chmod +x ~/nlp/restart.sh
~/nlp/restart.sh
curl -s http://127.0.0.1:8095/api/health
{"ok": true} と出れば動いています。PC から呼ぶときは、日本語の文章を UTF-8 のファイル(例:req.json)に {"text": "ラズパイで自分だけのスクレイピング環境を作りました。"} のように書いて送ります(コマンドの中に日本語を直接書くと、Windows では文字化けすることがあるため)。req.json は、メモ帳に 1 行を書き、保存のときに文字コードを UTF-8 にして作れます。192.168.1.50 は、ラズパイの IP アドレスに変えます。
$body = [System.IO.File]::ReadAllBytes("$PWD/req.json")
$r = Invoke-RestMethod -Uri http://192.168.1.50:8095/api/nouns -Method Post -ContentType "application/json; charset=utf-8" -Body $body
$r.nouns | Select-Object -First 5 | ForEach-Object { "$($_.word) $($_.count)" }
ラズパイ 1
自分 1
スクレイピング 1
環境 1
「ラズパイ」が 1 つの言葉として数えられています。
返ってくる JSON の例
API に送るのは {"text": "文章"} の JSON です。返ってくる JSON は、次の形です(家のラズパイに送った本物の返事・ms は分けるのにかかった時間〔ミリ秒〕)。
/api/parse:「ラズパイで自分だけのスクレイピング環境を作りました。」を送ったとき。1 語ごとに、文章の中の形(surface)・品詞(pos・pos2)・原形(lemma)・読み(reading)が返ります。
{
"tokens": [
{"surface": "ラズパイ", "pos": "名詞", "pos2": "固有名詞", "lemma": "ラズパイ", "reading": "ラズパイ"},
{"surface": "で", "pos": "助詞", "pos2": "格助詞", "lemma": "で", "reading": "デ"},
{"surface": "自分", "pos": "名詞", "pos2": "普通名詞", "lemma": "自分", "reading": "ジブン"},
…(だけ・の・スクレイピング・環境・を)
{"surface": "作り", "pos": "動詞", "pos2": "一般", "lemma": "作る", "reading": "ツクリ"},
…(まし・た・。)
],
"ms": 1.2
}
「作り」の原形が「作る」になっているので、「作った」「作ります」も同じ言葉として数えられます。辞書にない「スクレイピング」は、読みが空になります。
/api/nouns:「ラズパイで通知を作りました。ラズパイの通知は声とLINEで届きます。通知の音も選べます。」を "top": 5 で送ったとき。名詞だけを、多い順に数えて返します。
{
"nouns": [
{"word": "通知", "count": 3},
{"word": "ラズパイ", "count": 2},
{"word": "声", "count": 1},
{"word": "LINE", "count": 1},
{"word": "音", "count": 1}
],
"ms": 6.3
}
手順 F:ラズパイの起動のときに、自分で動き出すようにする
ラズパイを再起動したときにも API が動くように、crontab に 1 行足します(crontab -e)。家のラズパイで再起動して、起動の約 40 秒あとに API が動き出すことを確認しました。
@reboot sleep 40 && $HOME/nlp/restart.sh
起動の 40 秒あとに動かすのは、起動のときのほかの処理が落ち着くのを待つためです。restart.sh は、api.pid の番号が本当にこの API のときだけ止めます(再起動のあとは、同じ番号が別のプログラムになっていることがあるため)。
止まったときに自動で起動し直す形は、セルフチェックと自己再生の記事の設定ファイルに、次のように足せば使えます(こちらを使うなら、crontab の 1 行はなくても動きます)。
{"name": "MeCab の API", "keepalive": {"url": "http://127.0.0.1:8095/api/health", "start": ["~/nlp/restart.sh"], "cwd": "~/nlp", "wait": 5}}
試した結果
| 見たこと | 結果(Raspberry Pi 3 Model B) |
|---|---|
| インストール | 50 秒・仮想環境と辞書で 265MB |
| 速さ | 1,260 文字の文章を 100 回分けて 0.62 秒(1 秒に約 20 万文字) |
| メモリー | 34MB |
| API の返事 | 短い文章 2〜4ms・記事 1 本(約 1 万文字)の名詞の数え 約 0.2 秒 |
メモリー 1GB の Pi 3 でも、スクレイピングなどほかの処理と一緒に、軽く動かせました。記事 1 本の名詞を数えると、たとえば SiteBeacon の声の記事では「メール 38・声 32・SiteBeacon 29・ホームページ 21・ラズパイ 17」のように、何の話の記事かが数字で見えます。
セキュリティの考え方
- API は 0.0.0.0(ラズパイのすべての口)で待ち受けるので、家の LAN の中のどの機械からも、ログインなしで呼べます。VPN(Tailscale など)やゲストの Wi-Fi に接続した機械からも呼べることがあります。ルーターで 8095 番を外に開けないでください。LAN の中だけに絞りたいときは、
"0.0.0.0"をラズパイの LAN の IP アドレスにします。そのときは 127.0.0.1 からは接続できなくなるので、手順 E の curl・セルフチェックの keepalive の url・ほかのスクリプトの URL も、同じ IP アドレスに変えます。 - PC で開いた Web ページから送られることもありえますが、返事はそのページからは読めないので、影響はラズパイの処理が少し増えるだけです。
- 1 回に受け取る文章は 200KB まで・途中で止まった相手は 10 秒で切ります。送られた文章はログに残しません。
- sudo を使わず、ラズパイのユーザーの仮想環境(~/nlp/.venv)だけにインストールしています。やめるときは、~/nlp のフォルダーと crontab の 1 行を消せば元に戻ります。
まとめ
この記事でできるようになったこと
ラズパイに文章を送ると、文章の中の単語を MeCab が品詞・原形まで見分けて、単語ごとの回数を返してくれるようになりました。家の LAN の中のどのプログラムからでも、http で呼べます。
pip で 1 行インストールするだけで、この手順では sudo も料金も要りません。
次の記事では、この API を使って、文章の言葉の決まり(使わないと決めた言葉)を、原形と品詞でチェックする仕組みを作ります。そのあと、ブログの似た記事を探して「次に読む」の候補を出すことも試していきます。
次に読む
- ラズパイで自分だけのスクレイピング環境を作る(取ったページの文章を、この API に渡せます)
- ラズパイにセルフチェックと自己再生の機能を加えてみた
- ほかの使い方:ラズパイでできること