文章を書いていると、「この言葉は使わない」という自分の変換ルールが増えていきます。わたしの場合は、「確かめる」より「確認する」、「中身」より「内容」、「終わりました」より「完了しました」などです。記事を公開する前に、この変換ルールに合わない言葉が残っていないかを、プログラムでチェックしています。
はじめは、変換ルールの言葉を文字の並びで探していました。ところが、日本語は文字の並びで探すと、見逃しと、関係のない所へのまちがった指摘がどちらも多く出ます。そこで、前の記事でラズパイに作った MeCab の API を使って、言葉を「原形と品詞」で見る形にしました。この記事では、その作り方と、実際の記事でくらべた結果を紹介します。
この記事の前にできていること
- ラズパイの MeCab の API が動いている(ラズパイに MeCab をインストールして、文章を単語に分ける API にする)
この記事でできるようになること
- 「確かめた」「確かめられる」のように形が変わっても、1 つの変換ルール(確かめる)で見つける
- 「本文」「文字」「手に入れる」「無料版」のような、関係のない言葉はまちがって指摘しない
- 自分の変換ルールを、原形と品詞で 1 行ずつ足していく
文字の並びで探すと困ること
| 変換ルール | 文字の並びで探したとき |
|---|---|
| 「確かめる」→「確認する」 | 「確かめた」「確かめられる」「確かめて」と、形ごとに並べる必要がある。1 つ書き忘れると見逃す |
| 1 語の「文」→「文章」 | 「文」で探すと「本文」「文字」「文章」まで全部引っかかるので、変換ルールに加えられない |
| 「入れる」→「インストール」など | 「手に入れる」「仕入れる」「取り入れる」まで引っかかる。外す言葉の一覧を別に持つことになる |
| 「版」→「バージョン」 | 「無料版」「版画」まで引っかかる |
外す言葉の一覧を増やしていくと、今度はその一覧が長くなり、ほかの変換ルールにも効いてしまうことがあります。文字の並びで探す限り、このいたちごっこは終わりません。
原形と品詞で見ると、こう分かれる
MeCab に「本文の文字を確かめたら、文が長すぎた。プラグインを入れて、無料版を手に入れた。」を渡すと、言葉は次のように分かれます(主なもの)。
| 文章の中の形 | 品詞・原形 |
|---|---|
| 本文 | 名詞・本文(「文」とは別の 1 語) |
| 確かめ | 動詞・確かめる |
| 文 | 名詞・文(1 語の「文」) |
| 入れ | 動詞・入れる |
| 無料 / 版 | 名詞・無料 / 名詞・版(前の語が「無料」) |
| 手 / に / 入れ | 名詞・手 / 助詞・に / 動詞・入れる(前の 2 語が「手」「に」) |
「確かめる」は形が変わっても原形は同じなので、変換ルールは 1 つで済みます。「本文」「文字」は 1 語として出てくるので、1 語の「文」だけを見られます。「手に入れる」「無料版」は、前の語を見れば外せます。
手順 A:チェックのスクリプトを置く
次の内容で word_check.py を作ります。前の記事の API がラズパイで動いていれば、ラズパイでも PC でも動きます(PC で動かすときは、API の 127.0.0.1 をラズパイの IP アドレスに変えます)。Python の標準ライブラリだけで動きます。
#!/usr/bin/env python3
# -*- coding: utf-8 -*-
"""
文章の変換ルール(使わない言葉)を、MeCab の API で原形と品詞を見てチェックする
使い方:python3 word_check.py 文章.txt … 見つかった所と、言い換えの案を出す
API は前の記事の nlp_api.py(http://127.0.0.1:8095)。Python の標準ライブラリだけで動く。
"""
import json
import sys
import urllib.request
API = "http://127.0.0.1:8095/api/parse"
# 変換ルールの一覧:名前・言い換えの案・指摘する条件(t=今の語・p=前の語・n=次の語・pp=2 つ前の語)
RULES = [
("確かめる", "確認する", lambda t, p, n, pp: t["lemma"] == "確かめる"),
("道具", "ツール", lambda t, p, n, pp: t["lemma"] == "道具"),
("中身", "内容・本文", lambda t, p, n, pp: t["lemma"] == "中身"),
("終わりました", "完了しました", lambda t, p, n, pp: t["lemma"] == "終わる" and n and n["lemma"] == "ます"
and n["surface"] != "ませ"), # 「終わりません」(打ち消し)は外す
("1 語の「文」", "文章・メッセージ", lambda t, p, n, pp: t["pos"] == "名詞" and t["surface"] == "文"),
("入れる", "インストール・入力・追加", lambda t, p, n, pp: t["lemma"] == "入れる"
and not (pp and pp["surface"] == "手" and p["surface"] == "に")), # 「手に入れる」は外す
("版", "バージョン", lambda t, p, n, pp: t["pos"] == "名詞" and t["surface"] == "版"
and not (p and p["surface"] in ("無料", "有料", "縮小", "電子"))),
]
def parse(text):
req = urllib.request.Request(API, data=json.dumps({"text": text}).encode("utf-8"),
headers={"Content-Type": "application/json"}, method="POST")
with urllib.request.urlopen(req, timeout=20) as r:
return json.loads(r.read().decode("utf-8"))["tokens"]
def check(text):
tokens = parse(text)
hits = []
for i, t in enumerate(tokens):
p = tokens[i - 1] if i > 0 else None
n = tokens[i + 1] if i + 1 < len(tokens) else None
pp = tokens[i - 2] if i > 1 else None
for name, suggest, test in RULES:
if test(t, p, n, pp):
around = "".join(x["surface"] for x in tokens[max(0, i - 4):i + 5])
hits.append((name, suggest, around))
return hits
if __name__ == "__main__":
with open(sys.argv[1], encoding="utf-8-sig") as f:
text = f.read()
hits = check(text)
print("見つかった数:%d" % len(hits))
for name, suggest, around in hits:
print("「%s」→ %s …%s…" % (name, suggest, around))
書き方と役目
RULES:変換ルールの一覧。1 行に「名前・言い換えの案・指摘する条件」。条件は、今の語(t)・前の語(p)・次の語(n)・2 つ前の語(pp)を見て、指摘するなら True を返すt["lemma"]:原形。動詞や形容詞は、形が変わってもここが同じになるt["pos"]・t["surface"]:品詞と、文章の中の形。「名詞で、形がちょうど『文』」のように、1 語のときだけ指摘できる- 「終わりました」:「終わる」のあとに「ます」が続くときだけ指摘する(「仕事が終わる」は指摘しない)。「終わりません」は「終わり/ませ/ん」に分かれるので、「ませ」のときは外す
- 条件の引数は 4 つとも書く:使わなくても
t, p, n, ppを並べる。文章の先頭の語では p と pp が None なので、p and p["surface"] == …のように先に p があるかを見る
手順 B:試す
本文の文字を確かめたら、文が長すぎた。
プラグインを入れて、無料版の道具を手に入れた。
作業が終わりました。新しい版の中身を見る。
python3 word_check.py sample.txt
見つかった数:7
「確かめる」→ 確認する …本文の文字を確かめたら、文が…
「1 語の「文」」→ 文章・メッセージ …を確かめたら、文が長すぎた…
「入れる」→ インストール・入力・追加 …。プラグインを入れて、無料版…
「道具」→ ツール …、無料版の道具を手に入れ…
「終わりました」→ 完了しました …た。作業が終わりました。新しい…
「版」→ バージョン …ました。新しい版の中身を見る…
「中身」→ 内容・本文 …。新しい版の中身を見る。…
- 「本文」「文字」「無料版」「手に入れた」は指摘されていません。
- 最初に書いたときは「手に入れた」も指摘されたので、「前の 2 語が『手』『に』なら外す」条件を足しました。こうした例外を、文字の並びではなく語の並びで書けるのが、原形と品詞で見るよいところです。
手順 C:自分の変換ルールを足す
変換ルールを足すときは、先に API で、その言葉がどう分かれるかを見ます。たとえば「写す」を足すなら、「画面を写した。写しを取る。」を /api/parse に送ると、「写し(動詞・原形 写す)」と「写し(名詞・原形 写し)」に分かれることが分かります。
curl -s -X POST http://127.0.0.1:8095/api/parse -H "Content-Type: application/json; charset=utf-8" -d '{"text":"画面を写した。写しを取る。"}'
そこで、RULES に次の 1 行を足します。
("写す・写し", "バックアップ・複製", lambda t, p, n, pp: t["lemma"] in ("写す", "写し")),
- 動詞・形容詞は、原形(lemma)で書く。
- 名詞は、1 語のときだけ指摘したいなら、品詞と文章の中の形(surface)で書く。
- 前後の語で外したいときは、p・n・pp を見る。
- 1 回に送れる文章は 200KB まで(それより大きいと 413 が返る)。長い文章は分けて送る。
- 「プラグイン」は「プラグ/イン」に分かれます。1 語として見たい言葉は、前の記事の words.txt に足します。
実際の記事でくらべた結果
このサイトの記事 8 本(ラズパイの記事など・合わせて約 3 万 7 千字)で、文字の並びで探す形と、原形と品詞で見る形をくらべました。家では変換ルールの言葉を 20 ほど持っていて、そのすべてでくらべています。
| くらべたこと | 結果 |
|---|---|
| 原形と品詞の形だけが見つけた、本当に直す所 | 「入れるもの・入れないもの」・「これで足ります」・文字の並びでは変換ルールにできなかった 1 語の「文」3 か所 など |
| 原形と品詞の形だけが見つけた、直す所の候補 | 「つなぎ」2 か所(文字で「つない」「つなが」と探していて、「つなぎ」を見逃していた。意味で決まる言葉なので、注意として出す) |
| 文字の並びの形だけが指摘した所 | 「つながり」(名詞)2 か所。動詞の「つなぐ」とは別の言葉なので、指摘されないほうが自然 |
| 速さ | 記事 1 本 0.3〜1 秒(PC から API を呼んだ往復を含む・ラズパイは Raspberry Pi 3・最初の 1 回だけ 2〜3 秒) |
4 つのサイトの記事 2,299 本で使ってみた
このサイトを含めた 4 つの WordPress のサイトの、公開している記事と固定ページ 2,299 本を、まとめてこのチェックにかけました。記事を 5 万字ずつまとめて送ったので、API を呼んだのは 36 回だけでした。
| 結果 | 数 |
|---|---|
| 強く直したい言葉が見つかった所 | 287 か所 |
| そのうち、本当に直す所 | 82 か所(ほとんどが 1 語の「文」) |
| まちがった指摘 | 51 か所(「3 文」「読書感想文」「目を見張る」など) |
| そのサイトでは自然な使い方 | 154 か所(子ども向けの物語の「遊び道具」、ゲームの攻略の「持ち物を確かめる」など) |
1 語の「文」は、文字の並びでは変換ルールにできなかった言葉なので、82 か所はどれも、これまでのチェックでは見つけられなかったものです。
まちがった指摘は、例を見ながら条件を足して減らしました。前の語が数なら外す(3 文)・決まった前の語なら外す(感想文)・「目を」のあとの「見張る」は外す、といった条件です。反対に、「確かめ合う」「書き写す」のような見逃しも見つかったので、原形の頭や終わりで見つけるように変えました。
物語やゲームの攻略のサイトでは、「道具」「確かめる」が自然な言葉です。言葉の変換ルールは自分の説明の文章のためのものなので、こうしたサイトはチェックの対象から外しました。変換ルールは、使うサイトに合わせて決めるのがよさそうです。
今は、わたしが記事を保存するときに使うツールで、保存の前に自動でこのチェックを通しています。保存する前の記事とくらべて、本文の中の使わない言葉(変換ルールに合う言葉)が増えていたら、保存を止める形です。ラズパイの API に接続できないときは、前の文字の並びの形で見るようにしてあります。
気をつけること
- MeCab の分け方に合わない言い方がある:「インストールはいりません」は、「はいり」が 1 語の「入る」(はいる)と読まれてしまいました。こうした言い方は、文字の並びで探す形と組み合わせます。
- 意味で決まる言葉は、注意どまりにする:「つなぐ」は「ラズパイにつなぐ(接続する)」と「言葉をつなぐ」で言い換えが違います。こうした言葉は止めずに、注意として出し、人が決めます。
- 辞書が変わると分け方も変わる:MeCab の辞書(unidic-lite)を新しくしたら、手順 B の例でもう一度試します。
まとめ
文章の変換ルールを、MeCab の原形と品詞で見るようにしたら、形の変わった言葉の見逃しと、関係のない言葉へのまちがった指摘が減りました。変換ルールは 1 行ずつ足していけるので、自分の書き方に合わせて増やしていけます。
次は、同じ API で記事どうしの似ている度合いを出して、「次に読む」の候補を探してみる予定です。
次に読む