ラズパイ 読む時間 約8分

MeCab で文章の決まりをチェックする:「確かめた」も原形で見つけ、「本文」「手に入れる」はまちがって指摘しない

使わないと決めた言葉を、文字の並びではなく MeCab の原形と品詞で探す方法です。「確かめた」「確かめられる」をまとめて見つけ、「本文」「文字」「手に入れる」「無料版」はまちがって指摘しません。ラズパイの MeCab の API を使う短い Python のスクリプトと、記事 8 本でくらべた結果を紹介します。

MeCab で文章の決まりをチェックする:原形と品詞で見つけ、まちがった指摘はしない。確かめた・確かめられるは原形の確かめるで見つけて確認するに、1 語の文も見つける。本文・文字・文章・手に入れる・無料版は指摘しない。記事 1 本 0.3〜1 秒

文章を書いていると、「この言葉は使わない」という自分の変換ルールが増えていきます。わたしの場合は、「確かめる」より「確認する」、「中身」より「内容」、「終わりました」より「完了しました」などです。記事を公開する前に、この変換ルールに合わない言葉が残っていないかを、プログラムでチェックしています。

はじめは、変換ルールの言葉を文字の並びで探していました。ところが、日本語は文字の並びで探すと、見逃しと、関係のない所へのまちがった指摘がどちらも多く出ます。そこで、前の記事でラズパイに作った MeCab の API を使って、言葉を「原形と品詞」で見る形にしました。この記事では、その作り方と、実際の記事でくらべた結果を紹介します。

この記事の前にできていること

この記事でできるようになること

  • 「確かめた」「確かめられる」のように形が変わっても、1 つの変換ルール(確かめる)で見つける
  • 「本文」「文字」「手に入れる」「無料版」のような、関係のない言葉はまちがって指摘しない
  • 自分の変換ルールを、原形と品詞で 1 行ずつ足していく

文字の並びで探すと困ること

変換ルール 文字の並びで探したとき
「確かめる」→「確認する」 「確かめた」「確かめられる」「確かめて」と、形ごとに並べる必要がある。1 つ書き忘れると見逃す
1 語の「文」→「文章」 「文」で探すと「本文」「文字」「文章」まで全部引っかかるので、変換ルールに加えられない
「入れる」→「インストール」など 「手に入れる」「仕入れる」「取り入れる」まで引っかかる。外す言葉の一覧を別に持つことになる
「版」→「バージョン」 「無料版」「版画」まで引っかかる

外す言葉の一覧を増やしていくと、今度はその一覧が長くなり、ほかの変換ルールにも効いてしまうことがあります。文字の並びで探す限り、このいたちごっこは終わりません。

原形と品詞で見ると、こう分かれる

MeCab に「本文の文字を確かめたら、文が長すぎた。プラグインを入れて、無料版を手に入れた。」を渡すと、言葉は次のように分かれます(主なもの)。

文章の中の形 品詞・原形
本文 名詞・本文(「文」とは別の 1 語)
確かめ 動詞・確かめる
文 名詞・文(1 語の「文」)
入れ 動詞・入れる
無料 / 版 名詞・無料 / 名詞・版(前の語が「無料」)
手 / に / 入れ 名詞・手 / 助詞・に / 動詞・入れる(前の 2 語が「手」「に」)

「確かめる」は形が変わっても原形は同じなので、変換ルールは 1 つで済みます。「本文」「文字」は 1 語として出てくるので、1 語の「文」だけを見られます。「手に入れる」「無料版」は、前の語を見れば外せます。

手順 A:チェックのスクリプトを置く

次の内容で word_check.py を作ります。前の記事の API がラズパイで動いていれば、ラズパイでも PC でも動きます(PC で動かすときは、API の 127.0.0.1 をラズパイの IP アドレスに変えます)。Python の標準ライブラリだけで動きます。

#!/usr/bin/env python3
# -*- coding: utf-8 -*-
"""
文章の変換ルール(使わない言葉)を、MeCab の API で原形と品詞を見てチェックする
使い方:python3 word_check.py 文章.txt     … 見つかった所と、言い換えの案を出す
API は前の記事の nlp_api.py(http://127.0.0.1:8095)。Python の標準ライブラリだけで動く。
"""
import json
import sys
import urllib.request

API = "http://127.0.0.1:8095/api/parse"

# 変換ルールの一覧:名前・言い換えの案・指摘する条件(t=今の語・p=前の語・n=次の語・pp=2 つ前の語)
RULES = [
    ("確かめる", "確認する", lambda t, p, n, pp: t["lemma"] == "確かめる"),
    ("道具", "ツール", lambda t, p, n, pp: t["lemma"] == "道具"),
    ("中身", "内容・本文", lambda t, p, n, pp: t["lemma"] == "中身"),
    ("終わりました", "完了しました", lambda t, p, n, pp: t["lemma"] == "終わる" and n and n["lemma"] == "ます"
     and n["surface"] != "ませ"),  # 「終わりません」(打ち消し)は外す
    ("1 語の「文」", "文章・メッセージ", lambda t, p, n, pp: t["pos"] == "名詞" and t["surface"] == "文"),
    ("入れる", "インストール・入力・追加", lambda t, p, n, pp: t["lemma"] == "入れる"
     and not (pp and pp["surface"] == "手" and p["surface"] == "に")),  # 「手に入れる」は外す
    ("版", "バージョン", lambda t, p, n, pp: t["pos"] == "名詞" and t["surface"] == "版"
     and not (p and p["surface"] in ("無料", "有料", "縮小", "電子"))),
]


def parse(text):
    req = urllib.request.Request(API, data=json.dumps({"text": text}).encode("utf-8"),
                                 headers={"Content-Type": "application/json"}, method="POST")
    with urllib.request.urlopen(req, timeout=20) as r:
        return json.loads(r.read().decode("utf-8"))["tokens"]


def check(text):
    tokens = parse(text)
    hits = []
    for i, t in enumerate(tokens):
        p = tokens[i - 1] if i > 0 else None
        n = tokens[i + 1] if i + 1 < len(tokens) else None
        pp = tokens[i - 2] if i > 1 else None
        for name, suggest, test in RULES:
            if test(t, p, n, pp):
                around = "".join(x["surface"] for x in tokens[max(0, i - 4):i + 5])
                hits.append((name, suggest, around))
    return hits


if __name__ == "__main__":
    with open(sys.argv[1], encoding="utf-8-sig") as f:
        text = f.read()
    hits = check(text)
    print("見つかった数:%d" % len(hits))
    for name, suggest, around in hits:
        print("「%s」→ %s …%s…" % (name, suggest, around))

書き方と役目

  • RULES:変換ルールの一覧。1 行に「名前・言い換えの案・指摘する条件」。条件は、今の語(t)・前の語(p)・次の語(n)・2 つ前の語(pp)を見て、指摘するなら True を返す
  • t["lemma"]:原形。動詞や形容詞は、形が変わってもここが同じになる
  • t["pos"]・t["surface"]:品詞と、文章の中の形。「名詞で、形がちょうど『文』」のように、1 語のときだけ指摘できる
  • 「終わりました」:「終わる」のあとに「ます」が続くときだけ指摘する(「仕事が終わる」は指摘しない)。「終わりません」は「終わり/ませ/ん」に分かれるので、「ませ」のときは外す
  • 条件の引数は 4 つとも書く:使わなくても t, p, n, pp を並べる。文章の先頭の語では p と pp が None なので、p and p["surface"] == … のように先に p があるかを見る

手順 B:試す

本文の文字を確かめたら、文が長すぎた。
プラグインを入れて、無料版の道具を手に入れた。
作業が終わりました。新しい版の中身を見る。
python3 word_check.py sample.txt
見つかった数:7
「確かめる」→ 確認する …本文の文字を確かめたら、文が…
「1 語の「文」」→ 文章・メッセージ …を確かめたら、文が長すぎた…
「入れる」→ インストール・入力・追加 …。プラグインを入れて、無料版…
「道具」→ ツール …、無料版の道具を手に入れ…
「終わりました」→ 完了しました …た。作業が終わりました。新しい…
「版」→ バージョン …ました。新しい版の中身を見る…
「中身」→ 内容・本文 …。新しい版の中身を見る。…
  • 「本文」「文字」「無料版」「手に入れた」は指摘されていません。
  • 最初に書いたときは「手に入れた」も指摘されたので、「前の 2 語が『手』『に』なら外す」条件を足しました。こうした例外を、文字の並びではなく語の並びで書けるのが、原形と品詞で見るよいところです。

手順 C:自分の変換ルールを足す

変換ルールを足すときは、先に API で、その言葉がどう分かれるかを見ます。たとえば「写す」を足すなら、「画面を写した。写しを取る。」を /api/parse に送ると、「写し(動詞・原形 写す)」と「写し(名詞・原形 写し)」に分かれることが分かります。

curl -s -X POST http://127.0.0.1:8095/api/parse -H "Content-Type: application/json; charset=utf-8" -d '{"text":"画面を写した。写しを取る。"}'

そこで、RULES に次の 1 行を足します。

    ("写す・写し", "バックアップ・複製", lambda t, p, n, pp: t["lemma"] in ("写す", "写し")),
  • 動詞・形容詞は、原形(lemma)で書く。
  • 名詞は、1 語のときだけ指摘したいなら、品詞と文章の中の形(surface)で書く。
  • 前後の語で外したいときは、p・n・pp を見る。
  • 1 回に送れる文章は 200KB まで(それより大きいと 413 が返る)。長い文章は分けて送る。
  • 「プラグイン」は「プラグ/イン」に分かれます。1 語として見たい言葉は、前の記事の words.txt に足します。

実際の記事でくらべた結果

このサイトの記事 8 本(ラズパイの記事など・合わせて約 3 万 7 千字)で、文字の並びで探す形と、原形と品詞で見る形をくらべました。家では変換ルールの言葉を 20 ほど持っていて、そのすべてでくらべています。

くらべたこと 結果
原形と品詞の形だけが見つけた、本当に直す所 「入れるもの・入れないもの」・「これで足ります」・文字の並びでは変換ルールにできなかった 1 語の「文」3 か所 など
原形と品詞の形だけが見つけた、直す所の候補 「つなぎ」2 か所(文字で「つない」「つなが」と探していて、「つなぎ」を見逃していた。意味で決まる言葉なので、注意として出す)
文字の並びの形だけが指摘した所 「つながり」(名詞)2 か所。動詞の「つなぐ」とは別の言葉なので、指摘されないほうが自然
速さ 記事 1 本 0.3〜1 秒(PC から API を呼んだ往復を含む・ラズパイは Raspberry Pi 3・最初の 1 回だけ 2〜3 秒)

4 つのサイトの記事 2,299 本で使ってみた

このサイトを含めた 4 つの WordPress のサイトの、公開している記事と固定ページ 2,299 本を、まとめてこのチェックにかけました。記事を 5 万字ずつまとめて送ったので、API を呼んだのは 36 回だけでした。

結果 数
強く直したい言葉が見つかった所 287 か所
そのうち、本当に直す所 82 か所(ほとんどが 1 語の「文」)
まちがった指摘 51 か所(「3 文」「読書感想文」「目を見張る」など)
そのサイトでは自然な使い方 154 か所(子ども向けの物語の「遊び道具」、ゲームの攻略の「持ち物を確かめる」など)

1 語の「文」は、文字の並びでは変換ルールにできなかった言葉なので、82 か所はどれも、これまでのチェックでは見つけられなかったものです。

まちがった指摘は、例を見ながら条件を足して減らしました。前の語が数なら外す(3 文)・決まった前の語なら外す(感想文)・「目を」のあとの「見張る」は外す、といった条件です。反対に、「確かめ合う」「書き写す」のような見逃しも見つかったので、原形の頭や終わりで見つけるように変えました。

物語やゲームの攻略のサイトでは、「道具」「確かめる」が自然な言葉です。言葉の変換ルールは自分の説明の文章のためのものなので、こうしたサイトはチェックの対象から外しました。変換ルールは、使うサイトに合わせて決めるのがよさそうです。

今は、わたしが記事を保存するときに使うツールで、保存の前に自動でこのチェックを通しています。保存する前の記事とくらべて、本文の中の使わない言葉(変換ルールに合う言葉)が増えていたら、保存を止める形です。ラズパイの API に接続できないときは、前の文字の並びの形で見るようにしてあります。

気をつけること

  • MeCab の分け方に合わない言い方がある:「インストールはいりません」は、「はいり」が 1 語の「入る」(はいる)と読まれてしまいました。こうした言い方は、文字の並びで探す形と組み合わせます。
  • 意味で決まる言葉は、注意どまりにする:「つなぐ」は「ラズパイにつなぐ(接続する)」と「言葉をつなぐ」で言い換えが違います。こうした言葉は止めずに、注意として出し、人が決めます。
  • 辞書が変わると分け方も変わる:MeCab の辞書(unidic-lite)を新しくしたら、手順 B の例でもう一度試します。

まとめ

文章の変換ルールを、MeCab の原形と品詞で見るようにしたら、形の変わった言葉の見逃しと、関係のない言葉へのまちがった指摘が減りました。変換ルールは 1 行ずつ足していけるので、自分の書き方に合わせて増やしていけます。

次は、同じ API で記事どうしの似ている度合いを出して、「次に読む」の候補を探してみる予定です。

次に読む

この記事を書いた人

フリースタイル

Web の仕事 25 年以上。WordPress の保守・引っ越しと、PHP の業務の仕組みづくり。 プロフィール →

まずは、お気軽にご相談ください。

相談と見積りは無料です。急ぎのときは、フォームで「急ぎ」を選んでください。