ラズパイ 読む時間 約8分

ラズパイの MeCab で、ブログの似た記事を探して「次に読む」の候補を出す

ラズパイの MeCab の API で記事ごとの名詞を数え、記事どうしの似ている度合いを出して、「次に読む」の候補を 3 つずつ出す方法です。このサイトの記事 86 本でくらべると、いちばん効いたのは、どの記事にも入っている決まった枠を外すことでした。

MeCab で似た記事を探して「次に読む」を出す:決まった枠を外すと、当たりが 32 から 35 組に。第 1 回の似た記事は第 2 回 34・第 3 回 33・第 8 回 32、ロト 6 の予想は 7 なので 12 未満は出さない

記事の最後に「次に読む」を付けていますが、記事が増えてくると、どの記事を並べるかを選ぶのが手間になってきました。新しい記事を書いたときに、前の記事のどれと話が近いかを、毎回思い出すのも大変です。

そこで、ラズパイに作った MeCab の API で記事ごとの名詞を数え、記事どうしの似ている度合いを出して、候補を 3 つずつ出すようにしました。この記事では、その作り方と、このサイトの記事でくらべた結果を紹介します。いちばん効いたのは、言葉の数え方の工夫よりも、どの記事にも入っている決まった枠を外すことでした。

この記事の前にできていること

この記事でできるようになること

  • サイトの記事ごとに、似ている記事を「似ている度合い(0〜100)」の高い順に 3 つ出す
  • どの言葉が近さを作っているかを見て、候補がおかしいときの理由を探す
  • 似た記事がない記事には、無理に候補を出さない

似ている度合いの出し方

考え方は単純で、同じ名詞を多く使っている記事どうしは、話が近いと見ます。ただ、「ラズパイ」「設定」のような、どの記事にも出る言葉が重なっても、話が近いとは言えません。そこで、次の 2 つの工夫をしています。

  • 言葉の重さ:その記事に何度も出て、ほかの記事にはあまり出ない言葉ほど重くする(TF-IDF という数え方)。
  • 近さ:2 本の記事の言葉の重さの並びが、どれだけ同じ向きを向いているかを 0〜1 で出す(コサイン類似度)。この記事では 100 をかけて「似ている度合い」と呼んでいます。

式を覚える必要はありません。スクリプトの中で計算します。

手順 A:スクリプトを置く

次の内容で similar_posts.py を作ります。ラズパイでも PC でも動きます。ラズパイの上で動かすときは API のアドレスはそのまま、PC から動かすときは自分のラズパイの IP アドレスに変えます。Python の標準ライブラリだけで動きます。

#!/usr/bin/env python3
# -*- coding: utf-8 -*-
"""
ブログの記事どうしの似ている度合いを出して、「次に読む」の候補を 3 つずつ出す
使い方(3 つの段階に分けて、途中の結果をファイルに残す):
  python3 similar_posts.py fetch https://example.com   … WordPress の記事を取り、決まった枠を外して posts.json に保存
  python3 similar_posts.py nouns                       … posts.json の本文を MeCab の API に送り、名詞を nouns.json に保存
  python3 similar_posts.py similar                     … 似ている度合い(0〜100)の上位 3 つを出す
API は前の記事の nlp_api.py の POST /api/nouns。Python の標準ライブラリだけで動く。
"""
import collections
import html
import json
import math
import re
import sys
import time
import urllib.error
import urllib.request
from html.parser import HTMLParser

API = "http://127.0.0.1:8095/api/nouns"  # ラズパイの上で動かすとき。PC から動かすときは、ラズパイの IP アドレスに変える
POSTS = "posts.json"
NOUNS = "nouns.json"
MIN_SCORE = 12   # 似ている度合いがこれ未満の記事は、候補に出さない
COMMON = 0.40    # この割合以上の記事に出る言葉は数えない

# どの記事にも入っている決まった枠。左に線のある枠(div)の、最初の太字の見出しで見分ける。自分のサイトに合わせて書き換える
FRAME_TITLES = [
    re.compile(r"^次に読む"),
    re.compile(r"AI に渡して"),
    re.compile(r"(この回|この記事|前の回).*(前に|までに).*できていること"),
    re.compile(r"(この回|この記事)でできるようにな(る|った)こと"),
]
FRAME_NOTE = re.compile(r"アソシエイトリンクが含まれています")  # この言葉を含む段落も外す
EPISODE = re.compile(r"^\s*第\s*\d+\s*回")         # シリーズの目次の項目
EPISODE_HEAD = re.compile(r"第\s*\d+\s*〜\s*\d+\s*回")

# 数えない言葉(どの記事にも出やすい、意味の薄い言葉)
STOP = set("""事 時 為 侭 物 後 中 今 方 先 所 上 下 他 前 次 度 形 分 回 件 年 月 日 人 例 場合 必要 上記 自分 家
以下 以上 全部 最初 最後 一つ 二つ 辺り 通り 様 ため こと もの よう ところ これ それ ここ そこ 何 誰 際 点 側 毎 皆
私 わたし 気 感じ 部分 時点 名 行 別 方法 内容 注意 結果 本 台 個 枚 つ 第 http https www com jp net html""".split())


# ---- 1. 記事を取って、決まった枠を外す ----

def block_end(s, start, tag):
    """s[start] にある <tag> の、対になる閉じタグの終わりの位置(入れ子を数える)"""
    depth = 0
    for m in re.finditer(r"<(/?)%s\b[^>]*>" % tag, s[start:], re.I):
        depth += -1 if m.group(1) else 1
        if depth == 0:
            return start + m.end()
    return len(s)


def plain(s):
    return re.sub(r"\s+", " ", html.unescape(re.sub(r"<[^>]+>", "", s))).strip()


def remove_frames(body, site):
    spans = []
    for m in re.finditer(r'<div\b[^>]*style="[^"]*border-left[^"]*"[^>]*>', body):
        end = block_end(body, m.start(), "div")
        head = re.search(r"<strong>(.*?)</strong>", body[m.start():end], re.S)
        if head and any(rx.search(plain(head.group(1))) for rx in FRAME_TITLES):
            spans.append((m.start(), end))
    for m in re.finditer(r"<(ol|ul)\b[^>]*>", body):
        end = block_end(body, m.start(), m.group(1))
        items = re.findall(r"<li\b[^>]*>(.*?)</li>", body[m.start():end], re.S)
        episodes = [x for x in items if EPISODE.match(plain(x))]
        link_only = r'\s*<a [^>]*href="%s/[^"]*"[^>]*>[^<]*</a>\s*' % re.escape(site)
        if len(episodes) >= 4 and len(episodes) >= len(items) * 0.6:
            spans.append((m.start(), end))  # シリーズの目次
        elif m.group(1) == "ul" and len(items) >= 2 and all(re.fullmatch(link_only, x) for x in items):
            spans.append((m.start(), end))  # サイトの記事へのリンクだけの並び
    for m in re.finditer(r"<h([234])\b[^>]*>(.*?)</h\1>", body, re.S):
        if EPISODE_HEAD.search(plain(m.group(2))):
            spans.append((m.start(), m.end()))
    for m in re.finditer(r"<p\b[^>]*>(.*?)</p>", body, re.S):
        if FRAME_NOTE.search(m.group(1)):
            spans.append((m.start(), m.end()))
    out, pos = [], 0
    for a, b in sorted(spans):
        if a < pos:  # 外の枠と重なっている所は、もう外してある
            pos = max(pos, b)
            continue
        out.append(body[pos:a] + "\n")
        pos = b
    out.append(body[pos:])
    return "".join(out)


class TextParser(HTMLParser):
    SKIP = {"pre", "script", "style", "noscript", "svg"}  # コードの枠などは数えない
    BREAK = {"p", "li", "h2", "h3", "h4", "td", "th", "br", "figcaption"}

    def __init__(self):
        super().__init__(convert_charrefs=True)
        self.parts, self.skip = [], 0

    def handle_starttag(self, tag, attrs):
        if tag in self.SKIP:
            self.skip += 1
        if tag in self.BREAK:
            self.parts.append("\n")

    def handle_endtag(self, tag):
        if tag in self.SKIP and self.skip:
            self.skip -= 1

    def handle_data(self, d):
        if not self.skip:
            self.parts.append(d)


def to_text(body, site):
    p = TextParser()
    p.feed(remove_frames(body, site))
    text = re.sub(r"[ \t ]+", " ", "".join(p.parts))
    return re.sub(r"\n\s*\n+", "\n", text).strip()


def get_json(url):
    """GET して JSON を返す。中身が空(サーバー側で JSON にできなかったとき)は None"""
    req = urllib.request.Request(url, headers={"User-Agent": "similar-posts/1.0"})
    with urllib.request.urlopen(req, timeout=30) as r:
        body = r.read().decode("utf-8")
    return json.loads(body) if body.strip() else None


def fetch(site):
    site = site.rstrip("/")
    base = "%s/wp-json/wp/v2/posts?_fields=link,title,content" % site
    posts, page, per = [], 1, 20
    while True:
        try:
            items = get_json("%s&per_page=%d&page=%d" % (base, per, page))
        except urllib.error.HTTPError as e:
            if e.code == 400:  # 最後のページを過ぎた
                break
            raise
        if items is None:
            # まとめて返せないページは、1 本ずつ取り直す(どれか 1 本の本文が原因で、空の返事になることがある)
            items = []
            for i in range((page - 1) * per, page * per):
                time.sleep(1)
                try:
                    one = get_json("%s&per_page=1&offset=%d" % (base, i))
                except urllib.error.HTTPError:
                    break
                if one is None:
                    print("取れなかった記事があります(%d 本目)" % (i + 1))
                    continue
                if not one:
                    break
                items.extend(one)
            if not items:
                break
        elif not items:
            break
        for it in items:
            posts.append({"url": it["link"], "title": plain(it["title"]["rendered"]),
                          "text": to_text(it["content"]["rendered"], site)})
        page += 1
        time.sleep(1)  # サイトに負担をかけない
    save(POSTS, posts)
    print("記事 %d 本を %s に保存しました" % (len(posts), POSTS))


# ---- 2. MeCab の API で名詞を数える ----

def nouns():
    posts = load(POSTS)
    try:
        done = load(NOUNS)
    except FileNotFoundError:
        done = {}
    for p in posts:
        if p["url"] in done or not p["text"]:
            continue  # 取ってある記事は送らない
        body = json.dumps({"text": p["text"], "top": 200}).encode("utf-8")
        req = urllib.request.Request(API, data=body, headers={"Content-Type": "application/json"}, method="POST")
        with urllib.request.urlopen(req, timeout=60) as r:
            done[p["url"]] = {x["word"]: x["count"] for x in json.loads(r.read().decode("utf-8"))["nouns"]}
        save(NOUNS, done)
        print(len(done), p["title"][:40])


# ---- 3. 似ている度合いを出す ----

def vectors(counts, drop_common=True):
    """記事ごとに、言葉の重さ(TF-IDF)を並べたものを作る。長さは 1 にそろえる"""
    n = len(counts)
    df = collections.Counter(w for c in counts for w in c)

    def keep(w):
        return not (w in STOP or re.fullmatch(r"[0-90-9.,:/%]+", w)
                    or re.fullmatch(r"[A-Za-z0-9ぁ-んァ-ン]", w) or df[w] / n >= COMMON)
    if drop_common:
        counts = [{w: k for w, k in c.items() if keep(w)} for c in counts]
        df = collections.Counter(w for c in counts for w in c)
    vecs = []
    for c in counts:
        v = {w: (1 + math.log(k)) * (math.log((n + 1) / (df[w] + 1)) + 1) for w, k in c.items()}
        size = math.sqrt(sum(x * x for x in v.values())) or 1.0
        vecs.append({w: x / size for w, x in v.items()})
    return vecs


def score(a, b):
    """似ている度合い(0〜100)と、それを作っている言葉"""
    shared = sorted(((a[w] * b[w], w) for w in a.keys() & b.keys()), reverse=True)
    return sum(x for x, _ in shared) * 100, [w for _, w in shared[:4]]


def similar(posts, counts, top=3, drop_common=True):
    vecs = vectors(counts, drop_common)
    result = []
    for i, p in enumerate(posts):
        cand = sorted(((score(vecs[i], vecs[j]), j) for j in range(len(posts)) if j != i),
                      key=lambda x: -x[0][0])
        result.append((p, [(s, words, posts[j]) for (s, words), j in cand[:top]]))
    return result


def show():
    data = load(NOUNS)
    posts = [p for p in load(POSTS) if p["url"] in data]
    for p, cands in similar(posts, [data[p["url"]] for p in posts]):
        print("● " + p["title"])
        shown = [c for c in cands if c[0] >= MIN_SCORE]
        for s, words, q in shown:
            print("  %3.0f  %s (%s)" % (s, q["title"][:40], "・".join(words)))
        if not shown:
            print("  (似た記事なし)")


def load(name):
    with open(name, encoding="utf-8") as f:
        return json.load(f)


def save(name, data):
    with open(name, "w", encoding="utf-8") as f:
        json.dump(data, f, ensure_ascii=False, indent=1)


if __name__ == "__main__":
    cmd = sys.argv[1] if len(sys.argv) > 1 else ""
    if cmd == "fetch" and len(sys.argv) > 2:
        fetch(sys.argv[2])
    elif cmd == "nouns":
        nouns()
    elif cmd == "similar":
        show()
    else:
        print(__doc__)

書き方と役目

  • fetch・nouns・similar:記事を取る・名詞を数える・似た記事を出す、の 3 つに分けています。途中の結果は posts.json と nouns.json に残るので、計算のやり直しだけならサイトにも API にも送りません
  • FRAME_TITLES:外す枠の見出し。このサイトでは、左に線のある枠の最初の太字(「次に読む」「この記事の前にできていること」など)で見分けています。自分のサイトの枠の見出しに書き換えます
  • STOP・COMMON:数えない言葉。決めた一覧のほか、4 割以上の記事に出る言葉・数字・1 文字の英字やかなも外します
  • MIN_SCORE:似ている度合いがこれ未満なら、候補に出しません(理由は下の表 3)

手順 B:記事を取って、名詞を数える

python3 similar_posts.py fetch https://example.com
python3 similar_posts.py nouns
  • fetch は、記事を 20 本ずつ取って、1 秒あけて次を取ります。まとめて返せないページがあったときは(どれか 1 本の本文が原因で、空の返事になることがあります)、そのページだけ 1 本ずつ取り直します。https://example.com は自分のサイトのアドレスに変えます。
  • fetch が HTTP Error 401: Unauthorized で止まるときは、サイトがログインしていない人からの REST API を閉じています(セキュリティのプラグインなどの設定)。このサイトも閉じているので、記事の一覧だけ PC からアプリケーションパスワード付きで取り、同じ形の posts.json を作ってから nouns 以降をラズパイで動かしました。パスワードはラズパイに置いていません。
  • nouns は、記事 1 本につき 1 回 API に送ります。このサイトの 95 本で、約 16 秒でした(Raspberry Pi 3)。名詞を数えた記事は nouns.json に残るので、記事を足したときは、もう一度 fetch と nouns を動かせば、新しい記事の分だけ送ります。

手順 C:似た記事を出す

python3 similar_posts.py similar
● ラズパイを始める:完全自動化の第一歩、買う物をそろえる(Raspberry Pi 5)
   34  ラズパイの OS を microSD に書き込む:Raspberry Pi Im (microSD・Raspberry・Pi・カード)
   33  ラズパイに PC から SSH でつなぐ:画面なしで起動して、IP アドレスを決 (ケーブル・ラズパイ・Raspberry・Pi)
   32  ラズパイを有線の LAN でつなぐ:IP アドレスを決めて、Wi-Fi は予備に (LAN・ラズパイ・ケーブル・Wi)
● Claude(AI)にラズパイを操作させる:SSH の呼び名でつなぎ、頼むだけでコマンドを動かす
   40  ラズパイに PC から SSH でつなぐ:画面なしで起動して、IP アドレスを決 (mypi・ssh・ラズパイ・PC)
   32  ラズパイでデータベースのバックアップを完全自動化:レンタルサーバーから自宅の N (backup・ラズパイ・ssh・手順)
   31  ラズパイ自身を毎晩バックアップ:スクリプトと設定を NAS に完全自動で保存し、 (backup・ラズパイ・ssh・鍵)
● 「ロト6」で次に当たりそうな番号をAIに予想させてみた
  (似た記事なし)
  • 左の数字が似ている度合い、かっこの中が近さを作っている言葉(重い順に 4 つ)です。
  • 第 1 回(買う物)には、すぐ次の第 2 回(OS の書き込み)と第 3 回(SSH)が並びました。ロト 6 の記事は、いちばん近い記事でも 7 しかないので、何も出していません。

実際の記事でくらべた結果

このサイトの記事 86 本で試しました。ラズパイの記事 17 本については、先に自分で「この記事の次に読んでほしい記事」を選んでおき(合わせて 47 組)、スクリプトの上位 3 つに何組入るかを数えています。

やったこと 上位 3 つに出せた数(47 組のうち) 1 位が当たった記事(17 本のうち)
① 本文をそのまま名詞にした 32(68%) 16
② ①から、どの記事にも入っている決まった枠(目次・次に読む・この記事の前にできていること など)を外した 35(74%) 17
③ ②に、どの記事にも出る言葉を数えないことを足した 35(74%) 16
④ ③に、タイトルとカテゴリの重みを足した 36(77%) 15

いちばん効いたのは ② です。このサイトのラズパイの記事には、シリーズの目次や「次に読む」の枠が毎回入っていて、その言葉が重なるせいで、ラズパイの記事どうしが全部少しずつ似て見えていました。③ と ④ は、足しても上位 3 つの数はほとんど変わりません。スクリプトは ③ の形にしています(④ は 1 位の当たりが減るので加えていません)。

第 1 回「買う物をそろえる」の候補で、前と後をくらべると次のようになります。

第 1 回「買う物をそろえる」の似た記事 前(①) 後(③)
1 位 × 第 8 回 有線の LAN(46) ○ 第 2 回 OS を書き込む(34)
2 位 ○ 第 3 回 SSH でつなぐ(44) ○ 第 3 回 SSH でつなぐ(33)
3 位 × 第 4 回 Claude に操作させる(39) × 第 8 回 有線の LAN(32)

枠を外すと、似ている度合いは全体に下がりますが、順位は正しくなりました。すぐ次の回(第 2 回)が 1 位に上がっています。

最後に、似ている度合いが低い候補を出さないときの目安です。

出さない目安 3 つ出る記事 1 つも出ない記事(86 本のうち)
10 未満 69 本 5 本
12 未満 56 本 8 本
15 未満 42 本 22 本

ロト 6 の記事(7)のように、本当に似た記事がない記事には、出さないほうが親切です。ただ、15 にすると、シガーソケットの記事とポータブル電源の記事(15 弱)のような、話の近い組まで消えました。このサイトでは 12 くらいがちょうどよかったので、MIN_SCORE は 12 にしています。

気をつけること

  • 言葉の重なりでは拾えない組がある:第 4 回(Claude にラズパイを操作させる)の候補に、バックアップの回が 2 つ入りました。記事の中で、例として「バックアップを取って」と頼む場面があり、backup などの言葉が重なったためです。反対に、「AI がラズパイの様子を見る」といった仕組みのつながりで選んだ組は、言葉があまり重ならないので上位に来ません。候補はそのまま貼らずに、人が見て選ぶのがよいと思います。
  • シリーズの前後の回は、別に出す:前後の回は話が続いているので、似ている度合いとは別に、いつも出すほうが確実です。このサイトでは、前後の回を先に並べて、似ている度合いの候補からは前後の回を除くと、読む人に出せる「選んだ組」が 35 から 37 に増えました。
  • 分かれてしまう言葉は words.txt でまとめる:「Wi-Fi」が「Wi」と「Fi」、「Raspberry Pi」が「Raspberry」と「Pi」に分かれて、1 つの言葉が 2 回数えられていました。「プラグイン」が「プラグ」と「イン」に分かれて、電気のプラグの記事と近くなることもあります。1 本目の記事の手順 D の words.txt に足すと、少しよくなる見込みです。
  • 枠の見分け方はサイトごとに違う:このスクリプトは、このサイトの枠(左に線のある枠と、その見出し)に合わせてあります。自分のサイトでは、記事ごとに毎回載せている文言(目次・関連記事・広告の注記など)を探して、FRAME_TITLES などを書き換えます。
  • 記事を足したら、全部を計算し直す:言葉の重さは、ほかの記事に何本出るかで変わるので、1 本足しただけでも、ほかの記事の似ている度合いが少し動きます。similar の計算はすぐに完了するので、毎回全部を計算し直しています。

まとめ

MeCab の API で名詞を数えて、記事どうしの似ている度合いを出し、「次に読む」の候補を出せるようにしました。ラズパイの記事 17 本では、自分で選んだ組の 4 分の 3 ほどを上位 3 つに出せています。数え方の工夫より、どの記事にも入っている枠を外すほうが効いたのは、やってみるまで分かりませんでした。

このあと、記事の下の「関連記事」の欄にも使うことにしました。これから公開する記事には、似ている度合いが 12 以上の記事を高い順に 4 つまで、記事ごとに書いておき、欄はそれを先に出します(足りないときは同じカテゴリーの記事で埋めます)。「次に読む」は、候補を参考にして、今までどおり自分で選んでいます。言葉の重なりで拾えない組をどう出すかは、もう少し試してみます。

次に読む

この記事を書いた人

フリースタイル

Web の仕事 25 年以上。WordPress の保守・引っ越しと、PHP の業務の仕組みづくり。 プロフィール →

まずは、お気軽にご相談ください。

相談と見積りは無料です。急ぎのときは、フォームで「急ぎ」を選んでください。