記事の最後に「次に読む」を付けていますが、記事が増えてくると、どの記事を並べるかを選ぶのが手間になってきました。新しい記事を書いたときに、前の記事のどれと話が近いかを、毎回思い出すのも大変です。
そこで、ラズパイに作った MeCab の API で記事ごとの名詞を数え、記事どうしの似ている度合いを出して、候補を 3 つずつ出すようにしました。この記事では、その作り方と、このサイトの記事でくらべた結果を紹介します。いちばん効いたのは、言葉の数え方の工夫よりも、どの記事にも入っている決まった枠を外すことでした。
この記事の前にできていること
- ラズパイの MeCab の API が動いている(ラズパイに MeCab をインストールして、文章を単語に分ける API にする)
- 候補を出したいサイトが WordPress で、記事の一覧を REST API(/wp-json/)で取れる
この記事でできるようになること
- サイトの記事ごとに、似ている記事を「似ている度合い(0〜100)」の高い順に 3 つ出す
- どの言葉が近さを作っているかを見て、候補がおかしいときの理由を探す
- 似た記事がない記事には、無理に候補を出さない
似ている度合いの出し方
考え方は単純で、同じ名詞を多く使っている記事どうしは、話が近いと見ます。ただ、「ラズパイ」「設定」のような、どの記事にも出る言葉が重なっても、話が近いとは言えません。そこで、次の 2 つの工夫をしています。
- 言葉の重さ:その記事に何度も出て、ほかの記事にはあまり出ない言葉ほど重くする(TF-IDF という数え方)。
- 近さ:2 本の記事の言葉の重さの並びが、どれだけ同じ向きを向いているかを 0〜1 で出す(コサイン類似度)。この記事では 100 をかけて「似ている度合い」と呼んでいます。
式を覚える必要はありません。スクリプトの中で計算します。
手順 A:スクリプトを置く
次の内容で similar_posts.py を作ります。ラズパイでも PC でも動きます。ラズパイの上で動かすときは API のアドレスはそのまま、PC から動かすときは自分のラズパイの IP アドレスに変えます。Python の標準ライブラリだけで動きます。
#!/usr/bin/env python3
# -*- coding: utf-8 -*-
"""
ブログの記事どうしの似ている度合いを出して、「次に読む」の候補を 3 つずつ出す
使い方(3 つの段階に分けて、途中の結果をファイルに残す):
python3 similar_posts.py fetch https://example.com … WordPress の記事を取り、決まった枠を外して posts.json に保存
python3 similar_posts.py nouns … posts.json の本文を MeCab の API に送り、名詞を nouns.json に保存
python3 similar_posts.py similar … 似ている度合い(0〜100)の上位 3 つを出す
API は前の記事の nlp_api.py の POST /api/nouns。Python の標準ライブラリだけで動く。
"""
import collections
import html
import json
import math
import re
import sys
import time
import urllib.error
import urllib.request
from html.parser import HTMLParser
API = "http://127.0.0.1:8095/api/nouns" # ラズパイの上で動かすとき。PC から動かすときは、ラズパイの IP アドレスに変える
POSTS = "posts.json"
NOUNS = "nouns.json"
MIN_SCORE = 12 # 似ている度合いがこれ未満の記事は、候補に出さない
COMMON = 0.40 # この割合以上の記事に出る言葉は数えない
# どの記事にも入っている決まった枠。左に線のある枠(div)の、最初の太字の見出しで見分ける。自分のサイトに合わせて書き換える
FRAME_TITLES = [
re.compile(r"^次に読む"),
re.compile(r"AI に渡して"),
re.compile(r"(この回|この記事|前の回).*(前に|までに).*できていること"),
re.compile(r"(この回|この記事)でできるようにな(る|った)こと"),
]
FRAME_NOTE = re.compile(r"アソシエイトリンクが含まれています") # この言葉を含む段落も外す
EPISODE = re.compile(r"^\s*第\s*\d+\s*回") # シリーズの目次の項目
EPISODE_HEAD = re.compile(r"第\s*\d+\s*〜\s*\d+\s*回")
# 数えない言葉(どの記事にも出やすい、意味の薄い言葉)
STOP = set("""事 時 為 侭 物 後 中 今 方 先 所 上 下 他 前 次 度 形 分 回 件 年 月 日 人 例 場合 必要 上記 自分 家
以下 以上 全部 最初 最後 一つ 二つ 辺り 通り 様 ため こと もの よう ところ これ それ ここ そこ 何 誰 際 点 側 毎 皆
私 わたし 気 感じ 部分 時点 名 行 別 方法 内容 注意 結果 本 台 個 枚 つ 第 http https www com jp net html""".split())
# ---- 1. 記事を取って、決まった枠を外す ----
def block_end(s, start, tag):
"""s[start] にある <tag> の、対になる閉じタグの終わりの位置(入れ子を数える)"""
depth = 0
for m in re.finditer(r"<(/?)%s\b[^>]*>" % tag, s[start:], re.I):
depth += -1 if m.group(1) else 1
if depth == 0:
return start + m.end()
return len(s)
def plain(s):
return re.sub(r"\s+", " ", html.unescape(re.sub(r"<[^>]+>", "", s))).strip()
def remove_frames(body, site):
spans = []
for m in re.finditer(r'<div\b[^>]*style="[^"]*border-left[^"]*"[^>]*>', body):
end = block_end(body, m.start(), "div")
head = re.search(r"<strong>(.*?)</strong>", body[m.start():end], re.S)
if head and any(rx.search(plain(head.group(1))) for rx in FRAME_TITLES):
spans.append((m.start(), end))
for m in re.finditer(r"<(ol|ul)\b[^>]*>", body):
end = block_end(body, m.start(), m.group(1))
items = re.findall(r"<li\b[^>]*>(.*?)</li>", body[m.start():end], re.S)
episodes = [x for x in items if EPISODE.match(plain(x))]
link_only = r'\s*<a [^>]*href="%s/[^"]*"[^>]*>[^<]*</a>\s*' % re.escape(site)
if len(episodes) >= 4 and len(episodes) >= len(items) * 0.6:
spans.append((m.start(), end)) # シリーズの目次
elif m.group(1) == "ul" and len(items) >= 2 and all(re.fullmatch(link_only, x) for x in items):
spans.append((m.start(), end)) # サイトの記事へのリンクだけの並び
for m in re.finditer(r"<h([234])\b[^>]*>(.*?)</h\1>", body, re.S):
if EPISODE_HEAD.search(plain(m.group(2))):
spans.append((m.start(), m.end()))
for m in re.finditer(r"<p\b[^>]*>(.*?)</p>", body, re.S):
if FRAME_NOTE.search(m.group(1)):
spans.append((m.start(), m.end()))
out, pos = [], 0
for a, b in sorted(spans):
if a < pos: # 外の枠と重なっている所は、もう外してある
pos = max(pos, b)
continue
out.append(body[pos:a] + "\n")
pos = b
out.append(body[pos:])
return "".join(out)
class TextParser(HTMLParser):
SKIP = {"pre", "script", "style", "noscript", "svg"} # コードの枠などは数えない
BREAK = {"p", "li", "h2", "h3", "h4", "td", "th", "br", "figcaption"}
def __init__(self):
super().__init__(convert_charrefs=True)
self.parts, self.skip = [], 0
def handle_starttag(self, tag, attrs):
if tag in self.SKIP:
self.skip += 1
if tag in self.BREAK:
self.parts.append("\n")
def handle_endtag(self, tag):
if tag in self.SKIP and self.skip:
self.skip -= 1
def handle_data(self, d):
if not self.skip:
self.parts.append(d)
def to_text(body, site):
p = TextParser()
p.feed(remove_frames(body, site))
text = re.sub(r"[ \t ]+", " ", "".join(p.parts))
return re.sub(r"\n\s*\n+", "\n", text).strip()
def get_json(url):
"""GET して JSON を返す。中身が空(サーバー側で JSON にできなかったとき)は None"""
req = urllib.request.Request(url, headers={"User-Agent": "similar-posts/1.0"})
with urllib.request.urlopen(req, timeout=30) as r:
body = r.read().decode("utf-8")
return json.loads(body) if body.strip() else None
def fetch(site):
site = site.rstrip("/")
base = "%s/wp-json/wp/v2/posts?_fields=link,title,content" % site
posts, page, per = [], 1, 20
while True:
try:
items = get_json("%s&per_page=%d&page=%d" % (base, per, page))
except urllib.error.HTTPError as e:
if e.code == 400: # 最後のページを過ぎた
break
raise
if items is None:
# まとめて返せないページは、1 本ずつ取り直す(どれか 1 本の本文が原因で、空の返事になることがある)
items = []
for i in range((page - 1) * per, page * per):
time.sleep(1)
try:
one = get_json("%s&per_page=1&offset=%d" % (base, i))
except urllib.error.HTTPError:
break
if one is None:
print("取れなかった記事があります(%d 本目)" % (i + 1))
continue
if not one:
break
items.extend(one)
if not items:
break
elif not items:
break
for it in items:
posts.append({"url": it["link"], "title": plain(it["title"]["rendered"]),
"text": to_text(it["content"]["rendered"], site)})
page += 1
time.sleep(1) # サイトに負担をかけない
save(POSTS, posts)
print("記事 %d 本を %s に保存しました" % (len(posts), POSTS))
# ---- 2. MeCab の API で名詞を数える ----
def nouns():
posts = load(POSTS)
try:
done = load(NOUNS)
except FileNotFoundError:
done = {}
for p in posts:
if p["url"] in done or not p["text"]:
continue # 取ってある記事は送らない
body = json.dumps({"text": p["text"], "top": 200}).encode("utf-8")
req = urllib.request.Request(API, data=body, headers={"Content-Type": "application/json"}, method="POST")
with urllib.request.urlopen(req, timeout=60) as r:
done[p["url"]] = {x["word"]: x["count"] for x in json.loads(r.read().decode("utf-8"))["nouns"]}
save(NOUNS, done)
print(len(done), p["title"][:40])
# ---- 3. 似ている度合いを出す ----
def vectors(counts, drop_common=True):
"""記事ごとに、言葉の重さ(TF-IDF)を並べたものを作る。長さは 1 にそろえる"""
n = len(counts)
df = collections.Counter(w for c in counts for w in c)
def keep(w):
return not (w in STOP or re.fullmatch(r"[0-90-9.,:/%]+", w)
or re.fullmatch(r"[A-Za-z0-9ぁ-んァ-ン]", w) or df[w] / n >= COMMON)
if drop_common:
counts = [{w: k for w, k in c.items() if keep(w)} for c in counts]
df = collections.Counter(w for c in counts for w in c)
vecs = []
for c in counts:
v = {w: (1 + math.log(k)) * (math.log((n + 1) / (df[w] + 1)) + 1) for w, k in c.items()}
size = math.sqrt(sum(x * x for x in v.values())) or 1.0
vecs.append({w: x / size for w, x in v.items()})
return vecs
def score(a, b):
"""似ている度合い(0〜100)と、それを作っている言葉"""
shared = sorted(((a[w] * b[w], w) for w in a.keys() & b.keys()), reverse=True)
return sum(x for x, _ in shared) * 100, [w for _, w in shared[:4]]
def similar(posts, counts, top=3, drop_common=True):
vecs = vectors(counts, drop_common)
result = []
for i, p in enumerate(posts):
cand = sorted(((score(vecs[i], vecs[j]), j) for j in range(len(posts)) if j != i),
key=lambda x: -x[0][0])
result.append((p, [(s, words, posts[j]) for (s, words), j in cand[:top]]))
return result
def show():
data = load(NOUNS)
posts = [p for p in load(POSTS) if p["url"] in data]
for p, cands in similar(posts, [data[p["url"]] for p in posts]):
print("● " + p["title"])
shown = [c for c in cands if c[0] >= MIN_SCORE]
for s, words, q in shown:
print(" %3.0f %s (%s)" % (s, q["title"][:40], "・".join(words)))
if not shown:
print(" (似た記事なし)")
def load(name):
with open(name, encoding="utf-8") as f:
return json.load(f)
def save(name, data):
with open(name, "w", encoding="utf-8") as f:
json.dump(data, f, ensure_ascii=False, indent=1)
if __name__ == "__main__":
cmd = sys.argv[1] if len(sys.argv) > 1 else ""
if cmd == "fetch" and len(sys.argv) > 2:
fetch(sys.argv[2])
elif cmd == "nouns":
nouns()
elif cmd == "similar":
show()
else:
print(__doc__)
書き方と役目
fetch・nouns・similar:記事を取る・名詞を数える・似た記事を出す、の 3 つに分けています。途中の結果は posts.json と nouns.json に残るので、計算のやり直しだけならサイトにも API にも送りませんFRAME_TITLES:外す枠の見出し。このサイトでは、左に線のある枠の最初の太字(「次に読む」「この記事の前にできていること」など)で見分けています。自分のサイトの枠の見出しに書き換えますSTOP・COMMON:数えない言葉。決めた一覧のほか、4 割以上の記事に出る言葉・数字・1 文字の英字やかなも外しますMIN_SCORE:似ている度合いがこれ未満なら、候補に出しません(理由は下の表 3)
手順 B:記事を取って、名詞を数える
python3 similar_posts.py fetch https://example.com
python3 similar_posts.py nouns
fetchは、記事を 20 本ずつ取って、1 秒あけて次を取ります。まとめて返せないページがあったときは(どれか 1 本の本文が原因で、空の返事になることがあります)、そのページだけ 1 本ずつ取り直します。https://example.com は自分のサイトのアドレスに変えます。fetchがHTTP Error 401: Unauthorizedで止まるときは、サイトがログインしていない人からの REST API を閉じています(セキュリティのプラグインなどの設定)。このサイトも閉じているので、記事の一覧だけ PC からアプリケーションパスワード付きで取り、同じ形の posts.json を作ってからnouns以降をラズパイで動かしました。パスワードはラズパイに置いていません。nounsは、記事 1 本につき 1 回 API に送ります。このサイトの 95 本で、約 16 秒でした(Raspberry Pi 3)。名詞を数えた記事は nouns.json に残るので、記事を足したときは、もう一度fetchとnounsを動かせば、新しい記事の分だけ送ります。
手順 C:似た記事を出す
python3 similar_posts.py similar
● ラズパイを始める:完全自動化の第一歩、買う物をそろえる(Raspberry Pi 5)
34 ラズパイの OS を microSD に書き込む:Raspberry Pi Im (microSD・Raspberry・Pi・カード)
33 ラズパイに PC から SSH でつなぐ:画面なしで起動して、IP アドレスを決 (ケーブル・ラズパイ・Raspberry・Pi)
32 ラズパイを有線の LAN でつなぐ:IP アドレスを決めて、Wi-Fi は予備に (LAN・ラズパイ・ケーブル・Wi)
● Claude(AI)にラズパイを操作させる:SSH の呼び名でつなぎ、頼むだけでコマンドを動かす
40 ラズパイに PC から SSH でつなぐ:画面なしで起動して、IP アドレスを決 (mypi・ssh・ラズパイ・PC)
32 ラズパイでデータベースのバックアップを完全自動化:レンタルサーバーから自宅の N (backup・ラズパイ・ssh・手順)
31 ラズパイ自身を毎晩バックアップ:スクリプトと設定を NAS に完全自動で保存し、 (backup・ラズパイ・ssh・鍵)
● 「ロト6」で次に当たりそうな番号をAIに予想させてみた
(似た記事なし)
- 左の数字が似ている度合い、かっこの中が近さを作っている言葉(重い順に 4 つ)です。
- 第 1 回(買う物)には、すぐ次の第 2 回(OS の書き込み)と第 3 回(SSH)が並びました。ロト 6 の記事は、いちばん近い記事でも 7 しかないので、何も出していません。
実際の記事でくらべた結果
このサイトの記事 86 本で試しました。ラズパイの記事 17 本については、先に自分で「この記事の次に読んでほしい記事」を選んでおき(合わせて 47 組)、スクリプトの上位 3 つに何組入るかを数えています。
| やったこと | 上位 3 つに出せた数(47 組のうち) | 1 位が当たった記事(17 本のうち) |
|---|---|---|
| ① 本文をそのまま名詞にした | 32(68%) | 16 |
| ② ①から、どの記事にも入っている決まった枠(目次・次に読む・この記事の前にできていること など)を外した | 35(74%) | 17 |
| ③ ②に、どの記事にも出る言葉を数えないことを足した | 35(74%) | 16 |
| ④ ③に、タイトルとカテゴリの重みを足した | 36(77%) | 15 |
いちばん効いたのは ② です。このサイトのラズパイの記事には、シリーズの目次や「次に読む」の枠が毎回入っていて、その言葉が重なるせいで、ラズパイの記事どうしが全部少しずつ似て見えていました。③ と ④ は、足しても上位 3 つの数はほとんど変わりません。スクリプトは ③ の形にしています(④ は 1 位の当たりが減るので加えていません)。
第 1 回「買う物をそろえる」の候補で、前と後をくらべると次のようになります。
| 第 1 回「買う物をそろえる」の似た記事 | 前(①) | 後(③) |
|---|---|---|
| 1 位 | × 第 8 回 有線の LAN(46) | ○ 第 2 回 OS を書き込む(34) |
| 2 位 | ○ 第 3 回 SSH でつなぐ(44) | ○ 第 3 回 SSH でつなぐ(33) |
| 3 位 | × 第 4 回 Claude に操作させる(39) | × 第 8 回 有線の LAN(32) |
枠を外すと、似ている度合いは全体に下がりますが、順位は正しくなりました。すぐ次の回(第 2 回)が 1 位に上がっています。
最後に、似ている度合いが低い候補を出さないときの目安です。
| 出さない目安 | 3 つ出る記事 | 1 つも出ない記事(86 本のうち) |
|---|---|---|
| 10 未満 | 69 本 | 5 本 |
| 12 未満 | 56 本 | 8 本 |
| 15 未満 | 42 本 | 22 本 |
ロト 6 の記事(7)のように、本当に似た記事がない記事には、出さないほうが親切です。ただ、15 にすると、シガーソケットの記事とポータブル電源の記事(15 弱)のような、話の近い組まで消えました。このサイトでは 12 くらいがちょうどよかったので、MIN_SCORE は 12 にしています。
気をつけること
- 言葉の重なりでは拾えない組がある:第 4 回(Claude にラズパイを操作させる)の候補に、バックアップの回が 2 つ入りました。記事の中で、例として「バックアップを取って」と頼む場面があり、backup などの言葉が重なったためです。反対に、「AI がラズパイの様子を見る」といった仕組みのつながりで選んだ組は、言葉があまり重ならないので上位に来ません。候補はそのまま貼らずに、人が見て選ぶのがよいと思います。
- シリーズの前後の回は、別に出す:前後の回は話が続いているので、似ている度合いとは別に、いつも出すほうが確実です。このサイトでは、前後の回を先に並べて、似ている度合いの候補からは前後の回を除くと、読む人に出せる「選んだ組」が 35 から 37 に増えました。
- 分かれてしまう言葉は words.txt でまとめる:「Wi-Fi」が「Wi」と「Fi」、「Raspberry Pi」が「Raspberry」と「Pi」に分かれて、1 つの言葉が 2 回数えられていました。「プラグイン」が「プラグ」と「イン」に分かれて、電気のプラグの記事と近くなることもあります。1 本目の記事の手順 D の words.txt に足すと、少しよくなる見込みです。
- 枠の見分け方はサイトごとに違う:このスクリプトは、このサイトの枠(左に線のある枠と、その見出し)に合わせてあります。自分のサイトでは、記事ごとに毎回載せている文言(目次・関連記事・広告の注記など)を探して、
FRAME_TITLESなどを書き換えます。 - 記事を足したら、全部を計算し直す:言葉の重さは、ほかの記事に何本出るかで変わるので、1 本足しただけでも、ほかの記事の似ている度合いが少し動きます。
similarの計算はすぐに完了するので、毎回全部を計算し直しています。
まとめ
MeCab の API で名詞を数えて、記事どうしの似ている度合いを出し、「次に読む」の候補を出せるようにしました。ラズパイの記事 17 本では、自分で選んだ組の 4 分の 3 ほどを上位 3 つに出せています。数え方の工夫より、どの記事にも入っている枠を外すほうが効いたのは、やってみるまで分かりませんでした。
このあと、記事の下の「関連記事」の欄にも使うことにしました。これから公開する記事には、似ている度合いが 12 以上の記事を高い順に 4 つまで、記事ごとに書いておき、欄はそれを先に出します(足りないときは同じカテゴリーの記事で埋めます)。「次に読む」は、候補を参考にして、今までどおり自分で選んでいます。言葉の重なりで拾えない組をどう出すかは、もう少し試してみます。