editorial-collector

収集データの構造

定期収集データ（GitHub Actions 自動生成）

毎朝（JST）に Actions が全社分を収集し、このページに反映します。

• 取得対象は各サイトの無料公開部分のみです
• サイト側の仕様変更でセレクタ調整が必要な場合があります
• 利用時は各サイトの利用条件に従ってください
• 低頻度での利用を推奨します

STEP 1 — デモモードで触ってみる（設定不要）

下の Web-UI を開き、「デモデータ生成」を押すだけです。全8社分のサンプル社説が投入され、ダッシュボードとエクスポートを試せます。

STEP 2 — Worker プロキシを用意する（実データ取得する場合）

新聞サイトは他オリジンからの fetch を CORS で拒否するため、Cloudflare Worker を中継させます。

// worker.js — 指定 URL の HTML を返す最小構成（悪用防止のため allowlist 推奨）
const ALLOW = ["asahi.com","mainichi.jp","yomiuri.co.jp","sankei.com",
               "hokkaido-np.co.jp","tokyo-np.co.jp","kumanichi.com"];
export default {
  async fetch(request) {
    const target = new URL(request.url).searchParams.get("url");
    if (!target || !ALLOW.some(h => target.endsWith(h)))
      return new Response("forbidden", { status: 403 });
    const res = await fetch(target, { headers: { "User-Agent": "editorial-collector/0.1.2" } });
    return new Response(res.body, {
      status: res.status,
      headers: { "Content-Type": res.headers.get("Content-Type") ?? "text/html",
                 "Access-Control-Allow-Origin": "*" },
    });
  },
};

npx wrangler deploy   # デプロイ後、https://xxx.workers.dev/?url=... 形式のURLを下の設定欄へ

STEP 3 — ローカル版（CLI / marimo）で本格運用

git clone https://github.com/watanabe3tipapa/editorial-collector
cd editorial-collector && uv sync
uv run editorial-collector collect --all        # 収集
uv run editorial-collector report               # HTMLレポート出力
uv run marimo run notebook.py                   # GUI起動

# JS描画対応社（朝日等）は .env に認証情報を設定
cp .env.example .env   # CF_ACCOUNT_ID / CF_API_TOKEN を記入

Word Cloud

収集済みタイトルからキーワードを抽出して SVG 描画します（辞書不要の簡易トークナイザ）。