クローラー（signal-miner-bot）について

名前と運営者

• 名前: signal-miner-bot
• User-Agent: signal-miner-bot/0.x (+https://microgram.jp/bot)
• 運営者: microgram（菊池聡）
• 連絡先: info@microgram.jp

目的

日本語の公開 Web ページを巡回し、検索インデックスを作るための研究・開発用途です。

アクセスの作法

• robots.txt（RFC 9309）に従います。
• 同一ホストへのアクセスは、既定で 5 秒に 1 回までです。robots.txt に Crawl-delay があれば、それに従います。
• noindex のページは索引に入れません。nofollow のリンクはたどりません。
• 429 や 503 が返ったときは、間隔を空けます。

アクセスを止めたいとき

robots.txt に次を書くと、サイト全体への巡回が止まります。

User-agent: signal-miner-bot
Disallow: /

個別の停止や、取得済みデータの削除は、info@microgram.jp へのメールで受け付けます。