このツールについて
robots.txtチェッカーは、指定したサイトのrobots.txtファイルを取得して解析し、User-Agentごとのクロール許可/拒否ルールやSitemapの指定を一覧表示します。SEO対策やクローラー設定の確認に役立ちます。
使い方
- 入力欄にサイトのURL（httpまたはhttps）を入力します。
- 「チェック」ボタンをクリックします。
- robots.txtの生データと解析結果が表示されます。
使用例
- 自サイトのrobots.txtの設定内容を確認する。
- 競合サイトのクロール許可/拒否パスを調べる。
- Sitemapの指定が正しく記載されているか確認する。