最近使ったもの

    ツールを開くと、ここに表示されます。

    Robots.txt生成

    検索エンジン用のrobots.txtファイルを作成します

    このツールを共有

    問題を報告

    非公開の入力内容やファイルは含めずに、問題を説明してください。

    このツールはどのくらい役に立ちましたか?

    このツールはどのくらい役に立ちましたか?

    クローラーのルール

    開始用テンプレートを選び、クローラーのアクセスとパスの例外を調整してください。

    ルールグループ

    グループ 1

    Disallow · ブロック対象パス
    Allow · 例外
    サイトマップと任意のディレクティブ

    作成したrobots.txt

    User-agent: *
Disallow: /admin/
Disallow: /private/
Allow: /

    プレビューが更新されました。公開する前にルールを確認してください。

    ウェブサイトに設置

    1. 生成した内容をコピーまたはダウンロードしてください。
    2. robots.txtという名前のUTF-8テキストファイルに保存してください。
    3. 対応するホスト、プロトコル、ポートのルートにアップロードしてください。
    4. yoursite.com/robots.txtにアクセスして内容を確認してください。
    5. 公開後、Search Consoleでrobots.txtレポートを確認してください。

    公開前の確認

    • robots.txtはクロールを制御します。ブロックしたURLも検索結果に表示される場合があります。
    • noindexを使用するには、クローラーがページを取得し、メタタグまたはレスポンスヘッダーを読めるようにしてください。
    • 非公開ページやステージングページは認証で保護してください。robots.txtは公開されており、誰でも読めます。
    • ページの描画に必要なCSSとJavaScriptをクロールできる状態にしてください。
    • 各テンプレートを実際のURL構造と照らし合わせて確認してください。
    • クローラーごとに異なるルールが必要な場合は、特定のユーザーエージェントを指定してください。
    • パスは大文字と小文字を区別します。*はワイルドカード、$はURLの末尾を表します。

    Robots.txt生成について

    このRobots.txt生成は、ウェブサイト用に正しい形式のrobots.txtファイルを作成できる無料のオンラインツールです。robots.txtファイルはテクニカルSEOの基本要素で、検索エンジンのクローラーがアクセスできるページやディレクトリ、アクセスできないページやディレクトリを伝えます。クローラー向けのルールにより、指定したパスへのリクエストを減らせます。ブロックしたURLも検索結果に表示されることがあり、非公開の領域にはrobots.txtではなく認証が必要です。

    クローラー向けのルールが必要な場合、ウェブサイトはそのホストのルートにrobots.txtファイルを置いて使えます。このファイルがなくてもクロールを許可できます。このツールには、よく使うテンプレート、複数のユーザーエージェントのグループ、任意のサイトマップ欄と遅延欄が用意されています。ご自身のサイトのパスに合っているか確認してください。

    ブログ、ECサイト、コーポレートサイト、SaaSアプリケーションなど、どのような運営でも、robots.txt作成ツールならクローラー向けのルールを視覚的に設定でき、生成されたファイルをリアルタイムでプレビューして、ワンクリックでコピーできます。ルールの編集にコーディングは不要です。ディレクティブへの対応状況はクローラーによって異なります。GoogleはUser-agent、Allow、Disallow、Sitemapに対応していますが、任意の遅延欄や従来のHost欄は無視されることがあります。

    SEO

    最近追加されたツール

    すべてのツール

    プライバシー設定

    分析、広告、パーソナライズの設定を選択してください。必須ストレージは、テーマや保存したツールなどの機能を維持するために使われます。

    必須ストレージは常に有効です。