SEOスパイダーでXMLサイトマップを作成する方法
このチュートリアルでは、Screaming Frog SEO Spiderを使用してXML Sitemapを生成する方法を説明します。まず始めに、500URLまで無料で使えるライト版のSEOスパイダーをダウンロードする必要があります。
あなたが500以上のURLをクロールしたい場合は、クロールの制限を削除し、設定オプションを開き、年間ライセンスを購入することができます。
XMLサイトマップを作成する手順は以下の通りです。
ウェブサイトをクロールする
SEOスパイダーを開き、「enter url to spider」ボックスにクロールしたいウェブサイトを入力またはコピーして「Start」ボタンを押します。
サイトマップ > XMLサイトマップ」をクリックする
クロールが100%に達し終了したら、トップレベルメニューの「サイトマップ」の下にある「XML Sitemap」をクリックします。
サイトマップの設定項目が表示されます。
含める「ページ」の選択
内部」タブに含まれるHTMLページで、クロールからの応答が「200」OKのものだけが、デフォルトでXMLサイトマップに含まれます。そのため、リダイレクト（3XX）、クライアントサイドエラー（リンク切れなどの4XXエラー）、サーバーエラー（5XX）がサイトマップに含まれることを心配する必要はないでしょう。ただし、シナリオによってはこれらを含める必要があるため、オプションで選択することができます。
robots.txt でブロックされているページ、「noindex」に設定されているページ、「canonicalised」（正規のURLはページのURLとは異なります）されているページ、ページ分割されているページ（URLは rel=”prev” ）、PDFも標準では含めません。これはすべてXML Sitemapの「ページ」設定で調整できますので、お好みのものを選択してください。
応答なし、ブロック、リダイレクト、エラーのURLは、「応答」タブで、それぞれのフィルターを使用して確認できます。ディレクティブ」タブで、どのURLが「noindex」「canonicalised」「rel=”prev” link element」になっているかを確認し、同様にフィルターを使用することができます。
XMLサイトマップからページを除外する
上記の設定オプションの他に、XMLサイトマップに含めたくない「内部」HTML 200レスポンスページがある場合があります。
例えば、サイトマップ内に「重複する」ページを含めるべきではないでしょう。あるページが、たとえば http://example.com と http://www.example.com のように、2つの異なる URL で到達できる場合（そしてどちらも ‘200’ 応答で解決する場合）、サイトマップには1つの優先する正規バージョンのみを含めるべきです。セッション ID を含む URL を含めるべきではありません（URL リライト機能を使って、クロール中にこれらを取り除くことができます）。また、不要なパラメータを多く含む URL や、Web サイトの不要なセクションを含めることもできます。
これらのURLがXML Sitemapに含まれないようにするには、いくつかの方法があります。
もし、XML Sitemapに含めたくないウェブサイトのセクションやURLパスがある場合、事前クロールの設定でそれらを除外すればよいのです。クロールされないので、「内部」タブやXMLサイトマップに含まれることはありません。
すでにクロールしたURLでXML Sitemapのエクスポートに含めたくないものがある場合は、XMLサイトマップを作成する前に、ウィンドウ上部の「内部タブ」でハイライトし、右クリックして「削除」するだけです。
または、「内部」タブをExcelにエクスポートし、フィルタリングして不要なURLを削除し、リストモードでファイルを再アップロードしてから、XMLサイトマップを作成することも可能です。
最終更新日を選択する
ファイルの最終更新日を含めたくない場合は、「include the lastmod tag」ボックスを「untick」することができます。これは、ページが最後にいつ更新されたかを検索エンジンに伝えるためのヒントにすぎません。
lastmod」を含める場合は、サーバーから直接提供された「最終更新日」を使用するか（「内部」タブの「最終更新日」カラムで確認できます）、カスタム日付を使用するかを選択するだけです。
URLの「優先度」を選択する
優先順位」は、XMLサイトマップに含めるオプションの属性です。URLの優先順位を設定しない場合は、「include priority tag」のボックスを「untick」することができます。優先順位は、検索エンジンに対して、サイトの他のURLとの相対的な重要性を示すヒントを提供します。有効な値は0.0から最高の優先度1.0までで、デフォルトは0.5です。
SEOスパイダーでは、URLの「レベル」（深さ）に応じて設定することができます。URLの「レベル」は、「内部」タブの「レベル」欄で確認することができます。
上のスクリーンショットに示すように、デフォルトでは、ホームページ（またはクロールの開始ページ）の優先度が最も高い「1」に設定され、レベル5以上では0.5まで、深さのレベルごとに優先度が0.1ずつ下がります。これらは、お好みで調整することができます。
URLの「優先度」は、検索エンジン内でのスコアに影響を与えないことを覚えておいてください。優先度」は、最も重要なページがクロールされ、インデックスされる可能性を高めるために使用されます。実際には、Googleはアルゴリズム的にこの作業を行うのに非常に良い仕事をしています。
URLの「変更頻度」を選択する
changefreq」は、ページがどの程度の頻度で変更されるかを「示唆」するもう一つのオプション属性です。
SEO Spiderでは、URLの「最終更新」レスポンスや「レベル」（深さ）に応じて設定することが可能です。最終更新日時から計算する」オプションは、過去24時間以内にページが変更された場合は「毎日」、そうでない場合は「毎月」と設定されることを意味します。
これらは検索エンジンへのコマンドではなく、単なる「ヒント」であることを忘れないでください。Googleは基本的に、XMLサイトマップに記載された「ヒント」に基づいて、アルゴリズムで決定された頻度でURLをクロールします。
サイトマップに含める画像を選択する
XMLサイトマップに画像を含めるかどうかは、完全に任意です。もし「画像を含める」オプションにチェックが入っていれば、「内部」タブ（および「画像」タブ）にあるすべての画像がデフォルトで含まれます。画像がCDNやサブドメインにある場合、または外部にある場合は、UI内の「外部」タブに表示されます。正規表現を入力することで、XMLサイトマップにこれらの画像を含めることができます。
通常、XML Sitemapに自社のロゴ、スペーサー、ソーシャルメディアのプロフィールアイコンなどの画像を含める必要はあまりないため、一定の数のソース属性参照を持つ画像のみを含めるように選択し、これらを除外することができます。
ロゴのような画像はサイト全体にリンクされることが多いですが、例として商品ページの画像は通常含めたいところですが、1～2回しかリンクされないかもしれません。images’ タブの ‘IMG Inlinks’ カラムには、画像が何回参照されたかが表示され、含めるのに適した ‘inlinks’ の数を調整するのに役立ちます。
また、他のURLと同じように右クリックで画像を削除することもできます。
hreflangを含める
すでに属性やHTTPヘッダーでhreflangを設定している場合、XML Sitemapにhreflangを追加することができます。
注意 – SEO Spiderがhreflangを含むXMLサイトマップを作成できるのは、現在すでに存在している場合（属性またはHTTPヘッダーによるもの）のみです。詳しくはこちら。
‘次へ’をクリックしてXML Sitemapを生成します
サイトマップの属性やオプションの設定が終わったら、「次へ」をクリックすれば、XMLサイトマップが作成されます。サイトマップファイルは50,000以上のURLを含むことができず、圧縮せずに50MB以下である必要があります。したがって、49,999以上のURLがある場合、SEOスパイダーは自動的に追加のサイトマップファイルとサイトマップの場所を参照するサイトマップインデックスファイルが作成されます。
その後、「保存」をクリックし、マシンのお好きな場所に保存してください。XMLサイトマップの作成に必要な手順は以上ですが、この後、さらにおすすめの手順があります!
GoogleにXMLサイトマップを送信する
これでXMLサイトマップを検索エンジンに登録する準備が整いました。インデックスを追跡する方法として、ウェブマスターツールからXMLサイトマップをGoogleに送信することを強くお勧めします。
GoogleにXMLサイトマップを送信する
Robots.txtにサイトマップエントリーを挿入する
最後に、XML Sitemapsの存在を検索エンジンに知らせるために、robots.txtファイル内の任意の場所に以下の行を含めることをお勧めします（Googleウェブマスターツールに送信済みかどうかにかかわらず）-。
サイトマップ： http://www.example.com/sitemap.xml
以上です。上記のガイドは、SEO Spiderソフトウェアを使って、あなたのウェブサイトのGoogle XML Sitemapを生成する方法を説明するのに役立つと思います。
コメント