リストモードの紹介
SEO Spiderの基本的なクロールモードは、Webサイトを入力してクロールするデフォルトの「Spider」モードと、URLのリストをアップロードしてクロールする「List」モードの2種類です。
シンプルに聞こえますが、リストモードにはもう少し複雑で強力な高度な使い方があります。
まず、基本的なことを説明します。リストモードに切り替えるには、トップレベルのナビゲーションにある「モード > リスト」をクリックします。
リスト」モードは、通常の「スパイダー」モードとそれほど変わりませんが、2つの重要な違いがあります。
インターフェイスが変わり、アドレスバーの代わりにアップロードボタンが表示されます。
Limit Crawl Depth’ 設定は自動的に有効になり、’0′ に設定されます。これは、リストモードでアップロードしたURLのみがクロールされることを意味します。
2点目が重要な違いで、アップロードしたURLのみがクロールされるということです。これらのURLとその画像、外部リンクなどはクロールされません。アップロードされたURLのみをクロールし、それ以外のものはクロールしません*。
*ただし、JavaScriptレンダリングを使用している場合は、SEOスパイダーがヘッドレスChromeブラウザでページを正確にレンダリングするために、ページリソースをクロールする必要があることを除いては、です。
リストモードの以下のガイドを読み進めてください。
リストをアップロードする
リストモード（モード > リスト）では、「アップロード」ボタンをクリックし、ファイルからのアップロード、ダイアログボックスへの入力、URLのリストの貼り付け、XMLサイトマップのダウンロードを選択するだけです。
とてもシンプルですね。しかし、URLをアップロードする際、リストモードで最初に注意しなければならないことがいくつかあります。
プロトコルが必要
HTTPとHTTPSのどちらかが含まれていない場合（例：www.screamingfrog.co.uk/）、URLは読み込まれずアップロードされません。
found 0 URLs」というとても悲しいメッセージが表示されます。そのため、必ずプロトコルを含むURLを指定するようにしてください。
正規化・重複排除
SEO Spiderはアップロード時にURLの正規化を行い、クロール時に重複を排除します。例えば、以下の4つのURLをアップロードするとします。
https://www.screamingfrog.co.uk/
https://www.screamingfrog.co.uk/#fragment-this-wont-be-crawled
https://www.screamingfrog.co.uk/seo-spider/
https://www.screamingfrog.co.uk/seo-spider/
SEOスパイダーは、クロールすべきユニークなURLの数を自動的に判断します。
小さなリストであれば、この4つのURLが実際には2つのユニークなURLであることは（ほとんどのSEO担当者にとって）簡単にわかりますが、大きなリストになると、それがわからなくなることもあります。
SEOスパイダーページは重複していますが、フラグメントURL（’#’付き）は別のユニークなURLと見なされないため、アップロード時に正規化されます。
これらのURLがSEO Spiderにアップロードされると、4つのURLを発見したことが報告され、ウィンドウのダイアログで正規化されます – 。
しかし、クロール時にはユニークなURL（この場合は2つ）しかクロールされません。
アップロードした4つのURLのうち、ユニークな2つのURLしかクロールされていませんが、アップロードした元のリストをそのままの順番でエクスポートすることができます。
エクスポート
リストモードからのデータのエクスポートは、通常通り、どのタブでも「エクスポートボタン」を使うだけでいいのです。
ただし、リストモードのデータをアップロードした順番でエクスポートして他のデータと照合したい場合は、ユーザーインターフェースの上部にある「アップロード」と「開始」ボタンの横にある「エクスポート」ボタンを使用します。
エクスポートされるデータは、同じ順番で、重複や修正されたものも含めて、アップロード元のURLと全く同じものが含まれます。
オリジナルURL」はアップロードされたURL、「アドレス」はSEOスパイダーがクロールしたURLです。
リストモードでの高度なクロール
リストモードは、適切なセットアップを行うことで、実にパワフルな機能を発揮します。リストモードは、適切な設定を行うことで、非常にパワフルな機能を発揮します。
URLのリストと別の要素をクロールする
リストモードでは、アップロードしたURLのリストと別の要素をクロールすることができ、非常に柔軟性があります。
例えば、URLのリストとその画像をクロールしたい場合。あるいは、サイト全体ではなく、URLのリストとその新しく実装されたcanonicals、AMP、hreflangを監査する必要があった場合。あるいは、リンク切れを防ぐために、URLの一覧からすべての外部リンクを収集したい場合。これらはすべてリストモードで実行でき、プロセスはほとんど同じです。
リストモードにしたら、自動的に「0」に設定されているクロール深度の制限を解除してください。Config > Spider > Limits」で、設定のチェックを外してください。
これは、SEOスパイダーがURLのリスト、およびそれらがリンクしている同じサブドメイン上のすべてのURLをクロールするようになったことを意味します。
そのため、きめ細かい設定オプションでクロールされる対象を制御する必要があります。設定 > Spider > クロール’に移動します。クロール “の設定メニューで、”リソースリンク “と “ページリンク “をすべて無効化します。
次に、URLのリストと一緒に「クロール」したい要素を選択します。例えば、URLのリストとその画像をクロールしたい場合は、次のような設定になります。
また、SEOスパイダーページのような単一のURLをアップロードすると、ページとその画像の両方がクロールされることがわかります。
この高度な設定により、必要なリンク要素に的を絞った監査が可能になります。
リダイレクトの監査
サイトの移行に伴うリダイレクトを監査する場合、ターゲットURLと遭遇したリダイレクトチェーンをクロールすることが特に有効な場合があります。これにより、ターゲットURLの複数のリストを毎回アップロードして、最終的な結果を得る必要がなくなります。
このシナリオでは、’Config > Spider > Advanced’の ‘always follow redirects’設定を使用することをお勧めします。この設定を有効にすると、「クロール深度の制限」は無視され、リダイレクトは3XX以外のレスポンスに到達するまで（または「設定 > Spider > 制限」内の「最大リダイレクト数」の制限に達するまで）追跡されます。
その後、「すべてのリダイレクト」レポートを使用すると、リダイレクトの全チェーンを1つのレポートにマッピングすることができます。
このプロセスの詳細については、「サイト移行におけるリダイレクトの監査方法」のガイドをお読みください。
APIへの接続
リストモードでは、GA、GSC、PSI、バックリンク解析ツールのAPIに接続し、データを取り込むことが可能です。例えば、AhrefsのAPIに接続し、参照ドメイン、キーワード、トラフィック、値などのデータを取得し、「リンクメトリクス」タブに表示することができます。
これは、例えば競合分析のためのデータ収集に超有用です。
コメント