SEOクローラーが適切に巡回できるようにする(SEO内部対策5) - 第16回ヘビーメタル

こんにちは、メディア事業部ウェブディレクターのコネル飯塚です。

第16回となる、この「ヘビーメタルSEO」ですが、前回の「内部リンクを構造的に充実させる」で、検索エンジンのクローラーは、内部リンクをたどりながらページ間を移動することで、インデックスしたり、ページ同士の関係性を判断しているため、内部リンクの最適化ポイントをしっかりと押さえ、構造的に充実させることで、ユーザーの利便性を高め、クローラーがスムーズに巡回できるようにすることの重要性について学びました。

内部リンクは、主要なページにリンクを集めることでユーザーや検索エンジンに重要なコンテンツを伝えることができますし、パンくずリストを設置することでナビゲーションの役割を果たし、サイト内の階層構造を伝えることができます。

次に、内部リンクだけではなく、クローラーがさらにスムーズに巡回できるようにするにはどうすれば良いのか？

特に新しいコンテンツを追加したり更新した場合、できるかぎり早く気付いてクローラーに巡回してもらうためにはどうすれば良いのか、、、

私にはさっぱりわかりません。。

本日はこの辺りを「ようすけべー」師匠に聞いてみようと思います。

クローラーが適切に巡回できるようにする

「ようすけべー師匠！それでは今回もよろしくお願いいたします。」

「SEO内部対策として本日は『クローラーが適切に巡回できるようにする』にはどうすれば良いかについて説明していきたいと思う！」

「内部リンクを適切に張り巡らせることでクローラーがスムーズに巡回できる以外に何か方法があるのですか？」

「まず、検索エンジンもユーザーと同様に内部リンクをたどって、サイト全体の構造を把握しようとするが、サイト構造が複雑で深くまでリンクをたどれなかったり、リンク切れが起こっていたりする場合は、クローラーがページを見つけられずインデックスされない可能性があるのDEATH!!」

「たどれないからページの存在を見つけられないってことですね！」

「そして、クローラーにサイトの情報をすべて正確に、または最新の情報をより早く読み取ってもらうには、頻繁に巡回してもらう必要がある。
1回のクロールで収集できない情報は複数回かけて、または別のルートから巡回してインデックスしてもらおうということDEATH!!」

「じれったいですね！1回でわかって欲しいですね！」

「クローラーが巡回してくれない、またはクローラーの巡回頻度が少ない場合は、たとえ他のSEO対策を必死にやっても、適切にインデックスされなければ、検索結果に良い影響を与えることができないということDEATH!!」

「いくら素晴らしいコンテンツを作っても、うまくインデックスされなければ検索エンジンから適切な評価を受けられないということですね！」

「サイトの検索順位を向上させるために、クローラーの巡回頻度が増えるような施策を行ない、一つ一つのページの情報をより適切に、より早くインデックスしてもらうおう！」

クローラーの巡回頻度を増やす方法

「それでは、クローラーの巡回頻度を増やすためにできることを紹介していこう！」

XMLサイトマップを設置する

サイトをリリースしたばかりで、まだクローラーが巡回しておらず、サイト全体にクローラーを呼びこむ必要があるなど、まずはXMLサイトマップを設置しよう！

XMLサイトマップを作成し、Google Search Consoleからサイトマップを登録することで、クローラーがサイトを巡回するまでのスピードを短縮することができ、サイト内のページ構造やインデックスさせたいページとその優先度などをGoogleに伝えることができる。

XMLサイトマップを作成する場合、自動生成ツール「sitemap.xml Editor」などを使って簡単に作ることができる。
生成された「sitemap.xml」ファイルを事前にサイトにアップしておこう。

そして、Google Search Consoleのダッシュボードにログインして、「クロール」→［サイトマップ］→［サイトマップの追加］から、先ほどアップしたサイトマップのURLを入力して「サイトマップを送信」すれば良い。

サイトに新しいページを追加したり、内容が更新された場合は、そのたびにサイトマップを更新したものを［サイトマップ］→「再送信」する必要がある。

もしWordPressを使っている場合は、「Google XML Sitemaps」というプラグインを使って、簡単にXMLサイトマップを生成することができる。こちらはGoogle Search Consoleにサイトマップを登録した後は、ページを追加したり、内容を更新しても、自動的にサイトマップを更新してくれるので便利なのDEATH!!

robots.txtにクロールが不要なページを設定する

robots.txtはクローラーのファイルやディレクトリへのアクセスを制御するために使われ、巡回してほしくないページを伝えることができる。

もちろんmetaダグの「noindex」を指定してインデックスを拒否することも可能だが、動的なサイトでファイル単位で「noindex」を指定するのが困難な場合や、ディレクトリ単位でアクセスを制御したい場合などで使われる。

インデックスさせる必要のないページはrobots.txtに指定して、余計なクロールを制御しよう！そして、クロールして欲しいページだけを巡回してもらうことで、クロールが効率化され、巡回頻度の増加に繋がるのDEATH!!

外部サイトからの被リンクを増やす

ここでは被リンク効果を獲得するためではなく、クローラーを外部サイトから自サイトに誘導するために必要ということDEATH!!

もちろん、オーソリティの高いサイトからの自然な被リンクが良いとされているが、そこからのリンクを得ることでクローラーを呼びこむための1つのルートが確保されると言える。

内部対策ではないが、良質なリンクを獲得することが、クローラーの巡回頻度の増加に繋がるのDEATH!!

サイト内からの外部へのリンクを精査する

サイト内のリンクは、ユーザーにとって役に立つことを優先させるべきであり、不要なリンクは徹底的に排除する必要がある。

外部へのリンク先のページでリンク切れが起きていないか、自サイトの評価を下げてしまうような、ペナルティを受けているサイトへのリンクがないか、過度なアフィリエイトリンクがないかなどを精査する必要があるのDEATH!!

これらサイト内からの外部へのリンクもクローラーに適切に巡回されるようにしておこう！

サイトの更新頻度を上げる

ユーザーにとって有益な情報として、新たにコンテンツを追加したり、古いコンテンツを最新の情報にメンテナンスしたりすることは、旬な情報を提供していることであり、検索エンジンから良い評価を得られやすい傾向がある。

常に新しいページを増やすことで、定期的にインデックスを増やすことができ、クローラーが頻繁に巡回しやすいサイトになる。

検索エンジンからもユーザーからも評価を受ける良質なコンテンツを継続的に増やすことができれば、サイトの評価が上がり、クローラーの巡回頻度も増やすことができるのDEATH!!

Fetch as Googleからインデックスに送信する

どうしてもクローラーが巡回してくれなかったり、新たにページを追加したり更新してからすぐにでもインデックスしてもらいたい場合、Google Search Consoleの「Fetch as Google」からインデックスをリクエストすることができるのDEATH!!

詳しくは、「Fetch as Googleの使い方」で解説されているので参考にしよう！

まとめ

「最後のまとめとして、クローラビリティが低いとサイトの情報を正確に把握できず、検索エンジンに適切な評価をしてもらえなかったり、そもそもページをクロールしてもらえずインデックスされないような状況が生まれる。
クローラーの巡回頻度が増えれば、検索結果に反映されるスピードも早くなるので、SEOに有利に繋がるのDEATH!!」

「特に新規のサイトや階層の深い大規模サイトには、必須の施策ですね！」

「SEO内部対策として、クローラーが適切に巡回できるようし、その頻度を増やせるような施策をしよう\m/」

「本日はようすけべー師匠有難うございました。ではまた次回よろしくお願いいたします。」

「STAY METAL!!!」

合わせてチェックすべきSEO内部対策と外部対策のポイント\m/