クローラーとは？検索順位を左右する5つのポイント

今回はSEOにおける基礎知識「クローラー」について解説します。

クローラーはWebサイトの検索順位と密接な関係があり、クローラーの仕組みを理解しておくことは、ブログで稼ぐ上で非常に肝心です。

この記事では、クローラーとはなにか？クローラーを巡回させる方法、クローラビリティを高める方法について解説します。

検索順位を上げるSEOのポイントについてはこちらの記事で解説しています。

クローラーとは

クローラーとは、Webサイトや画像、動画などの様々なデータを集めて分析するために、インターネット上を巡回するプログラムのことで「検索ロボット」「ボット」「スパイダー」とも呼ばれます。クローラーがインターネット上を巡回することを「クローリング」と言います。

クローラーは「HTTP/HTTPSプロトコル」を用いて巡回を行います。そのため、HTTPやHTTPSで始まるWebサイトは網羅的に情報収集をすることができます。

クローラーの目的は、検索エンジンのデータベースおよびインデックスの作成、統計調査などです。

クローラーが無ければ、インターネット上にある膨大な情報の良し悪しを判定する機能がなく、インターネットで情報を検索したときに、無作為に検索結果が表示されてしまいます。全く価値のないWebサイトや、中には悪意のあるWebサイトが検索上位に表示されるようなことがないのも、クローラーの働きなのです。

Googleの場合は、Google検索エンジンの情報収集を行う「Googlebot」が収集した情報を、200以上ものプログラムで分析し、検索結果を決めています。

また、Google以外にも、以下のように、BingやBaiduなどが独自のクローラーを持っており、それぞれのプログラムにより、検索エンジンの検索順位を決めています。

• Googlebot（GoogleやYahoo!）
• Yahoo Slurp（日本以外のYahoo!）
• Bingbot（Bing）
• Baiduspider（百度）

SEOはクローラー対策からはじまる

ブログを収益化するには、Webサイトを検索上位に出現させるためにSEO対策を行います。

検索エンジンの仕組みは、「クロール（巡回）」「インデックス（登録）」「ランキング（順位付け）」の主に3つの仕組みで構成されています。

クローラーに巡回してもらうように、クローラビリティを高めることが重要です。クローラビリティとは、クロールしやすい状態の意味で使われる言葉です。

クローラビリティを高めると、クローラーが何度もWebサイトに訪問するようになるので、Webサイトの構成や内容がしっかりと認識されるようになり、SEO効果が高まります。

Webサイトをクローリングする方法

作りたてのWebサイトは、検索エンジンに存在を知ってもらわなければ、いつまでもクロールされません。

そこでWebサイトの存在をGoogleに伝えるために、「XLMサイトマップ」をGoogleに送信します。

XLMサイトマップとは、Webサイト内のコンテンツURLやコンテンツの数、階層、最終更新日、更新頻度などを記述したsitemap.xmlというファイルです。クローラーはXLMサイトマップを参考にサイト内を巡回してインデックスしていきます。

WordPressで構築したブログであれば、「Google XLM Sitemaps」プラグインを使えば、自動的にXLMサイトマップが作成できるので便利です。

XLMサイトマップを作ったら、Google Search Console（グーグルサーチコンソール）を使って送信します。

サーチコンソールにXLMサイトマップを登録が完了すると、以降はクロールされるようになります。

とはいえ、Webサイトによってはクローラーの訪問頻度が少ない場合があり、自らGoogleの訪問を呼び込む努力も必要です。

サーチコンソールには、「URL検査」という機能があり、早急にインデックスさせたいURLの「インデックス登録をリクエスト」すると、2週間以内を目安にクローラーが回ってきます。

クローラビリティを高める5つのポイント（重要）

ディレクトリ構造を整理する

ディレクトリ構造を整理することで、Webサイト全体の構成をクローラーに認識してもらいやすくなります。

全てのページがトップページ直下の整理されていないWebサイトでは、クローラーからみて構造を理解することが難しくなります。

そのため、コンテンツをカテゴリー分類することで、コンテンツ同士の関連性をクローラーに伝えることが重要です。

また、ディレクトリ構造では「クリック階層」を意識することもクローラビリティを高める要素です。クリック階層とは、トップページから何回のクリックでコンテンツに辿り着けるかを表す言葉です。

適切なクリック階層は3回までとされており、3回以上のクリックでしか辿りつけないページがある場合には、改善が必要です。

内部リンクを張り巡らせる

ディレクトリ構造を整理したら、内部リンクを適切に貼ってコンテンツを網羅的に巡回するようにします。

クローラーはHTTPやHTTPSで始まるWebサイトを巡回していると説明しましたが、Webサイト内のリンクを発見し、次のコンテンツ巡回しています。

クローラーが辿るリンクは「グローバルメニュー」「コンテンツ内のテキストリンク」「簡易サイトマップ」などです。

そのため、コンテンツから別のコンテンツへの内部リンクを貼ることも、クローラビリティを高める重要なポイントなのです。

内部リンクを貼る際にも「アンカーテキスト」に注意が必要です。例えば、内部リンクを「こちら」といった文字に設定していると、検索エンジンも「こちら」の先に何が書かれているのか認識できなくなります。

そのため内部リンクには、リンク先のコンテンツの概要が伝わるようなテキストを設置しましょう。

また、内部リンクも不用意に貼りすぎは禁物です。GoogleのSEOスターターガイドによると、サイト上の全てのページを他のすべてのページにリンクすることを避けるべきとしています。そのため、関連性の低い内部リンクを無理やり貼るのは避けましょう。

避けるべき方法:

• ナビゲーション リンクを複雑な関係にする（例: サイト上のすべてのページを他のすべてのページにリンクする）。
• コンテンツを過度に細分化する（そのため、ホームページから到達するのに 20 回もクリックする必要がある）。

出典：Search Engine Optimization (SEO) Starter Guide

パンくずリストを設置する

「パンくずリスト」を設置することで、ディレクトリ構造がわかりやすくなり、クローラーが巡回しやすくなります。

この記事でいえば、「HOME >副業 >ブログ・Webライティング 」とパンくずリストが設置されていますが、これはHOMEとカテゴリーに内部リンクを貼っていることを意味します。

内部リンクはクローラーを巡回させる重要なポイントとなるため、必ずパンくずリストは設置しましょう。

URLをシンプルにする

URLが複雑になるほど、クローラービリティが悪化します。

この記事はクローラーについて書いている記事なので、パーマリンクを「crawler」としています。例えば「what-is-crawler」なども案としてはありますが、よりシンプルなものがベターです。

または、「投稿ID」を文字列に使うことで、URLを短くする方法もあります。いずれにせよ、シンプルで短いURLがクローラビリティを高めます。

noindexで巡回させない

SEO評価を高めるには、質の高いコンテンツを作成することが絶対条件ですが、Webサイトの中には質が低くても必要なコンテンツが存在します。

例えば「お問い合わせページ」「サイトマップ」などは、コンテンツとしては質は低いものの必要なページです。

そのような必要だけどインデックスさせたくないページは「noindex」タグを設定することでインデックスを避けることができます。

noindexを使うと、インデックスを避けることができますが、noindexだらけのWebサイトは質の低いコンテンツだらけと判断されてしまいます。noindex設定は必要最低限に留めましょう。

まとめ 30秒でこの記事が理解できる！

Webサイトのクローラビリティを高めることは、SEO対策にも繋がります。

Webサイトを作りたての場合は、Google Search ConsoleにXLMサイトマップを送信し、クローリングを促します。

以降は、ディレクトリ構造や、内部リンクを張り巡らすことに注意し、クローラビリティを高めることが重要です。

とはいえ、質の低いコンテンツをクロールさせるのはマイナスでしかありません。クローラビリティもさることながら、E-A-Tを意識したユーザビリティの高いコンテンツを作成することを心掛けましょう。

最後まで読んでいただきありがとうございました。