検索エンジンの仕組みを知って、SEO上位表⽰を狙う⽅法
検索エンジンは、独⾃の webクローラー を使⽤して数千億ページをクロールすることで機能しています。これらのwebクローラーは、⼀般に検索エンジンボットまたはスパイダーと呼ばれます。
検索エンジンは、webページをダウンロードし、これらのページのリンクをたどって、利⽤可能になった新しいページを発⾒することにより、検索エンジンを利⽤するユーザーに検索結果をナビゲートしています。
検索エンジンの役割とは
検索エンジンの検索結果ページ（SERP）では様々な情報が表⽰されます。情報には、webページ、画像、ビデオ、インフォグラフィック、記事、研究論⽂、およびその他の種類のファイルへのリンクが混在しています。
⼈間の編集者のみが管理するwebディレクトリとは異なり、検索エンジンはwebクローラーでアルゴリズムを実⾏することで「リアルタイムの情報も管理」します。web検索エンジンで検索できないインターネットコンテンツは、「深層web」または「ディープweb」と呼ばれます。
ほとんどの検索エンジンは、クローラーに基づいてインデックスを作成します。クローラーとは、Google、Yahooなどの検索エンジンがインデックス付けする新しいページを⾒つけるための「収集プログラム」です。
クローラーによってweb上から収集されたデータがインデックス化され、巨⼤な検索データベースが作成されます。つまり、「巨⼤な検索データベース＝検索エンジン」ということになります。
Googleが持つクローラーには⽤途に応じて複数のクローラーが存在しています。例えば通常のweb検索には「Googlebot」、画像検索には「Googlebot-Image」、モバイル検索には「Googlebot-Mobile」といったように、様々なクローラーが存在します。
検索エンジンには3つの主要な機能がある
検索エンジンには3つの主要な機能があります。
①クロール
インターネットでコンテンツを探し、⾒つけた各URLのコード/コンテンツを調べます。
②インデックス
クロールプロセス中に⾒つかったコンテンツを保存および整理します。ページがインデックスに登録されると、関連する クエリ の結果として表⽰されるようになります。
③ランキング
検索ユーザーにとって最適なコンテンツを提供します。つまり、検索エンジンでの結果は最も関連性の⾼いものから最も低いものの順に並べられます。
クローラー対策
検索エンジンの情報収集はこのクロールから始まります。世界には数⼗億のwebサイトが存在すると⾔われており、この果てしない数のwebページをクローラーがwebサイト上のリンクを辿って情報を収集しています。
このクローラーの訪問頻度は、Googleのプログラムによって決められますが、他の評価の⾼いサイトからリンク得ていることや、検索上位に位置しているwebサイトでは頻繁にクローラーが訪れる傾向にあります。
クローラー対策には下記が有効になります。
- ページを頻繁に更新する
- リンク構造をきちんと作る
- Googleサーチコンソールを使⽤する
Googleサーチコンソール内の「URL検査」という機能があります。この機能を使うと、ページがインデックスされているのか確認ができ、登録されていない場合はインデックス登録のリクエストが可能です。クローラーがwebサイトにいつ訪れるかについて具体的な⽇数というものはありません。
作られたばかりのwebサイトはクローラーが⾒つけてくれるまでに時間がかかりますが、Googleサーチコンソールを使うことで、巡回を待つことなくクローラーに情報収集をしてもらうことができます。
インデックス登録
検索エンジンは、クローラーが集めた情報を処理してインデックスに保存します。インデックスは、クローラーが発⾒したすべてのコンテンツの巨⼤なデータベースであり、検索エンジンの情報源となります。
Googleのデータベースにページがインデックスされているかどうかは、検索エンジンで、「site:確認したいサイトやページのURL」と検索することで確認することができます。
Googleのランク評価基準
Googleの検索エンジンは進化を遂げ、⼩⼿先のテクニックで検索エンジンを騙すような、いわゆる「ブラックハット」と呼ばれる⼿法が通⽤する時代ではありません。結局のところ、ランキング対策で最も重要なのは、「ユーザー中⼼のコンテンツ」です。
ユーザーに本当に役に⽴つコンテンツ(情報や知識・ノウハウ、ニュース、娯楽等)を提供することが、Googleから⾼いランクの評価を得られるのです。
SEO対策はすべての検索エンジンで効果がある︖
ほとんどの⼈は、Googleが検索エンジンの中では最⼤の市場シェアを誇っていることを知っていますが、世界には30を超える主要なweb検索エンジンがあります。しかしSEO対策というと⼀般にはGoogleのみを意識した対策を⾏っている⽅が殆どです。
なぜGoogleのみを意識したSEO対策になってしまうのかというと、⼤部分の⼈々が数ある検索エンジンの中で、主に利⽤するのはGoogleであるということです。Google画像、Googleマップ、YouTubeを含めると、web検索の90％以上がGoogleで⾏われています。
⽇本ではGoogle以外にも「Yahoo!JAPAN」や「Bing」といった検索エンジンを使⽤している⽅も多いと思いますが、実はYahoo!JAPANの検索エンジンの中⾝はGoogleになります。
Bingはマイクロソフトが提供している検索エンジンで、主にWindowsでデフォルトブラウザとして利⽤されています。PCの検索ではまだ1割近いシェアを持っているので、その1割も徹底的にカバーしたいということであれば、BingのSEO対策も⾏いましょう。
Bingには「webマスターツール」というツールが⽤意されています。URLやサイトマップの登録、また所有者確認用のタグの埋め込みなどが必要で、それらが完了すればBingの検索結果にインデックスされ、検索結果に表⽰されるようになります。
現在では「ロボット型検索エンジン」が主流となり、その中でも精度の⾼い情報を提供できるGoogleの利⽤者が増え、今ではPCからの検索で90％のシェアを誇り、スマートフォンはAndroidの標準ブラウザやiPhoneのsafariの検索エンジンが初期設定ではGoogleになっています。
よって、SEO対策はすべての検索エンジンで効果があるというわけではありませんが、「GoogleのSEO対策だけを考える・⾏う」というのは間違いではありません。
検索エンジンではどのようにページを解析して情報を集めているのか
webサイトがクロールされたことを確認したら、次はインデックスに登録できるようにすることが重要です。しかし、webサイトが検索エンジンによって検出されたからといって、必ずしもwebサイトがインデックスに格納されるとは限りません。
クローラーがページを⾒つけると、検索エンジンはブラウザと同じようにページをレンダリングします。その過程で、検索エンジンはページのコンテンツを分析します。そうした分析情報はすべてインデックスに保存されます。
クローラーが⾃分のwebサイト（ページ）をどのように分析しているか確認をするには
ページの「キャッシュ」には、Googlebotが最後にクロールしたときの「スナップショット」が反映されます。Googleは頻繁にwebページをクロールおよびキャッシュを⾏います。
ページのキャッシュバージョンを確認するには、検索結果のURL横にあるドロップダウン⽮印をクリックし、「キャッシュ」を選択します。「webサイトのテキストのみ」のバージョンを選択して、重要なコンテンツが効果的にクロールおよびキャッシュされているかどうかを判断することができます。
