コロナ禍で仕事・プライベートを問わず、パソコンに向かう時間やスマホを手に取る時間が増えたという人は多いかと思います。あなたは一日に何回“Google”や“Yahoo”などの検索エンジンを用いて情報収集しますか？
検索キーワードを打ち込んだ時、やはりTOPページに上がったサイトから閲覧することが多いのではないでしょうか？それは、あなたの探す有益な情報が検索上位に上がるようプログラムされているからです。
検索エンジンが検索順位を決定するために、Webサイト内を自動で巡回させている専用プログラムのことをクローラーと言います。
【crawl】とは「這い回る」という意味です。
クローラーは、「スパイダー」「ロボット」「ボット」などとも呼ばれ、それぞれの検索エンジンごとに存在します。
クローラーの種類
- Google：Googlebot
- Yahoo!：YahooSlurp（日本以外のYahoo!）
- Bing：Bingbot
- 百度：Baiduspider
- Apple：AppleBot
など
※「日本のYahoo!」は2011年からGoogleの検索エンジンを使用しています。
クローラーの役割
クローラーは、既にデータベース化されたwebサイトのリンクをたどって自動で移動し（クローリング）情報収集を行います。HTML・画像・テキストファイル・PDF・CSSファイルなどの解析（パーシング）を行い、その結果を検索データベースに登録していきます。
検索エンジンは、この登録されたデータベースを基にランク付けを行い、ページの検索結果に表示させます。つまりクローラーが一度も巡回に来ていないサイトは検索エンジンに表示されることはないのです。
クローラビリティの改善
クローラーがスムーズに検索を行える環境改善を「クローラビリティの改善」といいます。これはSEOの面でとても重要なポイントとなります。
クローラビリティを向上させる方法をいくつかご紹介しましょう。
質の高いコンテンツの作成
ユーザーが求める有益な情報を発信することでサイトが活性化する。また、人気が高まることで被リンクが集まり、クローリングしやすくなります。
逆に被リンクや内部リンクの無いページは基本的にクローラビリティが低く巡回しづらいページになります。
XMLサイトマップの設置
サイトの構成を示した一般的な「サイトマップ」ではなく、検索エンジンに向けてクローリングしやすいようサイト内のページをリストアップして伝えるファイルのことです。
このXMLサイトマップを作成しておけば、ファイル内に記載されたURLを優先的にクロールすることを伝えることができます。被リンクや内部リンクの無いページの改善にも役立ちます。
テキストを使用する
クローラーはテキストを優先的に巡回していきます。人間には分かりやすいからといって画像ばかりを多用してしまうと、情報の薄いページと認識され「質が低い」と判断されてしまいます。
また、デザイン上テキストの画像化をすることも多々あると思いますがあまり好ましくありません。画像を背景にしてテキスト化できる部分はテキスト情報にするなどで対応が可能です。
まとめ
今やインターネット上には膨大な量の情報が錯綜しています。日々何気なく検索して目的のサイトにたどり着くことができているその裏でクローラーが大きな役割を果たしていることがわかりました。
また、自社のサイトの向上を目指すSEO対策においてもクローラーが巡回しやすいサイト作りや対策が必要となります。Webサイトについてお困りの方や、サイト向上に興味がある方はぜひご連絡お待ちしております。
メールでのお問い合わせ