- TOP
- KABUKI Blog
- Crawl Budget Optimizerの開発経緯と重要な補足
Crawl Budget Optimizerの開発経緯と重要な補足
本日プレスリリースを発行いたしました通り、株式会社カブキはGooglebotの生ログ解析を目的としたSEOツールであるCrawlBudget Optimizerをリリースしました。
このツールはGooglebotのログの傾向を見てサイト改善に役立てるというマニアックな機能をウリとしたツールです。
本稿では私がなぜこのツールをリリースしようと思ったのか、その経緯をお話したいと思います。
目次
1．自己紹介
はじめに、そもそもお前はだれだ、という方も多いかと思いますので、簡単に自己紹介をさせていただきます。
株式会社カブキの代表でありますわたくし片川創太は、2010年からSEOの世界で働いている（この業界では新参の部類です）プレイヤーでして、まったくもって運が良いことにお取引先様やかわいがってくださる先輩方、良き仲間達に恵まれ本日までなんとかやってくることができました。
幼いころから物事を理詰めで考えることが好きだった私は、このSEOというフィールドが随分肌にあっていたようで、大きなサイトのご支援をする機会にも恵まれました。その経験を活かして立ち上げたのが株式会社カブキです。
2．SEOのいま
現在のGoogleが重視しているのは「（a）圧倒的な権威サイト（オーソリティー。官公庁や大企業のメガサイトやブランドサイトなど）もしくは（b）唯一無二の優れたコンテンツを持つページ」と言われています。
このあたりはSEOに携わる皆さんでしたら実感しているところかと思います。
もちろんそれ自体間違いでは無いのですが、私個人としてはこれらに加えて
（c）サイトがGoogleに優しい作りになっていること
という条件が加わる大規模サイトもたくさん存在する事があまり知られていない（注目されていない？）のかなあと感じます。
良いコンテンツや唯一無二の商品を提供していたとしても、それらがGoogleに速やかに正しく読み取ってもられなければ意味はありません。
Googleはとてつもないインフラを保持していますが、そのリソースは有限です。
一方でGoogleのクロール対象であるWebページは日に日に増加しています。であればできるだけGoogleにわかりやすいようにページを設計することは重要なテーマですし、SEOのために欠かせない要素です。
Googleのウェブマスター向けガイドラインには「Google がページを理解できるよう手助けする」とあります。
Google自身が「ページの検出や理解を助けて欲しい」とWebマスターにお願いしているわけです。
WordPressがなぜ「SEOに強い」と形容されることが多いかというと、一般的なブログを作る分には特に何も考えずとも（c）の要件を満たしてくれるからなのです。
（余談ですが最近のテーマファイルの進化は素晴らしいなあとSEOを仕事にしている私からみても思います。特にCocoonという有名テーマの無料とは思えない完成度とこだわりには驚かされました）
ちなみに僕自身がWeb制作を経験しているというバックボーンもあり、カブキではこの（c）のお手伝いを強みにしています。
3．Crawl Budget Optimizerの開発経緯
前置きが長くなりましたが、ここからが本題です。
まれにこんなケースがあります。
「（a）～（c）まで一生懸命努力してリソースもかけているのに、成果が変わらない」
「有名なSEO会社を何社もハシゴしたし自分たちも勉強した。もはや改善点がみつからない」
SEOに対する本気度の高いサイトほど、「成果が変わらない・改善点が見つからない」シチュエーションによくぶつかるように思います。
大規模サイトにとって自然検索は生命線ですから、「予算はかける。専任の担当者もつける。やるべきことはなんでもやろう」という前向きな姿勢ゆえの悩みです。
とあるECサイト（その業界ではシェア1・2位を争う老舗サイトです）のお手伝いでもそうでした。
そのとき担当者さんと悩みに悩み、出てきたのが
「これだけやってダメなら、Googleが僕らのサイトをどう見ているのか知りたいよね。」
という一言でした。
そこでふと思いついたことがあります。
「まてよ、その発想は面白いかもしれない。言われてみれば僕らはいつもブラウザからWebサイトを見るばかりだ。
でもGoogleは足跡を残しているぞ・・・サーバの生ログに。」
ものは試し、ということで生ログデータをいただき（2週間分で何メガにもなる超膨大なファイルでした）、Pythonを使った解析を実施しました。
すると、出るわ出るわ、Googleを悩ませていたであろうサイトのアラが。
・商品レビューの出力用に作られた大量のURL
・どこからも遷移できない商品リストページ
・意図せずソフト404状態になっているディレクトリ
・真っ白なテスト用HTMLファイル
・ガラケー時代の遺物
・
・
・
これら全てに大量のGooglebotによる大量のクロールが送信されていました。
いずれも自称「SEOに自信のある私」がブラウザからいくらチェックしても見つからなかった（どこからもリンクされていないので当然ですが）無駄なページです。
それどころか担当者さんご自身も「こんなURLあったんだなー」という・・・（苦笑）
それぞれ適切な対処を検討し実装しましたところ、検索トラフィックは1.5倍になりました。
驚くべきことは、単にロングテールキーワードの上位表示率が改善しただけではなくサイトを象徴するビッグキーワードでも上位にランクインしたことです。
この件で私はGooglebotの生ログ解析に一定以上の意義があることを確信し、Crowl Budget Optimizerの開発に着手しました。
ですからCrowl Budget Optimizerは（c）「サイトがGoogleに優しい作りであること」をこれまでと違った角度からサポートするツールなのです。
4．重要な補足・注意点（生ログ解析が不要なサイト）
ひとつ注意点があります。
実は、世の中の9割以上のサイトにとって生ログ解析は不要だと考えています。
WordPressのような優れたCMSを利用していれば、特に何も考えずともクロールの問題は発生しません。
また、発生していたとしてもその影響は少量かつ極めて軽微であるはずです。
ですから
・静的HTMLで構成されたコポーレートサイト
・シンプルな作りのオウンドメディア
・実績あるCMSで構築されたアフィリエイトサイト
・はてなブログやアメーバブログなど、ブログサービスを使って運用されているサイト
などでは、Crawl Budget Optimizerはご満足いただけるような検証結果を提供することができません。
上記に該当するサイトオーナー様にとっては無価値なツールですので、絶対に有料プランをご利用なさらないようにご注意いただければと思います。
Crawl Budget Optimizerは9割のWebマスターさんにとって価値の無いマニアックなしろものです。
そもそもGoogleのガイドラインにおいても「生ログを見て分析してね」などとは一言も言及されていません。
ほとんどのサイト管理者にとって、その必要が無いからです。
生ログを分析して有用な結果が得られるサイトは全体のごく一部です。
例えば
・商品点数やカテゴリーが多いECサイト
・求人情報サイト
・全国規模の不動産情報サイト
・スクラッチで構築されたビジネスマッチングサイトや航空券予約サイト
・その他、インデックス数だけで1万を超えるような大規模サイト
など。
裏を返せばこうしたサイトの管理者さんにとっては十分な恩恵のあるツールにしたつもりです。
5．Crawl Budget Optimizerリリースにかける想い
Crawl Budget Optimizerは日英同時リリースとなっています。
この背景には、日本のSEOを世界に！という想いがあります。
何かとダーティーな話題が取り上げられることが多くイメージが悪いSEOですが、私は日本のSEOが欧米に対して遅れをとっているとは決して思っていません。
我が国にも、鈴木謙一（@suzukik）さんや辻正浩（@tsuj）さんをはじめ、実力・人格ともに世界に通用するSEOプロフェッショナルの方々がたくさんいらっしゃいます。
こうした先輩方が素晴らしいのは日々検索結果の浄化のために正しいSEOの情報を発信され続けていることです。
私やカブキは知名度も経験もまだまだですが、それでも志だけは大きく、日本のSEOを世界に！という気概でリリースいたしました。
Crawl Budget Optimizerはまだまだ発展途上ですが、このツールが活用され、
優れたコンテンツや商材をもつサイトがGoogleフレンドリーな構造になるお手伝いができればいいなと願っています。
片川創太
最新記事 by 片川創太 (全て見る)
- シャカパチしながらコードを書ける、リードエンジニアを探しています - 2024年11月21日
- GA4のユーザー獲得とトラフィック獲得が表示できなくなったのは「メインのチャネルグループ」が原因です - 2024年2月8日
- GA4のデータ取得不備が旧AdWordsリマケタグを削除したら解消した - 2023年11月7日
![Web業界で人気のセールスパーソンは[御社]が口癖](https://kabuki-inc.co.jp/wordpress/wp-content/uploads/web-sales-260x180.png)
