Tip:
Highlight text to annotate it
X
こんにちは、マット・カッツです
こんにちは、マット・カッツです
今日はクローキングについてお話ししましょう
今日はクローキングについてお話ししましょう
多くの人から質問を受けます
クローキングとは?
Googleでの定義は?
なぜ危険性の高い行為なのか
なぜ危険性の高い行為なのか
クローキングについてのHTMLドキュメントも ブログ投稿も数多くありますが
クローキングについてのHTMLドキュメントも ブログ投稿も数多くありますが
この動画で詳しく説明しながら 皆さんの疑問に答え
この動画で詳しく説明しながら 皆さんの疑問に答え
安心してご利用いただくための経験則を いくつかご紹介します
安心してご利用いただくための経験則を いくつかご紹介します
まず、クローキングとは何でしょうか
クローキングとは、ユーザーとGooglebotに 異なるコンテンツを表示することです
クローキングとは、ユーザーとGooglebotに 異なるコンテンツを表示することです
たとえば、ここにウェブサーバーがあります
ユーザーがページを検索します
これがユーザーですね
このユーザーにページを表示します
このユーザーにページを表示します
次に、同じようにGooglebotも ページを検索するとします
次に、同じようにGooglebotも ページを検索するとします
Googlebotにもページを表示します たいていの場合は同じコンテンツが
Googlebotにもページを表示します たいていの場合は同じコンテンツが
Googlebotとユーザーに表示されます
Googlebotとユーザーに表示されます
クローキングでは、異なるコンテンツが ユーザーに表示されます
クローキングでは、異なるコンテンツが ユーザーに表示されます
これはGoogleの品質に関する ガイドラインに違反しています
これはGoogleの品質に関する ガイドラインに違反しています
「品質に関するガイドライン」を検索すると 情報が見つかります
「品質に関するガイドライン」を検索すると 情報が見つかります
違反していないかを確認する方法についての 補足資料もご用意しています
違反していないかを確認する方法についての 補足資料もご用意しています
では詳しく説明しましょう
クローキングはなぜ不正か? なぜGoogleは禁止しているのか?
クローキングはなぜ不正か? なぜGoogleは禁止しているのか?
答えは昔の検索エンジンにあります
昔は、たくさんの人がクローキングで 不正行為をしていました
昔は、たくさんの人がクローキングで 不正行為をしていました
たとえば、クローキングされたウェブサーバーが Googlebotにアニメのページを表示するとします
たとえば、クローキングされたウェブサーバーが Googlebotにアニメのページを表示するとします
ディズニーなどですね
しかしユーザーがページにアクセスすると 成人向けコンテンツを返します
しかしユーザーがページにアクセスすると 成人向けコンテンツを返します
つまり、Googleでアニメを検索して 表示されたページをクリックすると
つまり、Googleでアニメを検索して 表示されたページをクリックすると
成人向けコンテンツが表示されます
最悪のユーザーエクスペリエンスですね
最悪のユーザーエクスペリエンスですね
不満も殺到します
そこであらゆるクローキングを ガイドライン違反としました
そこであらゆるクローキングを ガイドライン違反としました
ホワイトハットクローキングも禁止です
特に、何か不正な行為や誤解を与える行為を していたら要注意です
特に、何か不正な行為や誤解を与える行為を していたら要注意です
ウェブスパムチームの出番です
どのタイプのクローキングでも違反になります
どのタイプのクローキングでも違反になります
では、トラブルや違反を避けるための 経験則にはどんなものがあるでしょうか?
では、トラブルや違反を避けるための 経験則にはどんなものがあるでしょうか?
クローキングについてまず検討したいのは WgetやcURLでページを取得する手法です
クローキングについてまず検討したいのは WgetやcURLでページを取得する手法です
これで全コンテンツに1つの番号を 割り当ててハッシュ化します
これで全コンテンツに1つの番号を 割り当ててハッシュ化します
これで全コンテンツに1つの番号を 割り当ててハッシュ化します
次にGooglebotになりすまします
次にGooglebotになりすまします
Fetch as Googlebot機能を使用して
Fetch as Googlebot機能を使用して
ページを取得し、同様にハッシュします
ページを取得し、同様にハッシュします
もし番号が異なれば細工の可能性があります
もし番号が異なれば細工の可能性があります
つまり、違反している可能性があります
つまり、違反している可能性があります
ページは常に変化します。タイムスタンプや 広告が変わるため速くて確実なルールはありません
ページは常に変化します。タイムスタンプや 広告が変わるため速くて確実なルールはありません
ページは常に変化します。タイムスタンプや 広告が変わるため速くて確実なルールはありません
覚えておくべきもう1つの簡単な見分け方は
ウェブサーバーのコードを調べることです 特に、Googlebotのユーザーエージェントや
ウェブサーバーのコードを調べることです 特に、Googlebotのユーザーエージェントや
GooglebotのIPアドレスを頻繁に チェックしているコードはありませんか
GooglebotのIPアドレスを頻繁に チェックしているコードはありませんか
ユーザーエージェントでもIPアドレスでも Googlebotに対して通常とは異なる処理をしていたら
ユーザーエージェントでもIPアドレスでも Googlebotに対して通常とは異なる処理をしていたら
ユーザーエージェントでもIPアドレスでも Googlebotに対して通常とは異なる処理をしていたら
Googlebotとユーザーに異なるコンテンツを 表示している可能性があります
Googlebotとユーザーに異なるコンテンツを 表示している可能性があります
以上が違反の原因です
よく覚えておきましょう
ホワイトハットの多くのユーザーからの質問です クローキングに関与せず
ホワイトハットの多くのユーザーからの質問です クローキングに関与せず
違反を回避したいが、地理情報とモバイルユーザー エージェント、つまり携帯電話についてはどうなのか
違反を回避したいが、地理情報とモバイルユーザー エージェント、つまり携帯電話についてはどうなのか
違反を回避したいが、地理情報とモバイルユーザー エージェント、つまり携帯電話についてはどうなのか
でもご安心を。結論から言えば 何も心配いりません
でもご安心を。結論から言えば 何も心配いりません
ですが、なぜ地理情報や携帯電話が クローキングにならないのかを説明しましょう
ですが、なぜ地理情報や携帯電話が クローキングにならないのかを説明しましょう
ですが、なぜ地理情報や携帯電話が クローキングにならないのかを説明しましょう
これまでユーザーは1人でした
たとえばこのユーザーは フランスからアクセスしています
たとえばこのユーザーは フランスからアクセスしています
次に、まったく別のユーザーの登場です このユーザーはイギリスからアクセスしています
次に、まったく別のユーザーの登場です このユーザーはイギリスからアクセスしています
実際には、.frドメインや.ukドメインなど、 別の言語で使用可能なコンテンツがある場合、
実際には、.frドメインや.ukドメインなど、 別の言語で使用可能なコンテンツがある場合、
翻訳は完了しているので、フランスのIPアドレスの ユーザーがフランス語のコンテンツを取得できれば
翻訳は完了しているので、フランスのIPアドレスの ユーザーがフランス語のコンテンツを取得できれば
本当に便利です
ユーザーも満足します
地理情報処理では、リクエストがウェブサーバーに 送られるたびにIPアドレスを調べます。この場合は、
地理情報処理では、リクエストがウェブサーバーに 送られるたびにIPアドレスを調べます。この場合は、
フランスのIPアドレスです
フランス人にはフランス語版 つまり、自分のドメインの.fr版を見せます
フランス人にはフランス語版 つまり、自分のドメインの.fr版を見せます
ブラウザ言語が英語で、IPアドレスが アメリカやカナダからの場合は
ブラウザ言語が英語で、IPアドレスが アメリカやカナダからの場合は
おそらく英語が最適な言語でしょう。
おそらく英語が最適な言語でしょう。
カナダのフランス語圏なら別ですが
つまり、IPアドレスに基づいて決めています
つまり、IPアドレスに基づいて決めています
Googlebotが属する特定の国、たとえば Googlandiaなどを作成しない限り
Googlebotが属する特定の国、たとえば Googlandiaなどを作成しない限り
Googlebotが属する特定の国、たとえば Googlandiaなどを作成しない限り
Googlebotに対して特別なことを しているとは見なされません
Googlebotに対して特別なことを しているとは見なされません
少なくとも現時点では Googlebotは米国からクロールしています
少なくとも現時点では Googlebotは米国からクロールしています
そのため、Googlebotは米国からの ユーザーとして処理されます
そのため、Googlebotは米国からの ユーザーとして処理されます
コンテンツは英語で配信しています
GooglebotはIE 7など一般的なブラウザ のように扱うことをおすすめします
GooglebotはIE 7など一般的なブラウザ のように扱うことをおすすめします
皆さんがよくお使いのPC向けブラウザです
皆さんがよくお使いのPC向けブラウザです
つまり、IPアドレスを調べ、IPアドレスに 基づいて機能している地理情報は
つまり、IPアドレスを調べ、IPアドレスに 基づいて機能している地理情報は
非常に狭い範囲にあるGooglebotの 具体的なIPアドレスに基づかない限り
非常に狭い範囲にあるGooglebotの 具体的なIPアドレスに基づかない限り
問題ありません
では、IPアドレスに応じて ユーザーエクスペリエンスを最適化するには?
では、IPアドレスに応じて ユーザーエクスペリエンスを最適化するには?
同じようにアクセスしている ユーザーがいます。今度は
同じようにアクセスしている ユーザーがいます。今度は
携帯電話、つまり、iPhoneや Android搭載端末からアクセスしています
携帯電話、つまり、iPhoneや Android搭載端末からアクセスしています
今度はまったく異なる ユーザーエージェントです
今度はまったく異なる ユーザーエージェントです
機能はまったく異なります
そのエージェントに応答し、ウェブサイトの 縮小版や小さい画面用のコンテンツを送信しても
そのエージェントに応答し、ウェブサイトの 縮小版や小さい画面用のコンテンツを送信しても
まったく問題ありません
違いはGooglebotをパソコンユーザー のように扱う点です。ユーザーエージェントが
違いはGooglebotをパソコンユーザー のように扱う点です。ユーザーエージェントが
特別なことをしていなければ まったく問題ありません
特別なことをしていなければ まったく問題ありません
携帯電話の機能を調べて 適切にカスタマイズされたページを返しますが
携帯電話の機能を調べて 適切にカスタマイズされたページを返しますが
不正な動作は何もしていません
不正な動作は何もしていません
ユーザーエージェントに基づき Googlebotの扱いを変えていません
ユーザーエージェントに基づき Googlebotの扱いを変えていません
だから問題ありません
最後にお話しすることは
少し上級ユーザー向けです。ここでは、正確な ユーザーエージェント文字列や
少し上級ユーザー向けです。ここでは、正確な ユーザーエージェント文字列や
Googlebotの正確なIPアドレス範囲に 基づいて区別はしていませんが
Googlebotの正確なIPアドレス範囲に 基づいて区別はしていませんが
Cookieは調べます Cookieに応答しなかったり
Cookieは調べます Cookieに応答しなかったり
JavaScriptを同じように扱わない場合は 扱い方を変えます
JavaScriptを同じように扱わない場合は 扱い方を変えます
つまり、判定基準は
Googlebotの扱いを変えたり セグメント化して別のことをさせるために
Googlebotの扱いを変えたり セグメント化して別のことをさせるために
使用しているか、です
クローキングで重要なのは「ユーザーも Googlebotも同じように扱っているか」です
クローキングで重要なのは「ユーザーも Googlebotも同じように扱っているか」です
Googleはユーザーが見るページとほぼ同じページを 検索結果に表示する必要があります
Googleはユーザーが見るページとほぼ同じページを 検索結果に表示する必要があります
検索結果をクリックしても、そのページに 直接アクセスしても同じである必要があります
検索結果をクリックしても、そのページに 直接アクセスしても同じである必要があります
検索結果をクリックしても、そのページに 直接アクセスしても同じである必要があります
だから、Googlebotの扱い方を変えてはならず クローキングは品質ガイドライン違反となるのです
だから、Googlebotの扱い方を変えてはならず クローキングは品質ガイドライン違反となるのです
だから、Googlebotの扱い方を変えてはならず クローキングは品質ガイドライン違反となるのです
ホワイトハットクローキングは存在しません
ホワイトハットクローキングは存在しません
ユーザーに見せるページとGooglebotに 見せるページは同じである必要があります
ユーザーに見せるページとGooglebotに 見せるページは同じである必要があります
いかがでしたか
クローキングと経験則について ご理解いただけたでしょうか
クローキングと経験則について ご理解いただけたでしょうか
ユーザーエージェントGooglebotやGooglebotの 正確なIPアドレスを探す専用コードがあるか
ユーザーエージェントGooglebotやGooglebotの 正確なIPアドレスを探す専用コードがあるか
そして、Googlebotの扱い方が他と 異なっているかどうかを調べることが重要です
そして、Googlebotの扱い方が他と 異なっているかどうかを調べることが重要です
他のユーザーと同じ扱い方、 つまり、地理情報に基づいてページを送信し
他のユーザーと同じ扱い方、 つまり、地理情報に基づいてページを送信し
ユーザーエージェントの携帯電話を 調べていればOKです
ユーザーエージェントの携帯電話を 調べていればOKです
具体的にGooglebotを探していたり 通常と異なる処理があれば問題となります
具体的にGooglebotを探していたり 通常と異なる処理があれば問題となります
具体的にGooglebotを探していたり 通常と異なる処理があれば問題となります
Googleのサイトに詳細情報を記載しています
リンクはこの動画のメタデータをご覧ください
リンクはこの動画のメタデータをご覧ください
今回は、Googleによる クローキングの定義、重視する理由、
今回は、Googleによる クローキングの定義、重視する理由、
クローキングを判断する際の 全体的な影響について説明しました
クローキングを判断する際の 全体的な影響について説明しました
Googleが最終的に調査するのはエンドユーザー への影響です。コードがどうであれ、
Googleが最終的に調査するのはエンドユーザー への影響です。コードがどうであれ、
Googlebotへの配信内容が ユーザーと異なる場合が問題となるのです
Googlebotへの配信内容が ユーザーと異なる場合が問題となるのです
Googlebotへの配信内容が ユーザーと異なる場合が問題となるのです
お役に立ちましたか?