トラフィックボットの理解とそれを阻止する方法

Web ボットのヒットは、人間ではなく機械から発生します。あなたが人から来ていると信じているクリック、コメント、または訪問は、実際にはコンピュータープログラムに起因しています。

Web ボットは本質的に良いものでも悪いものでもありません。コンピューターは反復的なタスクを非常に迅速に処理でき、Web ボットはパフォーマンスと追跡に不可欠な多くのことを実行できます。 しかし、Web ボットのヒットにはかなりの費用がかかることもあります。

Web ボットのヒットは、 すべてのインターネット トラフィックの約 40% を占めています。ボットは本当にどこにでもいます。

良いことと悪いことを分けるものについて、さらに深く掘り下げてみましょう。最後に、ボットトラフィックを監視および停止するために使用できるいくつかのヒントを紹介します。

トラフィックボットとは?

Web ボットのヒットは、プログラムされたスクリプトから発生します。developerは、リンクをクリックしたり、画像をダウンロードしたり、その他の簡単なタスクを処理できるプログラムを作成します。

このようなプログラムを書くと、 developer はほとんどすべてのWebサイトでITを起動し、それ以上の作業を必要とせずに結果を待つことができます。 ほとんどのボットはほぼ常に実行されています。

おそらく、あなたのウェブサイトは少なくとも何らかのボットと案件を扱っています。 トラフィックを分析するウェブサイトの約85%は、Googleアナリティクスを使用して分析しています。このツールがサイトにインストールされている場合は、次のようなトラフィックを探します。

• 弾む。 ボットは、ページを見るのにほんの数秒しかかかりません。直帰率が非常に高い場合は、ボットを扱っている可能性があります。
   
• 深い。 トラフィックボットは、ページごとに作業しながら、サイト全体を見渡す可能性があります。
   
• 外国の。 あなたのウェブサイトが地元の視聴者にサービスを提供していて、突然遠く離れた場所からたくさんの訪問者が来た場合、ボットを扱っている可能性があります。

また、サイト上での行動によってトラフィックボットを見つけることもできます。投稿したものが突然何百件もヒットし、コメントセクションが無意味なフレーズでいっぱいになっている場合は、ボットが働いている可能性があります。

良いトラフィックボット

あなたはおそらく人間を念頭に置いてコンテンツを作成しており、ITはコンピューターがすべてのトラフィックを占有することを考えるのは難しいかもしれません。 ただし、一部のWebサイトボットはパフォーマンスに適している場合があります。

これらは、優れたボットの4つの例です。

1. 集合体： これらのWebサイトボットは、複数のWebサイトからデータを収集し、それらを1つのページにポップします。このようなボットは、あなたのウェブサイトをいわゆる「注目の抜粋」としてGoogleの1ページ目に掲載することができます。 その結果、実在の人物から何千ものヒットが寄せられる可能性があります。
    
2. アナリティクス: これらのトラフィックボットは、サイトにアクセスした人の数、アクセスしたページ、ページの読み込み速度などを監視します。 このデータは、Google や Bing などのサイトがコンテンツの価値を判断するのに役立ちます。
    
3. 著作権： 誰かがあなたのコンテンツを盗み、法的措置を取ることを決定した場合、侵害ごとに 最大150,000万ドルの損害賠償を受ける可能性があります 。著作権ボットは、盗難をすばやく特定し、被害を受けたことを証明するのに役立ちます。
    
4. 検索エンジン最適化: SEOボットは、Webサイトの各ページを調べて、何を議論しているのかを判断します。 これは、GoogleやBingなどのサイトが、ページをトリガーする検索用語を決定するのに役立ちます。

これらのタスクのいずれかまたはすべてが、あなたの成功にとって重要である可能性があります。

悪質なトラフィックボット

プログラマーは、トラフィックボットを使用して、サイトを攻撃したり、リソースを盗んだり、またはその両方を行うことができます。

以下は、悪質なボットの6つの例です。

1. 広告詐欺: 有料広告をクリックするようにプログラムされたトラフィックボットは、銀行アカウントを枯渇させることができます。 専門家によると、このような広告詐欺は、会社概要 年間約350億ドルの費用がかかるとのことです。
    
2. クリック詐欺: プログラマーは、Webサイト上のページを繰り返し読み込むスクリプトを作成できます。これにより、Web ページが IT よりも目立つように見えてしまう可能性があります。 また、Webサイトに恥ずかしいことがある場合(書かなければよかったプレスリリースなど)、ITはそのページを非常に目立たせることができます。
    
3. DDoS です。 Web ボットは Web サイトを繰り返し読み込もうとすると、そのトラフィックのすべてがサーバーに過負荷をかけ、サイトが利用できなくなる可能性があります。ハッカーは、ボットをオフにする前に支払いを要求することがあります。
    
4. こする： E メールのアドレスや連絡先をウェブサイトで公開していますか? スクレイピングボットは、その情報を引き出して、最高入札者にITを販売できます。
    
5. スパム： ウェブサイトボットは、ウェブサイト上のフォームに入力できます。彼らはあなたの受信トレイを無意味なメッセージでいっぱいにしたり、あなたのコメントセクションで奇妙な反応を公開したりする可能性があります。
    
6. 脆弱性： プログラマは、Web ボットを作成してページをクロールし、セキュリティの問題を探します。 報告は、あなたを攻撃する可能性のあるハッカーに戻ります。

これらの悪質なボットのいずれかまたはすべてが、あなたの会社概要に多額の費用がかかる可能性があります。

悪質なボットを止める方法

すべてのボットをWebサイトから遠ざけることは賢明ではありません。 あなたは彼らが提供する利点のいくつかが必要です。しかし、悪質なボットを遠ざけるためにできる限りのことをすべきです。

次の 3 つの手順を試してください。

1. ウェブサイトの設定を調整します。 ほんの少しのコード(robots.txtファイル)は、ボットがサイト上で何をクロールすべきか、何をクロールすべきでないかをボットに伝えます。ITを使用して、一部のページの検査をブロックします。

   しかし、ルールに従って行動するのは優れたボットだけであることを知っておいてください。悪いボットは、あなたがITを好きかどうかに関係なく、彼らが望むことを何でもするでしょう。
    

2. プログラマーを雇う。 専門家に依頼して、レポートを確認し、ボットトラフィックの原因となっているIPアドレスを特定します。フィルタリングツールを使用して手動でブロックします。
    
3. ツールを使用します。 ボット管理ソリューション コードを使用して、悪質なボットが混乱を引き起こすのを防ぎます。 これらのツールは機械学習を使用しているため、長く使用すればするほど効果が高くなります。

Oktaでは、優れたボット管理ソリューションを提供しています。境界Xとの連携により、悪質なボットがお客様のビジネスを脅かすのを防ぎます。 その仕組みをご覧ください。

参考文献

ウェブサイト向けGoogleアナリティクスの利用統計と市場シェアです。 W3テックス。

現在、悪質なボットは Web トラフィックの 20% を占めています。(2019年4月)ZDネット。

著作権侵害。デジタルメディア法プロジェクト。

CHEQレポート:デジタル広告詐欺のコストは、2020年に世界で350億ドルに増加する見込み。（2020年11月、MarTechシリーズ。