スクレイピングとai（AI）は一見無関係のように感じるかもしれませんが、実はスクレイピングのデータはai（AI）に活用できます。
ただどのような活用方法があるのかは紹介されていないので、読者はピンとこないかもしれません。本記事では、スクレイピングとai（AI）の関係を詳しく見ます。
ai（AI）プログラムに関心のある方は、是非とも参考にしてください。
目次
まずはai（AI）の基本を知ろう
ai（AI）は過去の学習履歴とパターンを覚えていて、次の行動の参考にします。最近は問い合わせシステムにもai（AI）が活用されていますが、今後はより広い分野で活用されるようになると思います。
ai（AI）を活用すれば、以下のようなシステムの構築も可能だと思います。商品名を入力したら、自動的に推奨価格が提示される・・・一見魔法のようなシステムに見えますが、実は商品名または関連商品の価格情報がai（AI）（正確にはデータベース）に記録されているだけです。
最近はネットワークカメラにもai（AI）が導入されるようになっていますが、人型フレーミング機能はai（AI）を利用しているといわれています。
人型フレーミング機能は一度捉えた人を連続で記録しますが、連続で記録できるのは人間の顔や体型の特徴をデータベースに記録しているからです。それからはai（AI）が次の行動を判断します。
ai（AI）というとSFの世界をイメージする人がいるかもしれませんが、実はさまざまなデータを活用しているだけなのです。
スクレイピングデータをai（AI）に活用しよう
これからは太郎と花子の会話を通して、スクレイピングデータをai（AI）で活用する方法を解説しますね。
どんなスクレイピングデータがai（AI）で活用できるの？
| 花子
スクレイピングとai（AI）の関係は理解できたけど、どんなスクレイピングデータがai（AI）で活用できるの？ |
| 太郎
ai（AI）の種類にもよるけど、基本的にはどんなデータでも活用できるよ。でも詳細なデータでなければ、ai（AI）では活用しにくいわ。 |
| 花子
詳細なデータとはどんなデータなの？ |
| 太郎
難しい質問だね。ai（AI）の種類によって、詳細なデータの内容は異なるよ。 |
| 花子
ふーん。なんだかよく解らないなぁ。 |
| 太郎
解りやすいように、具体的に話を進めていくね。今回は推奨価格を、ai（AI）で導き出す方法を教えるね。 |
太郎の熱弁は続く
| 太郎
ネットショップのオーナーは、価格設定のときに悩むことが多い。 何故ならば、価格設定で売れ行きが決まるからです。 こんな悩みは、ai（AI）の力で解決することができるんだ。 具体的な手順を言うね。 まずは関連商品の価格情報をスクレイピングし、データベースに格納するんだ。 このときに大切なことは、商品のカテゴリーと機能を細かく区分けすることなんだ。 商品のカテゴリーと機能を細かく区分けすることで、関連商品が引き出しやすくなるからだよ。 |
| 花子
少しずつ解ってきたわ。 |
| 太郎
あるネットショップの人が、価格設定をするとするね。 まずはカテゴリーを選ぶんだ。 カテゴリーを選べば、自動的に関連商品の価格が合計できるようにプログラミングするんだ。 あとは、合計額を商品数で割るだけだよ。 それからは、利用者に平均価格を提示するんだ。 これだけで、利用者は価格設定が楽になるね。 |
| 花子
よく解ったわ。詳しい解説ありがとうね。 ネットショップの推奨価格の導き出し方は解ったけど、監視カメラに搭載されている人型フレーミング機能は、どんな仕組みなのかしら？ |
| 太郎
人型フレーミング機能は人の姿を認識し、連続で人をカメラで捉える機能だけど、詳しいメカニズムは企業秘密なんで自分もよく解らないんだ。 でも大まかなメカニズムは解るよ。 まずは人の顔のパーツや皮膚の色、そして人の体型などをデータベースに入れる。 それからはその情報を参考にし、人かどうかを判断しているんだと思うよ。 この場合はデータ集めが大変だけど、一度データを集めたら人型フレーミング機能以外にも使えそうだね。 例えばタバコの自動販売機や、お酒の自動販売機に活用できそう。 明らかに未成年者の顔そして体型だった場合、自動販売機が販売を禁止することができるね。 |
| 花子
太郎さんは頭がいいね。 今度からスクレイピングai（AI）博士と呼ばせてもらうね。 |
スポンサーリンク
ai（AI）に便利なスクレイピングツール
これからはai（AI）に便利な、スクレイピングツールの条件について解説します。
ドメイン単位でスクレイピングできるツール
大量のデータがなければ、ai（AI）では活用しにくいです。スクレイピングツールによっては開いているページの情報しか取得できないものがありますが、全商品の価格情報を取得したいときは困りますね。
ai（AI）で活用しようと思えば、ドメイン単位でスクレイピングできるツールでなければ役不足です。
ドメイン単位でスクレイピングできるスクレイピングツールは、たぶん有料しかないと思います。
外国のIPアドレスも利用できるスクレイピングツール
データをai（AI）で活用しようと思えば、幅広くデータを収集しなくてはいけません。分野によっては、外国のwebサービスの情報もスクレイピングできたら便利です。
理論的に外国のwebサービスのスクレイピングは、日本からでも可能です。インターネット回線は、世界中にアクセスできるからです。しかしwebサービスによっては国外からのアクセスを禁止しているし、何回もスクレイピングするIPアドレスをブロックする可能性があります。
このような問題点を考えたら、外国のwebサービスをスクレイピングするときは、現地のIPアドレスを使う方がいいです。そしてブロック対策のために、さまざまなIPアドレスが使えたら便利です。
スポンサーリンク
現時点ではBright Dataのデータコレクターが一番
動画でもデータコレクターの解説をしていますが、データコレクターはドメイン単位でのスクレイピングも可能だし、世界中のIPアドレスを使うことも可能です。（世界中といっても、すべての国ではありません）
スクレイピングするときはタグを指定する必要がありますが、データコレクターはフォームから簡単に指定できます。大規模なwebサービスでもタグさえ指定すれば、短時間で目的のデータが抽出できます。
ai（AI）ではさまざまなデータが必要になると思います。データコレクターは一つのタグだけではなく、複数のタグが指定できます。またスクレイピングした日付も一緒に出力できるので、ai（AI）システムを構築するときは助かると思います。
ai（AI）システムの構築ができる人はサーチエンジンクローラーに挑戦しよう
ai（AI）システムの構築ができる人は、Bright Dataのサーチエンジンクローラーが便利です。サーチエンジンクローラーはプログラマ用のスクレイピングツールで、自動的にプログラムコードを出力してくれます。
ai（AI）システムはpythonで構築することが多いですが、サーチエンジンクローラーもpythonが選択できます。同じpythonだから、連係処理は簡単です。
私はai（AI）システムを構築したことがないので解りませんが、解説書が出版されているので参考にしてください。
まとめ
ai（AI）とスクレイピングについて解説しましたが、スクレイピングのデータがai（AI）に活用できるのは、ご理解いただけたかと思います。今後はai（AI）システムが加速度的に増えると予想されますが、ai（AI）システムが増えれば増えるほと、スクレイピングの需要も増えると思います。
ai（AI）システムに挑戦する人は、是非ともBright Dataのデータコレクターや、サーチエンジンクローラーを活用してください。現在のBright Dataはかなり日本語化が進んでいるので、英語が理解できない人でも問題なく利用できますよ。