目次
スクレイピングの原理
スクレイピングはインターネット上の情報を収集し加工する技術ですが、原理はどうなっているのでしょうか？スクレイピングを使うだけであれば原理を知る必要はありませんが、スクレイピングを自ら構築する人は原理を知らなければいけません。
スクレイピングの構築というと、難しく感じる人がいるかもしれません。しかしスクレイピングに特化したライブラリを使えば、比較的簡単に構築できます。本記事ではライブラリの使い方については解説しませんが、スクレイピングの原理については深掘りしたいと思います。
スクレイピングの原理を知るには、ホームページの基本を知らなくてはいけません。そのためホームページの基本の基本から解説したいと思います。
スポンサーリンク
ホームページの基本
これからはホームページの基本を見ていきます。
ホームページはHTMLという書式で作成されている
ホームページはHTMLという書式で作成されています。HTMLがテキストを表示し、画像を表示しているのです。ホームページに似ているものにはブログがありますが、ブログもHTMLを基本に制作されています。
HTMLはホームページの骨格にあたる部分ですが、サイトのHTMLを見ることはできます。サイト上で右クリックしたら「ページのソースを表示」という項目が見えますが、それをクリックしたらサイトのHTMLが表示されます。
中にはHTMLが見えないページもありますが、大部分のサイトは「ページのソースを表示」をクリックすることで閲覧できます。
作成ソフトを使えばHTMLがわからなくてもサイトの制作は可能
ホームページ作成ソフトを使えばHTMLがわからなくても、サイトは制作できます。しかしホームページ作成ソフトも、裏でHTMLを生成しているのです。ブログも同じように裏でHTMLを生成しています。
HTMLは時代によって仕様が変わりますが、今後もHTMLがホームページ作成の中核技術になるのは間違えないでしょう。
スポンサーリンク
スクレイピングとHTMLの関係
スクレイピングとHTMLの関係について見ます。
ホームページの内容はHTMLに埋め込まれている
一部例外はありますが、ホームページの内容はHTMLに埋め込まれています。HTMLの構造は以下のようになっています。
<head>
<meta http-equiv=”Content-Type” content=”text/html; charset=Shift_JIS”>
<title></title>
</head>
<body>
</body>
<head>タグにはwebサーバーに送る情報を組み込み、<title>タグにはホームページのタイトルを入力します。
そして<body>タグは、ホームページの内容を埋め込む場所です。これがホームページの骨格ですが、スクレイピングを始めとするプログラムはホームページの骨格を見ることができます。サイトのタイトルだけを取り出すプログラムがありますが、<title>タグを参照にしているだけです。
スクレイピングはサイトの内容を収集する
スクレイピングはプログラムですが、プログラムを組むことで自動的にホームページの情報を収集します。リンクを調べるだけだったら、「<a href=””></a>」というタグを探せばいいだけです。
ホームページの内容を収集するにはHTMLに精通している必要がありますが、HTMLは真剣に勉強すれば一ヶ月程度で習得できます。
スクレイピングはプログラム言語のPythonで構築されることが多いですが、他のweb用のプログラムでも構築できます。構築するときは一から構築するのではなく、スクレイピング用のライブラリを活用した方が楽です。
以前はPythonのライブラリが多かったですが、最近は他の言語でもスクレイピング用のライブラリが登場するようになりました。関心のある方は、関連書籍または関連サイトで勉強してください。
スポンサーリンク
スクレイピングをするときのポイント
以下では、スクレイピングをするときのポイントを紹介します。
対応するHTMLを見つける
基本的にホームページに表示される内容は<body>と</body>の間にありますが、<body>と</body>の間にもさまざまなタグがあります。スクレイピングで価格情報を収集することは可能ですが、価格情報がどのタグ内にあるのかを先に見つけなくてはいけません。
見つけるときはホームページのソースを参考にしてください。多くのブラウザはサイト上で右クリックすれば、ソースが閲覧できるようになっています。どうしても該当のタグが見つからない場合は、数字をターゲットに収集したらいいと思います。
マナーを守る
スクレイピングを快く思わない人もいます。サイトによっては、スクレイピング禁止と明記しているかもしれません。そのようなサイトを見つけた場合は、スクレイピングを行うのを止めましょう。
サイトに明記していない場合も、頻繁に収集するのは止めましょう。スクレイピングはwebサーバーに負荷をかける可能性があるので、時間帯にも注意した方がいいと思います。最適な時間帯はサイトによって異なりますが、比較的夜間はアクセスが少ないです。
webサーバーにはスクレイピングでアクセスした記録が残りますが、頻繁に同じIPアドレスがあればサイトの運営者は警戒します。場合によってはブロックする可能性もあります。
スポンサーリンク
スクレイピングは転売にも活用できる
スクレイピングは価格情報や商品情報を取り出すことができるので、転売にも役立ちます。転売の基本は安く仕入れて高く売ることですが、スクレイピングを活用すれば最安値を見つけるのも簡単だし、最高値を見つけるのも簡単です。
インターネット上にはリサーチツールがありますが、リサーチツールもスクレイピング技術を活用していると思います。今はインターネットが普及しているので世界中の商品が自由に購入できますが、反面売る側は商品の差別化がしにくくなっています。
商品の差別化が難しければ価格で勝負しなければいけませんが、価格は直感で決めるものではありません。同じような商品の価格帯を調べ倒すことが大切だと思います。スクレイピングは価格調査の強い味方です。
プログラミングなしでもスクレイピングは可能
スクレイピングの原理は理解できたけど、プログラムの経験がないので諦めた・・・このような人はいるでしょう。しかしインターネット上には、プログラムなしでも使えるスクレイピングツールがあります。
そのようなツールは利便性にやや欠けますが、簡単な情報を収集するだけであれば問題はないと思います。ただ無料のツールはアップデートが遅いことが多いので、突然使えなくリスクがあります。
このようなことを考えたら、有料のスクレイピングツールを使った方がいいかもしれません。またスクレイピングをするときは、プロバイダとは別のIPアドレスにした方が良いと思います。これを実現するには、クローラ機能が利用できるプロキシサーバーと契約するのが手っ取り早いです。
Bright Dataはプロキシサーバーですが、クローラ機能があります。Bright Dataのクローラ機能は、必要な情報を短時間で探してくれるので便利です。
Bright Dataのクローラが活用できるシーン
これからはBright Dataのクローラが、活用できるシーンを紹介します。
海外の商品の価格を調べるとき
海外の商品の価格を調べるときも、スクレイピングは便利です。海外の安い商品を仕入れて日本で高く売れば利益が出ますが、闇雲にネットサーフィンをして調べるのは非効率的です。
Bright Dataのクローラにキーワードをセットすれば効率的に収集できるので、是非とも活用してください。クローラはプロキシマネージャー経由で使えるので、さほど難しくはありません。プロキシマネージャーはBright Dataの操作を簡単にするもので、クローラ以外の操作もできます。
海外の商品の価格を調べるときは、現地のIPアドレスを使うことをおすすめします。現地のIPアドレスを使うことで、怪しまれる可能性は低くなります。これは経験しないとわかりませんが、頻繁に外国のIPアドレスがアクセスしてきたら気持ちが悪いです。
Bright Dataは世界10ヶ国にデータセンターを置いていますが、データセンターがある国のIPアドレスは自由に使えます。
海外のヒット商品を見つけるとき
海外のヒット商品を見つけ日本で販売している企業は多いですが、ヒット商品を見つけるのは意外に難しいです。現地に駐在員がいる会社は生の情報が入ってくるので見つけやすいですが、現地に駐在員を置いていない会社は、インターネットを頼りにするしかありません。
しかしインターネット上の情報は膨大なので、人力で見つけようとしたら多くのスタッフと膨大な時間が必要になります。また外国の情報なので、現地の言葉に精通している必要があります。
Bright Dataのクローラを使えば、短時間で必要な情報が入手できます。現地の言葉に精通している必要はありますが、現地の言葉でキーワードをセットしたら、瞬く間に情報は入手できます。
日本の中古品を海外で販売するとき
台湾では日本の中古品が多く販売されていますが、物によってはアメリカやヨーロッパでも売れる可能性はあります。しかしマーケット調査をしなければ、実際どんな商品が売れるのかを見極めることはできません。
海外のマーケティング調査は、現地のSNSを利用するのが効果的です。現地の言葉に精通している必要はありますが、Bright Dataのクローラを使えば、現地で受けそうな商品がわかると思います。
まとめ
スクレイピングの原理について解説をしましたが、概略はご理解いただけたかと思います。今後スクレイピングは情報収集技術の中核になると思いますが、原理を知っていたらオリジナルなスクレイピングシステムが構築できます。
しかし非プログラマが、スクレイピングシステムを構築するのは時間がかかります。非プログラマは、手っ取り早く使えるBright Dataのクローラを利用した方が良いと思います。Bright Dataは一ヶ月から契約できるので、気楽に開始できます。