スクレイピングはデータを収集し加工する技術で、プログラムの知識がなければ実行できません。しかし非IT系の仕事をしている人が、一からプログラムを学ぶのは大変です。
既存のスクレイピングツールを使えば、非プログラマでもスクレイピングはできます。それでも最低限の知識は学ばなければいけません。スクレイピングツールを使うために学ばなければいけない、最低限の知識とは何でしょうか？
本記事ではBright Dataを使い、スクレイピングの概略を学びます。
目次
まずは動画を見て必要な知識を知ろう
スクレイピングツールを使うために学ばなければいけないことを、動画で確認したいと思います。
動画の紹介
今回のスクレイピングツールは、Bright Dataのデータコレクターです。Bright Dataはプロキシサーバー業者ですが、優れたスクレイピングツールも提供しています。まずは動画を最初から見てください。
1分58秒になったら停止してください。そこに学ぶべき題材があります。
学ぶべきこと
1分58秒で動画を停止すると、学ぶべき項目がわかります。動画をキャプチャーしましたが、動画の左下が学ぶべき項目です。
見えない人は画像を拡大してください。二つの画像がありますが、スクレイピングツールの出力項目です。
データコレクターは出力項目をかなり細かく分類しているので、データを分析するときは便利です。
データコレクターが提示している出力項目の中には意味がわかりづらいものがありますが、おそらくは英語で書かれたサイトを参考にしているからだと思います。
もうお解りになったかと思いますが、スクレイピングツールを使う際に大切な知識は、出力項目の意味を知ることです。
項目の意味を学ぼう
左側の図は構文解析データと書かれていますが、よく使われる出力項目を用意しています。実際に出力するときは、チェックを入れます。項目の新規追加も可能です。
- name 一般的なテキストが対象
- price 価格や費用が対象
- image 画像が対象
- description 説明文が対象
- category カテゴリーが対象
他にもいろいろありますが、実際に使ってみたら説明が出てくるので不明点は説明を参考にしてください。
右側の図を見ます。
- timestamp 時刻
- requested_timestamp より詳しい時刻
- error データの収集に失敗した理由を出力
- screenshot 収集したページのブラウザのスクリーンショット
他にもいろいろありますが、カーソルを置くと説明が表示されるので、不明点がある人は対象の出力項目にカーソルを置いてください。
余計なことかもしれませんが、timestamp、requested_timestamp、errorは出力した方がいいと思います。後で結果を見るときに日付があれば、いつのデータだったのかが解るからです。errorが大切な理由は、失敗した理由を明らかにすることで、次回からは違うアプローチができるからです。
使われている英語の意味を学ぼう
Bright Dataは急速に日本語化が進んでいるので将来的には不要だと思いますが、現時点では僅かに英語だけの部分があります。勘の良い人であれば英語がわからなくても何となく操作できると思いますが、私を含めた普通の人は英語の意味が解っていた方が良いです。
英語といっても一から覚える必要はありません。現在はオンライン翻訳ツールが利用できるので、不明な英語はオンライン翻訳ツールで調べてください。
データコレクターの最後は「place order 」というボタンを押しますが、私を含めた一般の人はイマイチ理解できません。試しにGoogle翻訳で意味を確かめました。
「注文する」
Google翻訳は正確に翻訳してくれました。他にも英語があったので試してみます。
「Enter your target website」
この英語もGoogle翻訳で調べました。
「ターゲットのWebサイトを入力してください」との翻訳文が返ってきました。
こちらもかなり正確な翻訳ですね。
このように英語がまったく解らなくても、オンライン翻訳ツールを利用すれば、たいていの意味はわかります。調べたけどわからない場合は、Bright Dataの担当者に聞いてください。
こちらから申し込んでくれた人だけですが、サービスに加え日本人の担当者を付けさせてもらいます。
スポンサーリンク
整理
整理しますがスクレイピングツールを使うときに必要な知識は、出力項目の意味を知ることと、英語で説明している場合は英語の意味を知ることでした。これさえできたらスクレイピングツールは使えるので、敷居はかなり低いです。
プログラマはプラグラミングに挑戦したらいいですが、プログラムの心得があっても、データコレクターのようなツールを構築するのは難しいです。
このような現実を考えたら、プログラムの経験のない人は、既存のスクレイピングツールを使った方が断然効率的です。
Bright Dataは他のスクレイピングツールとは一味違う
Bright Dataは、他のスクレイピングツールとは一味違います。具体的に見ていきます。
世界中のIPアドレスを保有している
世界中といっても全世界ではありませんが、Bright Dataは世界10ヶ国のIPアドレスを保有しています。IPアドレスとスクレイピングに、何の関係があるのか？と思う人はいるでしょう。答えになりますが、関係はあります。
海外のサイトをスクレイピングするときは、現地のIPアドレスを使用するのが基本です。何故ならばサイトによっては、国外からのIPアドレスをブロックしているからです。このことは海外のサイトをネットサーフィンすれば、気付くことが多いと思います。
現地のIPアドレスを使用すればまずブロックされる心配はないので、継続的にスクレイピングする人は助かるでしょう。
実は日本のサイトをスクレイピングするときも、プロバイダ以外のIPアドレスを使った方が便利なのです。何らかの理由で、プロバイダのIPアドレスがブロックされることはあります。しかしプロキシサーバーであるBright Dataと契約すれば、一つIPアドレスがブロックされても致命傷にはなりません。
何故ならばBright Dataは、多くのIPアドレスを保有しているからです。そのため、あるIPアドレスがブロックされても、違うIPアドレスに乗り換えることができます。
お任せコースがある
動画ではライブデータセットの紹介もしていましたが、ライブデータセットはクリックするだけで、必要なデータがすべて取得できます。もちろん有料ですが、大規模なサイトを対象にしているので、費用対効果は抜群です。
大規模なwebサービスをスクレイピングしようと思えば時間がかかるだけではなく、失敗する可能性も高くなります。失敗する可能性が高くなるのは、大規模なwebサービスの構造が複雑であることが多いからです。
そんな大規模なwebサービスのデータが、数ステップで取得できるのは大変効率的なことです。一人の専門家を雇うことを考えたら、随分安いと思います。
スポンサーリンク
まとめ
Bright Dataを教材にしスクレイピングの概略を学びましたが、非プログラマの人は既存のスクレイピングツールを使う方が絶対に効率的です。
Bright Dataは法人だけですが、七日間の無料体験プランを提供しています。少しでも関心のある方は、実際に体験してみたらどうでしょうか？
もしかして体験中に躓くことがあるかもしれませんが、躓いたらこちらの記事か、記事で紹介した動画を参考にしてください。