大手家電量販店のヨドバシカメラはオンライン販売もしていますが、オンラインショップの品揃えも豊富です。そんなヨドバシカメラのオンラインショップを、スクレイピングする方法を解説します。
単にスクレイピングする方法を解説するだけではなく、賢くスクレイピングする方法も併せて解説したいと思います。
目次
スクレイピングする前にやること
スクレイピングする前にやることを解説します。
何の情報が必要なのかを厳選する
今は優れたスクレイピングツールがあるので、スクレイピング自体はさほど難しくはありません。しかし無駄なデータまでスクレイピングしたら、後で整理するのが大変です。
不要な情報が多くなりすぎたら整理の時間の方が長くなってしまい、何のためにスクレイピングしたのか解らなくなります。
スクレイピングを始める前に、何の情報が必要なのか？
これをしっかり見極めてください。スクレイピングの実施は、見極めが終わってからで構いません。
どのように活用するのか考える
必要な情報を見極めることと通じますが、データ取得後の活用方法についても考えてほしいと思います。活用方法まで考えることで、無駄のないスクレイピングが実現するからです。
最近はスクレイピングという言葉に酔いしれて、スクレイピング自体が目的になっている人が多い印象があります。
しかしスクレイピングしたデータを有効活用してこそ、意味があるのです。活用方法が整理できない人は、メモ用紙にアイディアを殴り書きしてください。そこから実現可能なアイディアを見つけ出してください。
ヨドバシカメラのスクレイピングの詳細
これからはヨドバシカメラのスクレイピングに挑戦します。
まずはサイトを開き必要な情報を見極める
https://www.yodobashi.com/
まずはヨドバシカメラのオンラインショップを開いてください。正式な名称はヨドバシ.comになっていると思います。
ここから必要な情報を見極めますが、何の情報が必要なのか決められない人は好きな分野に注目しましょう。今回はタブレットPCを、スクレイピングすることにします。
まずは対象のURLを開きましょう。
https://www.yodobashi.com/category/19531/11970/42007/
多くのタブレットPCが表示されますが、価格をスクレイピングすることにします。そして取得したデータはExcelに転記して、平均価格を求めます。
対象のタグを調べる
対象のページのソース画面を出します。どのブラウザでも右クリックしたら出てくると思います。
<span class=”productPrice“>￥38,660</span>
価格で使われているタグが解りました。
スクレイピングツールで指定するときは<span class=”productPrice“>でいいと思いますが、スクレイピングツールによっては、自動的にタグを検知してくれるものがあります。
今回はついでにポイント還元額も取得しようと思いましたが、ポイント還元額は販売価格の10%と決まっているので、スクレイピングする必要はありませんね。Excelに転記したときに、数式で割り出せば済むことです。
取得したデータをCSVファイルで出力する
次は取得したデータをCSVファイルで出力しますが、有料のスクレイピングツールであればCSVファイルで出力できるようになっていると思います。
通常これからは不要なデータを削除する整形作業がありますが、今回は価格だけなので不要なデータが入り込む余地はないと思います。
必要なデータだけ取得したのを確認してから、Excelに転記します。Excelに転記した後はAVERAGE関数を使い、平均値を求めましょう。
スポンサーリンク
ヨドバシカメラのスクレイピングは難しいか？
ヨドバシカメラで販売されているタブレットPCのスクレイピング方法を学びましたが、スクレイピングの難易度は中ぐらいだと思います。
難易度を中にしたのは対象のタグが解りにくいことと、Javaスクリプトを使っていたからです。
しかしスクレイピングツールによっては自動的にタグを検出してくれるので、そのようなスクレイピングツールを活用すれば、ヨドバシカメラのスクレイピングは難しくないかもしれません。
ヨドバシカメラのスクレイピングは意味があるのか？
ヨドバシカメラのスクレイピングの難易度は中でしたが、ヨドバシカメラのスクレイピングには意味があるのでしょうか？
私は意味があると思っています。特にすべての商品情報を取得することには意味があると思います。すべての商品の商品名と価格を取り出せば、他のオンラインショップの価格と比較することができるからです。
ヨドバシカメラのオリジナル商品は他のオンラインショップでは販売されていないので、比較することは無理だと思いますが、パナソニックなどのブランド品は他のオンラインショップでも扱っていると思います。
ヨドバシカメラのスクレイピングはどんなツールが便利？
ヨドバシカメラのスクレイピングは、どのようなツールが便利なのでしょうか？
タグを自動検知してくれるツール
ヨドバシカメラのサイトの構成は少し複雑なので、タグを自動検知してくれるツールがあれば便利だと思います。
タグを自動検知してくれるツールは便利ですが、最初から対象のタグが解っている場合は、直接タグを指定した方がいいと思います。直接タグを指定することで、不要なデータを切り落とすことができるからです。
ホームページをタグで作成したことがある人は解っていると思いますが、タグが入れ後状態になることがあります。タグが入れ子状態になっているサイトは、対象のタグを見極めるのが難しいです。
ドメイン単位でスクレイピングできるツール
ヨドバシカメラは、商品ごとにカテゴリー分けしています。
https://www.yodobashi.com/category/19531/11970/172565/
こちらのカテゴリーはiPadを表示していますが、「https://www.yodobashi.com/category」まではどのカテゴリーも共通しています。変化があるのは後ろの数字だけです。
スクレイピングツールで「https://www.yodobashi.com/category」を指定すれば、この範囲にあるデータを取得することができます。
もちろん対象のタグも指定しなければいけませんが、ドメイン単位、ディレクトリー単位でスクレイピングできたら凄く便利です。
スケジュール機能があるもの
ヨドバシカメラのスクレイピングは、定期的に実行した方がいいです。何故ならば常にデータが変わるからです。しかしその都度設定するのは、面倒くさいものです。
スケジュール機能があるスクレイピングツールを使えば、決められた日に自動的にスクレイピングは開始します。
まとめ
ヨドバシカメラのスクレイピングについて解説をしましたが、ヨドバシカメラのスクレイピングはプログラムを組む必要はなく、既存のスクレイピングツールで十分に対応できます。
スクレイピングはデータを活用してこそ意味があるので、スクレイピング自体に四苦八苦するのはよくないと思います。
Bright Dataのデータコレクターは、ヨドバシカメラのスクレイピングでも便利です。数ステップで完結するので、忙しいビジネスマンに強くおすすめします。
コメントを残す