スクレイピングした方がいいamazonのデータ

Amazonをスクレイピングする人は多いですが、Amazonをスクレイピングする意義は何でしょうか？Amazonからイメージするものは巨大ネットモールだと思いますが、巨大ネットモールから価値のあるデータを効率的に抽出することは意義のあることです。

本記事ではAmazonの価値のあるデータを考察します。そしてビジネスで活用する方法についても考察します。

Amazonをスクレイピングする方法については関連サイトが多いので割愛したいと思いますが、最後にライブデータセットについて紹介したいと思います。ライブデータセットは、おそらく世界で一番早くAmazonのデータを取得できるサービスです。

スクレイピングしたいAmazonのデータ

スクレイピングしたいAmazonのデータを考察します。

商品レビュー

最近は人的チェックが入っていますが、Amazonには数多くのレビューがあります。良いレビューが付けば、購買者は増えるでしょう。逆に悪いレビューが付けば、購買者は瞬く間に減るでしょう。Amazonのレビューにはサクラもいると推測しますが、レビューを重要視している出品者は多いです。

商品レビューを取得するには対応しているタグを探す必要がありますが、「すべてのレビューを参照します」のリンクをクリックすれば解ると思います。ここでは詳しい方法は書きませんが、こちらのURLからスクレイピングしたら手っ取り早いです。

商品レビューの意義は、商品に対する良い点のみならず、悪い点も解ることだと思います。特に悪い点については大切で、悪い点を改善することで商品の質は上がります。

商品画像

商品を比較するときは商品画像があれば便利です。画像から商品の概略、商品の質感が解ります。Amazonの画像をスクレイピングするときは対象のページを開き、<img>のタグを探します。スクレイピングツールによっては自動的にタグを探してくれるので、画像を選択するだけでもいいです。

取得した画像を表示させるには、htmlファイルに画像の絶対パスを記載したらいいでしょう。絶対パスを指定したら、異なるサーバー間であっても画像の表示は可能です。（画像を表示させない設定にしている場合は無理）

商品画像だけではなく、商品名と価格もスクレイピングした方がいいのは言うまでもありません。

Amazonの規約には注意

利用許可およびサイトへのアクセス

本規約およびサービス規約の遵守を条件とし、アマゾンまたはコンテンツ提供者は、アマゾンサービスを限定的、非独占的、非商業的および個人的に利用する権利をお客様に許諾します（譲渡およびサブライセンス不可）。この利用許可には、アマゾンサービスまたはそのコンテンツの転売および商業目的での利用、製品リスト、解説、価格などの収集と利用、アマゾンサービスまたはそのコンテンツの二次的利用、第三者のために行うアカウント情報のダウンロードとコピーやその他の利用、データマイニング、ロボットなどのデータ収集・抽出ツールの使用は、一切含まれません。本規約またはその他の規約にて明示的に許諾されていない権利は全てアマゾンまたはそのライセンサー、供給者、出版者、権利保持者またはその他のコンテンツ権利者が留保します。アマゾンサービスまたはそのいかなる部分も、アマゾンからの書面による明示的な承諾を得ていない限り、商業目的のために、複製、複写、コピー、販売、再販、アクセス、その他の利用はできません。商標、ロゴ、およびアマゾンが有するその他の財産権的価値のある情報（画像、文字、ページレイアウト、フォームを含む）は、書面による明示的な承諾を得ていない限り、フレームにしたり、またはフレーム技術を使って取り込んだりすることはできません。また、アマゾンの明示的な書面による許諾なく、アマゾンの名称や商標をメタタグなど隠れたテキストとして使用することはできません。アマゾンサービスを不正に利用することは禁止されており、適用される法律に従ってのみ利用できます。本規約およびその他の利用規約に反する使用をした場合、アマゾンが使用許諾した権利は終了します。

https://www.amazon.co.jp/gp/help/customer/display.html?nodeId=GLSBYFE9MGKKQXXM

Amazonの規約を読むとスクレイピングという言葉は登場していませんが、スクレイピングをするときは注意した方がいいと思います。特に転売目的・商業目的は確実に規約違反なので、十分に注意してください。

Amazonをスクレイピングするときは、頻繁に実行しないことが大切です。頻繁に実行すると、Amazonのサーバーに負担がかかるからです。サーバーに負担がかかりすぎると、規制される可能性があります。

この規約に関してはさまざまな解釈があるようですが、ここでは素直な意見を書かせてもらいました。ただ文面を読む限り積極的には許可していないようなので、Amazonをスクレイピングする人は自己責任でお願いします。