スクレイピングのデータはデータベースに格納したら便利

スクレイピングとデータベースは両輪

スクレイピングで取得したデータは、データベースに格納したら便利です。便利な理由は何回も使えるからです。データベースを操作するプログラム言語はSQL言語ですが、SQL言語には方言があります。

本記事はスクレイピングで取得したデータを、データベースに格納する方法、抽出する方法に焦点を当てて解説します。スクレイピングで取得したデータは有効活用したいものですが、データーベースに保存したら有効に活用できます。

スクレイピングのデータをデータベースに保存し抽出する流れ

これからはスクレイピングのデータを、データベースに保存し抽出する流れを解説します。

mysqlが使えるレンタルサーバーを見つける

スクレイピングにスクリプト言語を使う場合、mysqlが使えるレンタルサーバーを探しましょう。mysqlが使えるレンタルサーバーは多いですが、phpMyAdminも使えるレンタルサーバーが便利だと思います。

phpMyAdminは、データーベースのテーブルを作るときに便利です。操作画面がGUIになっているので、作業が非常にスムーズです。スクレイピングのデータを格納するには、カラムを作る必要があります。カラムはデータの入れ物です。

カラムには型があります。カラムの種類は多いですが、文字と数字が格納できる型であれば問題はありません。数字だけであればint型でもいいでしょう。

ただint型に文字列を格納したらエラーが出るので、型を決めるときは慎重に決めた方がいいと思います。もっとも後で何回でも修正できるので、神経質になる必要はありません。

具体的なやり方

日付、商品名、色、サイズ、在庫の有無、商品説明のカラムを設定します。

まずはテーブル名を決め、カラム数を指定します。カラムの数は6個ですがID番号を加えた方が後々便利なので、カラム数は7つにします。

testidはAI（AUTO_INCREMENT）にしましたが、AUTO_INCREMENTにすると自動採番できるので便利です。今回はtestidを主キーにしましたが、主キーに設定したら、重複したデータは格納できません。

プログラムを書く

今回はデータベースに格納するポイントだけ紹介します。格納するときはSQL言語と接続言語が必要です。データベースに接続する言語はPHPが簡単です。

テーブルに格納するときはinsert文を使います。文法さえ覚えたら簡単なので、気楽に試してください。カラム名は、phpMyAdminで設定したカラム名と同じにします。（ここではわかりやすいように日本語にしています。しかしデータベースでは英数字を使う必要があります。）

カラムに入れる値は、変数化した方が楽です。初心者は慣れるまで大変だと思いますが、実際に自分でコードを書いて覚えてくださいね。

保存したデータはクエリーで自由に抽出しよう

データベースを操作するSQL言語は抽出も得意で、昇順に抽出したり、降順に抽出したり、特定の年度のデータだけを抽出することも可能です。インターネットには検索サイトがありますが、検索サイトはSQL言語を使用していると思います。

SQL言語には方言がありますが、だいたいのSQL言語はselect文でデータを抽出していると思います。SQL言語はプログラム言語の一種ですが、さほど難しくないと思います。しかし習得したら、商用サイトも構築できますよ。

筆者はプログラム経験がありますが、プログラマを志した理由はSQL言語の魅力に惹かれたからです。SQL言語の解説書と解説サイトは多いので、関心のある方は是非チャレンジしてください。

スポンサーリンク

ローカルで作動するデータベースもある

今まではwebサーバーで作動するデータベースを紹介しましたが、ローカルで作動するデータベースもあります。設定は必要ですが、mysqlもローカルで作動します。ローカルで作動するデータベースの魅力は、なんと言っても扱いやすさです。

MicrosoftにはAccessというデータベースソフトがありますが、GUIで操作できるのが魅力です。スクレイピングで取得したデータを、Accessに取り込むことも可能です。取り込むときは、CSVファイルにしたら便利だと思います。

インターネットで公開されている企業情報をAccessに取り込めば、資料作成のときに助かると思います。

Accessの機能を最大限に活用するにはVBAとSQL言語を覚えた方が良いですが、マクロを覚えるだけでもかなり実用的になると思います。マクロは特定の操作を記録するプログラムですが、Accessのマクロはプログラム不要で構築できます。

Accessは他のMicrosoft製品のように簡単ではありませんが、活用したら仕事の効率性は抜群によくなります。

スポンサーリンク

データコレクターで収集したデータをデータベースに取り込もう

データコレクターはBright Dataが提供しているスクレイピングシステムですが、プログラミングなしでスクレイピングできます。

海外の商品情報を収集

別に海外でなくてもいいのですが、Bright Dataは海外のIPアドレスが多いので、海外の商品情報をスクレイピングするときに便利だと思います。Bright DataはAPI関数を提供しているので、腕があればプログラム言語でスクレイピングをしてもいいですが、プログラムの心得のない人はデータコレクター機能を使った方が手っ取り早いです。

データコレクター機能は表示されるサイトを選ぶか、直接URLを打ち込むことで目的のデータが抽出できます。抽出するときはフィルター機能を使いますが、フィルター機能はコントロールパネルから利用できます。

海外の情報を収集した後はweb上で作動するデータベースに取り込んでもいいですが、Googleスプレッドシートに取り込む方が簡単です。Googleスプレッドシートはデータベースではないですが、フィルター機能を活用すれば自由にデータが取り出せます。

SQL言語のような自由さはないですが、必要不可欠な抽出機能はあります。Googleスプレッドシートは、公開範囲が指定できるようになっています。

海外の商品情報を知りたい人はいる

海外の商品情報を知りたい人は確実にいます。そのような人たちは海外の良い商品を日本に輸入し、販売するでしょう。そんな貴重な商品情報をインターネットで公開したら、ビジネスになると思います。

web上に公開するのが嫌ならば、メルマガで公開してもいいと思います。良い情報は確実に売れるので、スクレイピングで良い情報を取得することは意味のあることです。

データ収集を丸投げすることもできる

Bright Dataのデータコレクター機能は自分でも操作できますが、リクエストだけ伝えて丸投げすることもできます。

https://brightdata.com/products/data-collector?lang=ja

希望の納品形態もリクエストできます。上記のデータコレクタープランは、忙しい人に便利です。リクエストだけ伝えたらすべて代行してくれるので、本業に専念できます。デモの予約もできるので、関心のある方は申し込んでください。

Bright Dataの公式サイト

まとめ

スクレイピングとデータベースをテーマに解説しましたが、スクレイピングで取得したデータを、データベースに格納するのは意味のあることです。インターネットを活用したビジネスは可能性に満ちていますが、情報ビジネスも前途は洋々です。

腕のある人はプログラミングでスクレイピングを実践すればいいと思いますが、プログラミングの心得のない人は、Bright Dataのデータコレクター機能を使ってください。通常このようなシステムを構築しようと思えば結構な費用が必要ですが、Bright Dataの月々の維持費は非常に安いです。

Bright Dataのデータコレクター機能を使えば、一人でビジネスを立ち上げることも可能だと思います。難しいスクレイピング作業が省略できたら、本業に専念できますよ。

Bright Dataの公式サイト