コンピューター業界はカタカナ語が多いので、英語が苦手な人はちんぷんかんぷんな単語に出会うことがあるでしょう。
apiはカタカナ語ではなく英単語ですが、意味が解る人は少数派なのではないでしょうか？
本記事ではapiについても解説しますが、スクレイピングとapiの関係についても解説します。
初心者にも理解できるように平たく解説しますので、最後までお付き合いください。
目次
apiとはなんぞや？
まずはapiについて解説しますね。
APIはApplication Programming Interfaceの略称
見出しの英語を読んでも何が何やら解りませんね。
簡単に言えば他のシステムにアクセスする為の、入り口だと理解したらいいでしょう。
でも何故わざわざ入り口をつくる必要があるのでしょうか？
その答えは簡単でシステムの根幹には触れて欲しくはないけど、システムのデータだけは自由に操作してほしいからです。
apiに接続したら好きな項目だけのデータを抜き出すことができるし、並べ替えも自由自在です。（システムが対応している場合）
apiを使うための知識
apiを使う為にはプログラムの基本を理解する必要があります。
元々はプログラマ用に開発された入り口なので、プログラムの知識がなかったら操作は難しいです。
しかし難解なプログラム知識は必要ないし、一旦接続したらマニュアルの構文を使ってデータを抜き出すことができます。
私が最初にapiに触れたのはAmazonでしたが、その頃は日本語のマニュアルがなかったので、不明点があった場合はアメリカのエンジニアに聞いていました。
今は日本人でも理解できるように、日本人向けのマニュアルがあります。
マニュアルは使いながら覚える
一応日本人向けのマニュアルはありますが、頭だけでは理解しにくいことがあります。
そんな時は実際に書くことをおすすめします。
実際に書きプログラムが作動したら、頭ではなく身体で理解できるはずです。
マニュアルは直訳調の日本語で書かれていることが多いですが、実際に書いて動かせばスンナリ頭に入りますよ。
スポンサーリンク
apiとスクレイピングの関係
これからはapiとスクレイピングの関係について解説しますが、apiに接続してスクレイピングすることは大きな意味があります。
一般向けのページでは取得できないデータも取得できる
apiのシステムにもよりますがapiに接続したら、一般向けのページでは取得できないデータを取得することができます。
またデータを好きなように加工することも可能です。
私の知っている人はAmazonのapiを利用して、アフィリエイトをしていました。
見事な加工とボリュームだったので、アフィリエイトの成績は良かったみたいです。
apiはスクレイピングだけではなく、アフィリエイトにも向いていますね。
apiに接続してスクレイピングする方法は？
- apiが使えるように申請する
- apiの基本を覚える
- 実際にスクレイピングする
当たり前の方法を書きましたが、２番目のapiの基本を覚えるのは大切です。
独自の構文を使っていることが多いので、慣れるまではしっかり覚えましょう。
api経由でスクレイピングした後は
api経由でスクレイピングした後の、データの使い道を解説します。
会員制のサイトで公開する
api経由でスクレイピングしたデータには無駄がないし、整理できるので閲覧者は利用しやすいです。
このようなデータを一般向けに公開してもいいですが、利益を考えるのであれば会員制のサイトで公開した方がいいと思います。
ただapi経由でなくてもある程度のデータは取得できるので、会費は控えめにした方がいいかもしれません。
会員制サイトの宣伝方法
会員制のサイトを構築しても宣伝しなければ、多くの人の目に留まることはありません。
手っ取り早い宣伝方法は類似したポータルサイトで宣伝することですが、ホームページの運営者には礼を尽くしましょう。
分析付きで有料メルマガを発行
api経由でスクレイピングしたデータを読み解きメルマガで公開したら、きっと喜ぶ人は多いと思います。
メルマガはメルマガ内で宣伝してくれるので、多くの人の目に触れやすいです。
さてデータを読み解く方法ですが、これは分野によって全く変わってきます。
株式情報であれば注目の株を紹介したらいいですが、さまざまなデータと比較して紹介したら説得力が全く変わってきます。
メルマガは「まぐまぐ」が有名ですが、他にもメルマガ配信サービスはあります。
ただメルマガ内部で宣伝してくれるシステムがなかったら周知されるまでに時間がかかるので、宣伝に自信のない方は、「まぐまぐ」がいいかもしれません。
「まぐまぐ」は無料版もありますが、api経由でスクレイピングしたデータは貴重なので、最初から有料メルマガで発行した方がいいでしょう。
プレゼンテーションに活用する
api経由でスクレイピングしたデータは、プレゼンテーションに活用できます。
貴重なデータが多いのでプレゼンテーションしたら、多くの人が耳を傾けてくれるでしょう。
しかしデータをそのまま提示しても理解されにくいので、ピボットテーブルを使いデータの意味を解らせることが大切です。
このあたりの問題はスクレイピング知識とは関係ありませんが、スクレイピングを志す人は是非とも分析能力も磨いてほしいです。
分析能力を磨く方法
分析能力を磨くには、問題意識を持つことが大切です。
仮にapi経由ですべての価格を抜き出したとしたら、「この商品は何故この価格帯なのか？」と自問自答してください。
自問自答するうちに、価格設定には深みがあることが解ってくるでしょう。
今のビジネスは価格競争に巻き込まれることが多いので、適当に価格付けをしてはいけません。
データに基づいて価格設定をするべきです。
スポンサーリンク
api経由でスクレイピングしたデータを独自のシステムに取り込むポイント
api経由でスクレイピングしたデータを、独自のシステムに取り込んだら便利です。
取り込むためのポイントを解説します。
システムを一元化する
システムを一元化し、一つのシステムでデータを取得できるようにしなければ、ユーザーの利便性は凄く悪いです。
システムの一元化というと難しく感じるかもしれませんが、要はapi経由でスクレイピングしたデータを、システムに読み込ませるだけです。
プログラム言語にはファイルを読み込ませる関数があるので、それらの関数を使ったらシステムの一元化は簡単です。
出力形式に気を配る
データを使う方法は人によって異なるので、出力形式は多くあった方が望ましいです。
CSVファイルで出力するのは当然ですが、JSON形式、Excel形式も利用できるようにしたら、ユーザーは凄く便利です。
ExcelはCSVファイルを読み込ませることもできますが、レイアウトを崩さずに読み込ませようと思ったら、最初からExcel形式で出力した方がスムーズです。
データ分析にExcelを活用する人は多いので、システムを開発する人は是非ともExcel形式でも出力できるようにしてください。
まとめ
スクレイピングとapiの違いをテーマに解説しましたが、スクレイピングとapiは全くの別物です。
しかしapi経由でスクレイピングしたら、データの取得は凄くスムーズになります。
最近のwebサービスはapi関数を提供するケースが増えてきたので、関心のある方は是非とも挑戦してください。
最初はマニュアル片手に操作することになると思いますが、じきに慣れると思います。