コンピューター用語に慣れている人であれば、直ぐに理解できると思いますが、Scraping Browser APIはAPIサービスです。
APIサービスとはインターネットを介して、他のソフトウェアやシステムに接続できるサービスですが、Scraping Browser APIはスクレイピングのためのAPIです。
このAPIサービスが、結構評判みたいです。
目次
まずは新規登録
https://brightdata.com/products/scraping-browser
私は実際に新規登録しました。
最初はメールアドレスを入力しますが、その後はパスワードを設定します。
パスワードを設定する際の注意点です。
- 大文字と小文字が必要
- 数字が必要
- 特殊文字が必要
特殊文字とは「＠」のような文字ですが、私は「＠」を使いました。
パスワードは二回入力する必要があります。
ログインしたら以下のような画面になります。
使い方
動画は上記の画像から始まっていますが、まずは↓左端の「Proxies & Scraping Infrastructure」を選択してください。
それから「Scraping Browser」という項目を探してください。
たぶん最初は直ぐに現れると思います。
最初にすることは「Solution name」の入力です。
解りやすい名前を付けた方が、後々便利だと思います。
それからの操作は動画を参考にしてもらったらいいですが、少し解りにくい英語なので苦労するかもしれません。
スポンサーリンク
Scraping Browser APIを徹底解剖
これからはScraping Browser APIを徹底解剖します。
日本語版がありました
さっきまでは英語版を参照していましたが、日本語版もありました。英語が苦手な人は日本語版を見てくださいね。
https://brightdata.jp/products/scraping-browser
概略
ロック解除機能とプロキシが組み込まれたオールインワン ブラウザを管理して、ブロックされることなく Web サイトを大規模にロック解除できます。
公式サイトには、上記の文言がありました。
この説明によるとScraping Browser APIは、プロキシとロック解除機能が利用できるとのこと。
プロキシを通すこともロックを解除することもスクレイピングでは大切で、どちらかが欠けてもスクレイピングはスムーズにいきません。
必要なコードはメチャクチャ短いです。どれぐらい短いことかというと、動画では対象のwebサイトのURLを入力しているだけでした。
動画ではAmazonのURLを入力していますが、たった1行変えるだけで、Amazonのスクレイピングに成功しています。
これって凄くないですか？
自分は素直に凄いと思いました。
コントロールパネルが解りやすい
Scraping Browser APIは視覚的で解りやすいですが、これからはキャプチャーを使って詳しく見ます。
ホーム画面
ホーム画面を見ると、クリック一つでさまざまな機能が有効もしくは無効にできます。
使う前に、支払いを済ます必要があります。
支払い方法はクレジットカード、PayPal、Payoneerが選択できます。PayPalとPayoneerは外国の会社が運営していますが、アカウントはオンラインで簡単に作成できます。
Dashboard
左から二つ目のタブですが、データの使用量が視覚的に確認できます。
データ容量だけではなく、使った金額も確認できるようになっていますね。外国のサービスを使うときは言葉が不安ですが、Scraping Browser APIは視覚的に理解できます。
Event Log
左から三つ目のタブは、ログが確認できます。
ログはダウンロードも可能です。ファイル形式はCSVになっていました。
CSVでダウンロードしたら、ExcelやAccessなどに取り込むことができます。
Support
左から四つ目のタブはサポートになっています。説明は不要だと思うので詳細は省きます。
実際にクリックすると英語の画面に飛ばされますが、英語が苦手な人はオンラインツールの力を借りてくださいね。
ただ、使われている英語は中学生程度の英語なので、少し勉強すれば理解できるようになると思います。
More
左から5つめのMoreをクリックすると、拡張機能が表示されました。
プロキシマネージャなどの拡張機能がありましたが、拡張機能は年々増えていくと思います。
クリック一つで拡張機能が利用できるので、さまざまな使い方をしたい人は便利だと思います。
AI機能を搭載している
AI技術を用いたScraping Browserは、ボット検知システムの適応に合わせて自動的に学習して、ボット検知システムを回避するため、手間とコストを省くことができます。ボット検知システムに対し、実際のユーザーのブラウザとして表示することで、プロキシよりも優れたロック解除成功率を実現します。
日本語版には上記の文言があります。
Scraping BrowserはAI機能を搭載しているとのことですが、ブロックを解除するときはAI機能を搭載していた方が絶対に有利です。
ブロックを実装するwebサイトの管理者はブロックを突破されまいと、日々改良を重ねています。そのようなwebサイトのブロックを解除するには、いつまでも同じ技術に固執していては駄目です。
webサイトのブロック技術が進歩すれば、突破する方も同じように進歩しなければいけません。しかし闇雲にアップデートしても意味はありません。
Scraping BrowserにはAI機能が搭載されているので、万が一突破できなかったときも、しっかり学習します。
これは本当に大切なことです。
スポンサーリンク
Scraping Browser APIは時間を節約したい人にピッタリ
ブロック機能があるwebサイトを人力で突破することはケースによっては可能だと思いますが、時間もかかるし、人件費もかかります。
Scraping Browser APIを使えば、ほぼ自動的にブロックを突破してくれるので、大幅に時間が節約できます。
言葉にすれば簡単かもしれませんが、これだけのブロック解除技術をオールーインワンで実現したのは、画期的なことです。
Scraping Browser APIを活用すれば、人を一人雇うよりも安い価格で、質の高いスクレイピングが可能になります。
まとめ
Scraping Browser APIの解説をしましたが、Scraping Browser APIの凄さは、システムに携わった人であれば誰でも解ると思います。
並の技術者は画像認証を突破するだけでも、四苦八苦すると思います。
結局、突破できない技術者も多いと思います。
Scraping Browser APIを活用すれば非プログラマーでも、規模の大きいwebサイトのスクレイピングが可能になります。
規模の大きいwebサイトはたいていブロック機能を実装しているので、Scraping Browser APIを活用する価値は大いにあります。
コメントを残す