youtubeのコメントのスクレイピングは難しいです。最初は簡単だと思いましたが、対象のタグが見つかりませんでした。対象のタグを隠している理由はスクレイピング対策だと思いますが、攻略は不可能ではないと思います。
インターネット上にはyoutubeのコメントをスクレイピングする記事が多くあり、それらを参考にすれば攻略できると思います。
本記事では、youtubeのコメントのスクレイピングを深掘りします。
目次
youtubeの仕様を観察
まずはyoutubeの構成を見ます。
youtubeの構成を見る方法
スクレイピングの基本は対象のタグを探すことですが、対象のタグを探すときはソース画面を出します。試しに実行しました。
ソース画面にしましたがyoutubeはJSONを使っているみたいで、対象のタグを探すことはできませんでした。JSONとはデータ交換フォーマットですが、プログラマにとっては便利なフォーマットです。
しかしスクレイピングをするときは、JSONのフォーマットが壁になります。対象のタグが解らないので、スクレイピングツールで指定することができません。
簡易スクレイピングツールで挑戦
私が使っているブラウザはchromeですが、chromeにはスクレイピングのための拡張機能があります。それでスクレイピングをしました。
結果は・・・
タイトルやURLは取得できましたが、コメントを取得するのは無理でした。どうやらYouTubeのコメントのスクレイピングは、通常の方法では駄目なようです。
スポンサーリンク
youtubeのコメントをスクレイピングするには？
youtubeのコメントのスクレイピングは、通常の方法では駄目なようです。新しい方法を探すことにしました。
youtubeAPI
youtubeのコメントのスクレイピングは、youtubeAPIが必要みたいです。
https://diy-programming.site/youtube/get-comments-python/
上記の解説サイトが詳しいので、関心のある方は参考にしてください。
「youtubeの動画に付いたコメントはyoutubeAPIのCommentThreadsリソースにgetリクエストする」
こちらのサイトの説明によると、これだけでyoutubeのコメントは取得できるみたいです。超簡単ですね。すると我々がしなければいけないことはyoutubeAPIの取得ですが、取得方法は次の見出しで解説します。
youtubeAPIの取得方法
https://developers.google.com/youtube/v3/getting-started?hl=ja
取得方法は上記のサイトを参考にしてください。
基本的に下記のステップで取得できます。
- Googleアカウントを取得
- Googleにアプリケーションを登録
- YouTube Data API を選択
- Cloud Console に移動し、登録したプロジェクトを選択
- [Services] ペインをクリック
- API のリストから YouTube Data API を探し、ステータスをオンにする
プログラミングの心得がない人はスクレイピングサービス
プログラミングの心得がない人は、テンプレートがあるスクレイピングサービスをおすすめします。テンプレートは、webサービスごとに分かれています。
Instagram、Facebook、TwitterなどのSNS系が多いですが、スクレイピングサービスによってはホテルの予約サイトのテンプレートもあります。
基本的にはテンプレートを選択するだけなので、クリック操作ができたら大丈夫です。
youtubeのコメントをスクレイピングするメリット
youtubeのコメントをスクレイピングする方法を解説しましたが、youtubeのコメントをスクレイピングしたら、どのようなメリットがあるのでしょうか？
ユーザーの本音を知ることができる
コメントを許可しているyoutube作品は、誰でもコメントを残すことができます。読んだことがある人は解ると思いますが、本音が飛び交う世界です。
良い口コミもあれば、作者をボロカスに言っているコメントもあります。
ある商品の記事を書くライターがいるとしましょう。
ライターは使用者の本音を知ることが大切ですが、youtubeのコメントを読むとユーザーの本音は直ぐに解ります。
youtubeのコメントを掲載した動画制作
ニコニコ動画を視聴する人は、作品よりもコメントに関心がある人が多いです。ニコニコ動画のコメントは動画内に流れますが、こちらも本音のオンパレードです。
著作権の問題があるのでそのままコピーアンドペーストするのは難しいですが、コメント内容をアレンジして、動画に載せるのは問題はないでしょう。
動画内にコメントを貼り付けるのは難しいと思うかもしれませんが、動画編集ソフトを使えば簡単です。動画編集ソフトにはタイムラインという機能があり、youtubeのコメントをそこに貼り付けるだけです。
本格的な動画編集ソフトにはさまざまな書体があるので、youtubeのコメントを貼り付けるのが楽しくなりますよ。
音声データもタイムラインに貼り付けできるので、より楽しい動画にしたい人は音声データも利用してください。
スポンサーリンク
Bright Dataは万能のスクレイピングサービス
Bright Dataはyoutubeのコメントのスクレイピングもできますが、他にもいろいろなメリットがあります。
プランが豊富
Bright Dataはプロキシサーバー業者ですが、優れたスクレイピングサービス、スクレイピングツールも提供しています。またリクエストを伝えたら、スクレイピングの代行もしてくれます。
「スクレイピングには興味があるけど、ITリテラシーが低いので不安」。
そのような人でも、Bright Dataであれば大丈夫です。
ITリテラシはあるけど、手っ取り早くyoutubeのコメントをスクレイピングしたい人は、ライブデータセットを利用すればいいでしょう。
細かいデータまでスクレイピングしたい人は、同社のデータコレクターというツールを使ったらいいと思います。
スクレイピングする時間がない人は、リクエストだけで伝えたら完結する代行プランを利用しましょう。
IPアドレスの隠蔽が簡単
youtubeのコメントのスクレイピングはデータコレクターでもできますが、データコレクターは使用するIPアドレスが自由に選べます。
日本のIPアドレスもありますが、海外のIPアドレスも多いです。フォームから対象のIPアドレスを選択するだけなので凄く楽です。
新たなIPアドレスの取得は結構お金がかかるので、Bright Dataを利用した方が絶対に安上がりです。
まとめ
youtubeのコメントのスクレイピングについて解説をしましたが、youtubeのコメントのスクレイピングは、どちらかといえば難解です。しかし攻略方法を解説した記事は多いので、決して不可能ではありません。
ただyoutubeは、スクレイピングを暗に禁止しているみたいです。そのためyoutubeのコメントをスクレイピングするときは、自己責任でお願いします。
自己責任でスクレイピングをする人は、短時間で済ませましょう。Bright Dataを活用すれば、短時間、短期間でスクレイピングは完結します。