大学を中退した私は卒論を書くことはありませんでしたが、大学生にとって卒論は最後の難関でしょう。良い卒論を書くためには論理的な思考能力も必要ですが、教授を納得させるテーマも大切です。
しかしテーマ選びは凄く難しく、多くの大学生は日夜悩みます。本記事ではスクレイピングによるテーマ探しと、スクレイピングの活用方法を解説します。
卒論には絶対的な正解はありませんが、本記事を参考にすればそれなりの卒論は書けると思います。
目次
テーマを決めるポイント
卒論の第一歩はテーマ探しですが、これからは卒論のテーマをスクレイピングを活用し、決める方法を解説します。
トレンドに注目する
卒論のテーマが決まらない人は、トレンドに注目しましょう。既に議論が尽くされた分野は卒論には向きませんが、トレンドであれば独自の意見を展開する余地はあるでしょう。
トレンドを見つけるときは、SNSやTwitterに注目したらいいと思います。特にTwitterはトレンド情報の宝庫なので、必ずや卒論のテーマが見つかると思います。Facebookでフレンドが多い人は、フレンドの発言からトレンド情報を集めてもいいでしょう。
ブログサービスも狙い目です。ブログサービスはカテゴリー分けされているので、テーマが探しやすいと思います。アメーバブログであれば、かなりの記事数があると思います。
地味だけど議論が深まりそうな分野を選ぶ
トレンドとは真逆ですが、敢えて地味なテーマを選ぶのもいいでしょう。地味なテーマでも、議論が深まりそうな分野はあると思います。そのような分野で、自分の意見を論理的に伝えたら、教授の心に響くのではないでしょうか？
ところで地味なテーマは、どのように探せばいいのでしょうか？探し方はいろいろあると思いますが、スクレイピングで探す方法を紹介します。
一番簡単な方法は、Q&Aサイトをスクレイピングすることだと思います。Q&Aサイトは悩みの宝庫ですが、Q&Aサイトには地味なテーマが隠れていることが多いです。スクレイピングするときは本文をスクレイピングする必要はなく、タイトルだけスクレイピングしたらいいと思います。
ありふれたテーマを角度を変えて論じる
ありふれたテーマを、角度を変えて論じるのも一つの手です。韓国芸能界に自殺者が多いのは周知の事実ですが、このようなテーマを角度を変えて論じるのも面白いものです。
例えば「韓国の文化から韓国芸能界を分析する」
このような切り口だったら、厳しい教授でも真剣に卒論を読んでくれるでしょう。角度を変えて論じることはスクレイピングとは関係ありませんが、ありふれたテーマを見つけるときは、スクレイピングを活用すれば便利です。
ありふれたテーマを見つけるときも、Twitterが便利だと思います。TwitterAPIを活用すればより便利だと思いますが、検索窓に適当なキーワードを入れ検索してもいいと思います。そのキーワードの記事にリーツイートが多ければ、ピックアップしましょう。
スポンサーリンク
卒論のためのスクレイピングツール活用術
これからは卒論のための、スクレイピング活用術を解説したいと思います。
先ずは見出しに注目する
スクレイピングで卒論のテーマを探すときは、先ずは見出しに注目しましょう。本文を読まなくても、見出しだけで卒論のテーマが決まることはあります。
見だしを見つけた後は、見だしに使われているタグを探してください。使われているタグはソース画面から閲覧できますが、ソースを画面を出すときは対象のページで右クリックしてください。そうすれば、ソースという項目が見えるはずです。（ブラウザによって項目名は多少異なります）
タイトルに注目
スクレイピングツールで卒論のテーマを探すときは、タイトルにも注目しましょう。タイトルは「title」タグに囲まれています。そのためタイトルをスクレイピングツールでまとめて収集するときは、「title」タグを指定する必要があります。
CMSなどはタイトル名以外の文字も含んでいることがありますが、余計な文字は手作業で削除するしかありません。
露出度の高いキーワードに注目
卒論に旬のキーワードを盛り込んだら、教授を惹きつける内容になりやすいです。ところでスクレイピングツールで、旬のキーワードを見つけるには、どうすればいいのでしょうか？
一番簡単な方法はTwitterを活用することです。Twitterを活用すればスクレイピングなしでも、旬のキーワードを見つけることはできます。が、スクレイピングを活用しても、旬のキーワードは見つかります。
少し面倒ですが、Twitterのツイードやリツイートの内容をスクレイピングします。それからはExcelに転記し、Excelの検索機能で登場回数が多そうなキーワードを探します。登場回数が100回以上であれば、旬のキーワードと判断してもいいのではないでしょうか？
以下のサイトを利用して、旬のキーワードを見つけても構いません。
https://trends.google.co.jp/trends/trendingsearches/realtime?geo=JP&category=all
内容は随時変更になりますが、卒論に使えそうなキーワードはあると思います。
卒論に便利なスクレイピングツール
これからは卒論に便利な、スクレイピングツールを解説します。
シンプルに操作できるツール
卒論で一番手間取るのは資料集めですが、資料を集めるときはスクレイピングが便利です。しかし一部のスクレイピングツールは操作が複雑で、スムーズに目的のデータを収集することができません。
タグが簡単に指定できる、スクレイピングツールが望ましいです。タグの指定に時間がかかりすぎたら、途中で投げ出したくなるでしょう。
費用が安いツール
正社員として働くことが難しい学生は、スクレイピングツールの費用も惜しいでしょう。それならば極力安いスクレイピングサービスを選んだらいいですが、大抵のスクレイピングサービスは一ヶ月契約です。資料集めが5日で済んでも、一ヶ月分の料金を支払わなくてはいけません。
一番安くスクレイピングする方法は、おそらく課金制のサービスだと思います。課金制であれば、スクレイピングした分だけの費用しか発生しません。
スポンサーリンク
Bright Dataは卒論にも便利
Bright Dataのデータコレクターは操作がシンプルなので、初めての人でも直ぐに慣れると思います。また課金制のプランを選択すれば、最低限の支出でスクレイピングできると思います。
Bright Dataのプランはかなり多いので、他にもいいプランがあるかもしれません。気になる方は、問い合わせフォームから質問してください。
Bright Dataのデータコレクターを解説している動画があるので、導入を迷われている方は一度視聴してください。
動画ではライブデータセット、データコレクター、サーチエンジンクローラの解説をしています。
まとめ
スクレイピングツールで卒論のデータを集める方法を解説しましたが、スクレイピングは卒論のデータ集めにも有効です。最近は卒論のデータをインターネットから収集する学生が増えてきましたが、インターネットから収集するときは、絶対にスクレイピングが便利です。
スクレイピングツールを選ぶときは、Bright Dataを候補に入れてほしいと思います。Bright Dataは世界的に有名な企業で、海外の一流企業も利用しています。本業はプロキシサーバーの運営ですが、世界をリードするスクレイピングツールも提供しています。
日本語化がかなり進んでいるので、英語が苦手な人でも問題はありません。
Webスクレイピンツールなら、ScrapeStormも使いやすいですよ～
Bright Dataのプロクシサーバーも利用しています。確かに非常に便利です。