短時間で目的のデータを収集するのがスクレイピングの醍醐味ですが、時としてもの凄く遅いことがあります。 あまりにも遅かったらビジネスで活用できないので、何らかの対策を立てるしかありません。 しかし遅い原因が解らなければ、有...

スクレイピング結果をexcelに出力するのは可能で、何本かの解説記事がインターネットで公開されています。 本記事では解説記事をより解りやすく説明すると共に、スクレイピング結果をexcelに出力するメリットについても解説し...

私は外国人の友達が多く、彼ら彼女らに日本語を教えることがあります。専門の教師ではありませんが、教えるときは工夫をしています。 教える際に効果的なのは、辞書の意味を提示することです。 スクレイピングで辞書の意味を収集するの...

何らかの理由で画像を効率的に保存したいことはありますが、一番簡単に実現する方法はスクレイピングです。 スクレイピングは対象のタグを探し、タグに囲まれたデータを効率的に収集します。 本記事では、スクレイピングで画像を保存す...

スクレイピングが世に広まるにつれ、スクレイピングの技術書が増えてきました。 技術書の内容はさまざまで、全くの初心者を対象にしているものもあれば、中級者を対象者にしたものもあります。 スクレイピングの技術書は活用すればスキ...

スクレイピングにsleep処理が必要なのは昔から言われていましたが、深掘りした記事は少ないようです。 本記事では、スクレイピングにsleep処理が必要な理由を深掘りしたいと思います。 スクレイピングは有益なプログラム手法...

ホームページを手打ちしている人は、誰でもhrefタグの役割を知っているでしょう。 hrefタグは別名リンクタグと言われていますが、他のURLに飛ばしたり、同じサイトだけど別のファイルに飛ばすときに使います。 そんなhre...

wikipediaはさまざまな情報や人物を取り上げているサイトですが、誇張なく真面目な内容です。 wikipediaの情報をスクレイピングしたら、自分だけのユニークなサイトが制作できるでしょう。 本記事ではwikiped...

タレントの蛭子能収さんはボートレースが好きですが、ボートレースの面白さに触れたら、一生離れられないみたいですね。 ボートレースの面白さには予想の面白さがありますが、予想の元になるのはデータです。 データは公開されているの...

SNSだけではなく、パスワード付きのサイトが増えてきました。 パスワード付きサイトで有名なのは、ポイントサイト、ネットショップ、SNSではないでしょうか？ それらのサイトの情報をスクレイピングで取得したら、役立つことが多...