「スクレイピング　コツ」というキーワードで検索すると、少ないながらも記事がヒットします。しかしスクレイピングのコツは、少しばかり曖昧模糊としています。 プログラマーにとってのコツ、ツールを使ってスクレイピングするときのコ...

スクレイピングは効率的に目的のデータを収集する技術ですが、サーバー負荷の問題点があります。 このことは少なからずの人が知っていると思いますが、具体的に説明できる人は少ないのではないでしょうか？ 本記事ではスクレイピングと...

スクレイピングという言葉は市民権を得ているので、概略は解っている人は多いでしょう。しかし期待できる成果について、理解している人は少ない印象です。 本記事ではスクレイピングで期待できる成果を、極力解りやすい言葉で伝えます。...

「API」とは、「Application Programming Interface」の頭文字ですが、システムの入り口と理解したらいいと思います。 異なるシステムのデータを取得するときは苦労しますが、api関数を提供して...

短時間で目的のデータを収集するのがスクレイピングの醍醐味ですが、時としてもの凄く遅いことがあります。 あまりにも遅かったらビジネスで活用できないので、何らかの対策を立てるしかありません。 しかし遅い原因が解らなければ、有...

スクレイピング結果をexcelに出力するのは可能で、何本かの解説記事がインターネットで公開されています。 本記事では解説記事をより解りやすく説明すると共に、スクレイピング結果をexcelに出力するメリットについても解説し...

私は外国人の友達が多く、彼ら彼女らに日本語を教えることがあります。専門の教師ではありませんが、教えるときは工夫をしています。 教える際に効果的なのは、辞書の意味を提示することです。 スクレイピングで辞書の意味を収集するの...

何らかの理由で画像を効率的に保存したいことはありますが、一番簡単に実現する方法はスクレイピングです。 スクレイピングは対象のタグを探し、タグに囲まれたデータを効率的に収集します。 本記事では、スクレイピングで画像を保存す...

スクレイピングが世に広まるにつれ、スクレイピングの技術書が増えてきました。 技術書の内容はさまざまで、全くの初心者を対象にしているものもあれば、中級者を対象者にしたものもあります。 スクレイピングの技術書は活用すればスキ...

スクレイピングにsleep処理が必要なのは昔から言われていましたが、深掘りした記事は少ないようです。 本記事では、スクレイピングにsleep処理が必要な理由を深掘りしたいと思います。 スクレイピングは有益なプログラム手法...