スクレイピングはデータを収集し加工する技術で、プログラムの知識がなければ実行できません。しかし非IT系の仕事をしている人が、一からプログラムを学ぶのは大変です。 既存のスクレイピングツールを使えば、非プログラマでもスクレ...

スクレイピングする目的によっては、複数ページを対象にしなければいけません。門外漢の人は単ページも複数ページも同じだろうと思うかもしれませんが、よくよく考えたら複数ページのスクレイピングには問題があります。 この問題につい...

facebookにはビジネス用のページがあり、商品の販売やサービスの販売をしています。そんなfacebookをスクレイピングする人はいますが、facebookをスクレイピングするときはポイントがあります。 本記事ではポイ...

スクレイピングのコードの一部は公開されていますが、スクレイピングツールを構築する時は、for文が必要です。for文は現代のプログラム言語だけではなく、C言語にもあります。 for文の役割は繰り返し処理ですが、何故スクレイ...

スクレイピングは特定のデータを抽出する技術ですが、年々必要性は増しています。私は求人情報に広く目を通していますが、スクレイピングの文字を見ることが多くなりました。10年ぐらい前は、見ることはなかったと思います。 スクレイ...

スクレイピングは専用のツールで実施しますが、ツールの開発をシステム会社に依頼すれば当然費用は発生します。スクレイピングするツールはスクレイピングツールといいますが、業務システムと比較すれば仕様は簡単です。 仕様が簡単なの...

スクレイピングはプログラムなので、一朝一夕に身につけることはできません。かといって専門学校に通ったら、お金がかかります。一般的にプログラム学校の学費は高いので、そこそこ経済力が高くなければ卒業まで通学するのは大変です。 ...

スクレイピングは独自のシステムを構築するか、既存のスクレイピングツールを利用するのが一般的です。しかし比較的少ないデータであれば、手作業でも問題はないと思います。手作業といっても、上から順番にデータを見ていくのは効率が悪...

スクレイピングは特定のデータを効率的に収集する技術で、特に楽しいものではありません。しかしスクレイピングの過程の中には、楽しいことがあります。。 そんな楽しいスクレイピングの世界を知ってもらおうと、この記事を書かせてもら...

スクレイピングでtime.sleep処理をするのはマナー 連続でスクレイピングをしたら、対象のサーバーに負荷がかかります。そのため、意図的に処理を停止させる必要があります。処理を停止させるメソッドがtime.sleepで...