スクレイピングは有益なプログラミング手法ですが、webサイトによってはスクレイピングを回避することがあります。 スクレイピングを回避する理由はいろいろありますが、本文で詳しく解説します。 本記事ではスクレイピングと、アク...

npbには公式サイトがあり、公式サイトのスクレイピングは簡単な部類に入ると思います。 スクレイピング自体は簡単なのですが、スクレイピングしたデータを元にクイズサイトまたはクイズブログをつくるには、アイディアが必要です。 ...

スクレイピングというとITリテラシーがなければ無理というイメージがあるかもしれませんが、最近はノーコードでスクレイピングできるスクレイピングツールが多く登場するようになりました。 ノーコードのスクレイピングツールとは全く...

スクレイピングはwebサイトから一部の情報を効率的に収集する技術ですが、日本語の記事を収集するときは問題点があります。 本記事では日本語の記事を収集する際の問題点を解説します。 せっかくスクレイピングで必要なデータを収集...

スクレイピングが注目されるようになるにつれ、ノンコードでもスクレイピングができるスクレイピングツールが登場するようになりました。 スクレイピングツールには種類があり、用途とスキルに応じて選ばなければいけません。しかし初め...

スクレイピングに関心を抱きスクレイピングツールの構築に挑戦する人はいますが、初心者はサンプルコード付きの解説書を探してください。 本記事では、サンプルコードを参考にするメリットを解説します。そして基本を習得した後にするこ...

「スクレイピング　コツ」というキーワードで検索すると、少ないながらも記事がヒットします。しかしスクレイピングのコツは、少しばかり曖昧模糊としています。 プログラマーにとってのコツ、ツールを使ってスクレイピングするときのコ...

スクレイピングは効率的に目的のデータを収集する技術ですが、サーバー負荷の問題点があります。 このことは少なからずの人が知っていると思いますが、具体的に説明できる人は少ないのではないでしょうか？ 本記事ではスクレイピングと...

スクレイピングという言葉は市民権を得ているので、概略は解っている人は多いでしょう。しかし期待できる成果について、理解している人は少ない印象です。 本記事ではスクレイピングで期待できる成果を、極力解りやすい言葉で伝えます。...

「API」とは、「Application Programming Interface」の頭文字ですが、システムの入り口と理解したらいいと思います。 異なるシステムのデータを取得するときは苦労しますが、api関数を提供して...