目次
スクレイピング関係の英単語は多い
スクレイピング技術は英語圏で開発されたので、スクレイピング関係の英単語は多いです。本記事ではスクレイピングに関係する英単語を解説しますが、英単語を解説するだけではなく、英語のスプレイピングツールを使うときの注意点も解説します。
スクレイピングをするときに英語力は必要ありませんが、スクレイピング関連の英単語を学ぶことは無駄ではないと思います。スクレイピング関連の英単語を学ぶことで、スクレイピングが親しみやすくなるのではないかと思っています。
スクレイピングの歴史
スクレイピング関係の英語を解説する前に、スクレイピングの歴史をみましょう。実は私も正確なことは知りません。私がインターネットを始めたのはかなり古く、当時はNetscapeのブラウザが多かったと記憶しています。
その当時も検索エンジンはありましたが、今のように柔軟性のある検索システムではなかったと思います。しかし検索エンジンがあったのは確かなので、おそらくスクレイピングもその頃に登場したのではないかと推測します。
以下のサイトも同じ説を唱えています。
https://www.octoparse.jp/blog/web-scraping-introduction/
検索エンジンとスクレイピングの名称は異なりますが、目的のデータを素早く見つけるという点では共通しています。ただ今のスクレイピングはタグ単位でデータが抽出できるので、昔の検索エンジンより遙かに利便性は高いと思います。
スポンサーリンク
スクレイピング関係の英語を紹介
これからはスクレイピング関係の英語をみます。
scraping
スクレイピングの由来はscrapingです。オンラインの英英辞典でも調べました。
https://www.ldoceonline.com/jp/dictionary/scrape
さまざまな意味が紹介されていますが、私の感覚からいえば次の意味が一番近いと思います。
「to remove something from a surface using the edge of a knife, a stick etc」
直訳すればナイフなどを使い、表面から何かを取り除くという意味でしょう。
これを実際のスクレイピングに当てはめたらどうなるでしょうか？
数あるデータから、余計な物を取り除くという意味かもしれませんね。
余計なデータを取り除いたら、必要なデータだけを取得することができますね。
crawling
スクレイピング関係のサイトでは、crawlingという言葉もよく登場します。
https://www.ldoceonline.com/jp/dictionary/crawl
こちらの単語も英英辞典では、さまざまな意味が紹介されています。
感覚的には次の英文が近いような気がします。
「to move along on your hands and knees with your body close to the ground
crawl along/across etc」
直訳すれば手や膝を床につけ歩き回ることでしょう。
実際のwebcrawlingはインターネット上の文章や画像を定期的に収集するプログラムですが、「ボット（bot）」、「スパイダー」、「ロボット」などと呼ばれることもあります。
有名なwebcrawlingには、Googlebotがありますね。
Data Collector
Data Collectorという言葉も、スクレイピング関係のサイトではよく見ます。しかし英英辞典で調べてもヒットしませんでした。たぶん比較的新しい言葉なので、データベースに登録されていないのでしょう。
しかしこちらの英単語は日本人には馴染みがあるものなので、翻訳しなくても理解できる人が多いのではないでしょうか？
念の為にCollectorだけで調べました。
「 someone who collects things that are interesting or attractive 」
直訳すれば、興味や関心のあるものを集めることでしょう。
この英単語は、実際のWebスクレイピングを端的に表していますね。
スクレイピングする人は、興味と関心のあるものだけ収集しますからね。
スポンサーリンク
海外のスクレイピング情報を知るときは英語版のヤフーが便利
何らかの理由で海外のスクレイピング情報を知りたい人はいると思いますが、英語版のヤフーを使ってほしいと思います。
試しに「web scraping」で検索しました。すると多くの記事がヒットしました。
英語がまったく読めない人は、サイト上で右クリックしてください。chromeブラウザを使えば、翻訳システムが利用できます。
翻訳システムの翻訳には明らかな誤訳もありますが、その場合は違う翻訳システムを利用してください。右クリックでは利用できませんが、DeepL翻訳は比較的正確です。
英語のスクレイピングツールを使うポイント
スクレイピングツールの資料は英語で書かれたものが多いですが、ここでは英語のスクレイピングツールを使うときのポイントを紹介します。
契約内容だけは丹念に読む
勘の良い人であれば英語がほとんどわからなくても、英語のスクレイピングツールを操作することはできます。しかし操作はともかく、契約内容だけは正確に把握する必要があります。あとで追加料金が発生する可能性はありますが、契約後に文句を言ってもほぼ通用しないでしょう。
英語のスクレイピングツールの契約内容は日本の携帯会社のように複雑ではありませんが、それでもよく読むと注意書きがかかれているケースが多いです。注意書きの内容が理解できる人であれば問題はないですが、理解できない人は英語ができる人に聞いた方が良いです。
翻訳ツールでも翻訳してくれますが、万が一誤訳したときは怖いです。私もよく使うのでわかりますが、翻訳ツールの誤訳は結構多いです。
サポートに聞くときは図で説明したらわかりやすい
私はアメリカのAmazonに質問したことがありますが、何とか理解してもらえました。理解してもらえたのは筋道を立てて説明したこともありますが、図も一緒に提出したことが大きいと思っています。
細かいニュアンスを外国語で伝えるのは難しいものですが、図を活用すれば便利です。プロキシサーバーに接続できないときは、ブラウザの接続状況をキャプチャーしてメッセージと一緒に送ればいいと思います。
画像編集ソフトがある人は、矢印で不明点を指定すれば相手はわかりやすいと思います。それから複数の画像を送るときは、圧縮するのがマナーです。
Bright Dataは日本語が通用するので安心
こちらから申し込んでくれた人だけですが、日本人スタッフ付きのプランをご紹介します。日本人スタッフとは、コントロールパネルから簡単に連絡を取ることができます。また場合によっては、わからない英語を翻訳してくれます。
Bright Dataはサイト自体も日本語化が進んでいます。使っている人はわかると思いますが、自然な日本語なので理解しやすいです。現時点では完全には日本語化していませんが、日本語化は逐一進められています。
肝心のスクレイピングですが、Bright Dataにはデータコレクターというツールがあります。データコレクターはスクレイピングツールですが、視覚的に操作できます。フィルターをかけることができるので、目的のデータは効率的に収集できます。
エンジニアであればAPI関数を利用したらいいでしょう。API関数のサンプルは各プログラム言語ごとに用意されているので、開発者はプログラム編集ソフトに貼り付けるだけです。人気のpythonとPHPもありますよ。
まとめ
スクレイピング関係の英語について解説をしましたが、英語のスクレイピングツールを使うときは英語がわかった方が便利です。私はある程度英語がわかるので、英語のソフトとシステムを使うときは助かっています。
英語がまったくわからない人は、専門用語だけでも覚えたらどうでしょうか？ITツールは専門用語を覚えたら、使えるようになると思います。どうしても英語が苦手な方は、Bright Dataと契約してください。
Bright Dataと契約するメリットには日本人スタッフが付くこともありますが、Bright Dataの機能面のメリットも見逃すことはできません。Bright Dataは一ヶ月から契約できるので、関心のある方は一度試してください。きっと気に入ると思います。