不特定サイトから特定情報を取得するクローラの開発
Web・業務システム開発
作品の概要
AI要約
本文をもとに、AIがわかりやすく要約したものです。詳細は下記本文をご覧ください。
PHPを使用して開発したクローラにより、不特定サイトから特定情報を取得し、また特定サイトから情報を定期的に取得してファイルに保存し、その情報を時間系列で表示または期間集計表示するシステムを構築しました。
作品について
不特定サイトから特定情報を取得するクローラの開発です。
サイトが不特定なので、必要な情報を取得する上でよくあるパターンを調べてサイトのHTML DOMからそのパターンを取得して、そこを起点としてさらに探索するという方法をとっています。
（具体的に書くことができません。ご容赦ください）
開発言語はPHPでDOMのパーサには simple_html_dom.phpを使用しています。
クローラつながりで、ここに書きますが、
特定サイトから特定の情報を取得するクローラも作成しています。（これもPHPでsimple_html_domを使っています）
これはcrontabで定期的に起動され、結果をファイルに保存します。
WEB画面からはPHPにより、そのファイルの一覧を取得し内容を時間系列で表示、あるいはその期間で集計して表示等をします。
情報の取得先は同じ様な情報を提供する２サイトで、クローラも２種類作成していて、一方のサイトが停止時等に、起動するクローラを切り替えるということをしています。
サイトが不特定なので、必要な情報を取得する上でよくあるパターンを調べてサイトのHTML DOMからそのパターンを取得して、そこを起点としてさらに探索するという方法をとっています。
（具体的に書くことができません。ご容赦ください）
開発言語はPHPでDOMのパーサには simple_html_dom.phpを使用しています。
クローラつながりで、ここに書きますが、
特定サイトから特定の情報を取得するクローラも作成しています。（これもPHPでsimple_html_domを使っています）
これはcrontabで定期的に起動され、結果をファイルに保存します。
WEB画面からはPHPにより、そのファイルの一覧を取得し内容を時間系列で表示、あるいはその期間で集計して表示等をします。
情報の取得先は同じ様な情報を提供する２サイトで、クローラも２種類作成していて、一方のサイトが停止時等に、起動するクローラを切り替えるということをしています。
その他の実績
K
K.Emoto
退会済みまたは非公開のユーザー