不特定サイトから特定情報を取得するクローラの開発

不特定サイトから特定情報を取得するクローラの開発です。
サイトが不特定なので、必要な情報を取得する上でよくあるパターンを調べてサイトのHTML DOMからそのパターンを取得して、そこを起点としてさらに探索するという方法をとっています。
（具体的に書くことができません。ご容赦ください）

開発言語はPHPでDOMのパーサには simple_html_dom.phpを使用しています。

クローラつながりで、ここに書きますが、
特定サイトから特定の情報を取得するクローラも作成しています。（これもPHPでsimple_html_domを使っています）
これはcrontabで定期的に起動され、結果をファイルに保存します。
WEB画面からはPHPにより、そのファイルの一覧を取得し内容を時間系列で表示、あるいはその期間で集計して表示等をします。
情報の取得先は同じ様な情報を提供する２サイトで、クローラも２種類作成していて、一方のサイトが停止時等に、起動するクローラを切り替えるということをしています。