
KBMJ は、crawler パッケージとして「MyCrawler」を提供しています。
WEBクローリング技術とは
- Crawler 技術とは
- インターネット上で公開されている WEB ページの情報をデータベース化し、その WEB ページを検索可能にするシステムです。

機能概要
- 1. MyCrawler Lite
- ハードウェア等のインフラを弊社でご用意する SaaS モデルを採用したサービスです。短期間のご利用や、試験的な導入に最適です。
- 2. MyCrawler Intranet
- 社内ネットワークなど限定された WEB 情報を定期的に自動収集するサービスです。複数の支社が持つ情報を一括収集したい場合などに最適です。
- 3. MyCrawler Standard
- 中規模サイト向けサービスです。統合ポータルサイト等のクライアント様、管理画面を提供しているクライアント様が所有する店舗で運営している WEB サイトと同様のデータを2重に登録している場合、クライアント様の WEB サイトを巡回して更新情報を収集する際に効果的です。
※クローリング対象のサイト数の目安は15サイト未満となります(1サイトにつき1,000件のデータがあると想定)。 - 4. MyCrawler Enterprise
- マーケティング戦略・ポータルサイト構築等に使用するための大規模なデータ収集を行えるサービスです。また、データを収集する際に生じる、パフォーマンスの低下を並列処理を行うことで対処します。
※クローリング対象のサイト数の目安は15サイト以上となります(1サイトにつき1,000件のデータがあると想定)。
各種機能
- 1. 巡回機能
- 特定のページを定期的に巡回。指定した特長を持つページを探索。
- 2. 蓄積機能
- ページ内に存在する特定項目を取得し、データベースに登録。
- 3. 配信機能
- 取得されたデータをメールや RSS、WEB で配信。
クローリング技術の可能性
WEB 上では情報の氾濫により、ユーザにとって有益な情報を掲載しているページがそれを必要としているユーザの目に届かないという事態が起こります。
その状況を打開し、適切な情報を適切なユーザに届けるための手段が「クローリング技術」です。
また、クローリング技術を用いてビジネスを行えば、クローリングする側とされる側に WinWin の関係を自然に作り上げることもできます。クローリングされることは「コスト 0 の宣伝活動」を行えるということにつながりますし、クローリングすることは、その情報をコンテンツとしたポータルサイトを運営することで「広告収入」を得ることが可能になるからです。



