検索エンジンの世代交代

第一世代：1990年代。純粋なキーワード検索が主。インデックスはせいぜい100万ページくらい。ロボット検索のレベルは低く、ディレクトリ検索が補完していた。　
第二世代：カテゴリ分類の同時表示、ローカル検索、検索条件を補正する機能などが可能に。キーワード連動広告の出現により、検索技術の膨大なコストを支えることができるよになるが、まだ広告全体の2％どまり。
第三世代：インデックスは数十億ページへ。ユーザーは余暇の30〜40％をインターネットで過ごすようになり、インターネット広告全体の過半数をキーワード連動広告が占める？
果たしてロボット検索はディレクトリ検索を必要としないレベルまで進化したのか？大手ポータルの中にはいまだにロボット検索とディレクトリ検索をハイブリッドで使用している例が多い。ロボット検索は「量」、ディレクトリ検索は「質」、とそれぞれ良さがあるはずだが、ロボット検索の「質」はどこまで高められるのか？そこにイノベーションはあるか？