Список проголосовавших за комментарий "полудух, а в чем проблема? парсишь любой указываемый в программе рут, вычленяешь все ссылки из текущей страницы, проверяешь какие из них уникальные и относятся к данному домену и не являются бинарными объектами (переход только на скрипты html потоков), переходишь, при этом добавляешь новые слова в словарь, новые ссылки берешь из уникального словаря ссылок, где был — помечаешь чтобы не тягать по несколько раз или впадать в бесконечные циклы. Ничего сложно :) «кушает» все очень быстро. Так можно составить разно тематические тезаурусы, а потом пометив к какой категории относились ресурсы можно получить сложную карту семантики данных тематик и через статистику наложить какой-то критерий категоризатору. Это лучше чем тыкаться в ручную и выдумывать к какому разделу могло бы относиться слово «процесс» или «устойчивый».<br/> На счет дорвея — это слишком примитивно. Я работаю над концепцией БазыЗнаний и возможности генерирования сценариев/трансформирования исходных текстов/вычленение онтологий/прочее"