Парсинг постов Смартлаба. Темы декабря 2018

Предлагаю вашему вниманию новый пост о применении data mining к текстам, спарсенным из блогов Смартлаба.

Идея исследования: ежемесячно парсить все посты со Смартлаба и применять к ним метод из класса методов тематического моделирования.

В прошлый раз был применён метод BigARTM из класса методов тематического моделирования. Ряд темы оказались не вполне интерпретируемы. Кроме того этот метод — несмотря на всю его прогрессивность (детальное описание: Воронцов К.В. Вероятностное тематическое моделирование: обзор моделей и аддитивная регуляризация) по сравнению со, скажем, методом LDA - не лишён существенных недостатков. Так, он не позволяет юзеру автоматически выбирать число тем, а также не предлагает метрики для выяснения, какую долю исходной информации позволяет сохранить модель в целом и отдельные темы — в частности

Поэтому моя команда разработала собственный оригинальный метод тематического моделирования. Он позволяет группировать слова («термы», «токены») из множества документов по темам. При этом — в отличие от большинства аналогов — он позволяет автоматически выбирать число тем, а также включает простые и понятные метрики, которые позволяют выяснить, какую долю исходной информации позволяет сохранить модель в целом и отдельные темы — в частности.

В декабре 2018 на смартлабе было опубликовано свыше 5300 постов. Эти посты содержат примерно 300 уникальных тем. 90 из этих тем описывают около 50% всей информации из исходной массы постов. Основные проинтерпретированные темы приведены в первой таблице.

Ряд тем являются сугубо авторскими – т.е. при парсинге обнаружилась их привязка к тому или иному нику автора; эти темы приведены во второй таблице. В третьей таблице приведены темы, посвящённые разным техническим аспектам торговли на рынке. Наконец, в четвёртой таблице приведены токены для тем, не поддавшихся интерпретации.

Основные проинтерпретированные темы

Авторские/персональные темы

Темы про торговлю

Токены, не поддавшиеся интерпретации