12 января 2019, 16:10

Парсинг постов Смартлаба. Темы декабря 2018

Предлагаю вашему вниманию новый пост о применении data mining к текстам, спарсенным из блогов Смартлаба.

Идея исследования: ежемесячно парсить все посты со Смартлаба и применять к ним метод из класса методов тематического моделирования.

В прошлый раз был применён метод BigARTM из класса методов тематического моделирования. Ряд темы оказались не вполне интерпретируемы. Кроме того этот метод — несмотря на всю его прогрессивность (детальное описание: Воронцов К.В. Вероятностное тематическое моделирование: обзор моделей и аддитивная регуляризация) по сравнению со, скажем, методом LDA - не лишён существенных недостатков. Так, он не позволяет юзеру автоматически выбирать число тем, а также не предлагает метрики для выяснения, какую долю исходной информации позволяет сохранить модель в целом и отдельные темы — в частности

Поэтому моя команда разработала собственный оригинальный метод тематического моделирования. Он позволяет группировать слова («термы», «токены») из множества документов по темам. При этом — в отличие от большинства аналогов — он позволяет автоматически выбирать число тем, а также включает простые и понятные метрики, которые позволяют выяснить, какую долю исходной информации позволяет сохранить модель в целом и отдельные темы — в частности.

В декабре 2018 на смартлабе было опубликовано свыше 5300 постов. Эти посты содержат примерно 300 уникальных тем. 90 из этих тем описывают около 50% всей информации из исходной массы постов. Основные проинтерпретированные темы приведены в первой таблице.

Ряд тем являются сугубо авторскими – т.е. при парсинге обнаружилась их привязка к тому или иному нику автора; эти темы приведены во второй таблице. В третьей таблице приведены темы, посвящённые разным техническим аспектам торговли на рынке. Наконец, в четвёртой таблице приведены токены для тем, не поддавшихся интерпретации.

Основные проинтерпретированные темы

№	Тема	Токены
1	Позитив в макроэкономике для нефтегазового сектора	сегмент, значительный, макроэкономический, позитивный, эффект, взгляд, половина, прежний, учет, отдельный, мнение, привлекательный, рекордный, совокупный, долларовый, укрепление, котировка, будущий, основный, значительно, благоприятный, исключение, улучшение, низкий, замедление, обратный, нефтегазовый, дополнительный, возможно, существенно, бюджетный, долговой, корпоративный, предел, выбор, активный
2	Постепенное изменение чего-то в Америке	многий, спекулянт, схема, политик, свободный, интерес, класс, обращение, америка, дорога, сила, выгода, название, фунт, некий, паника, закон, остальной, деятельность, земля, биржевой, огромный, особенность
3	Позитив для Еврозоны и фунта по поводу голосования	фунт, предстоящий, выступление, наличие, завершение, проведение, реакция, отсутствие, ранее, основание, голосование, частично, позитив, фон, частность, причина, зарплата, намерение, следствие, еврозона, вряд, основа, внимание
4	Ресурсы Земли и продовольствие (?)	использование, необходимо, защита, создание, восстановление, необходимый, потребление, расширение, эффективность, мера, устойчивый, вода, поле, улучшение, земля, обеспечение, усилие, переход, потеря, низкий, принятие
5	Ожидание завершения некоего цикла весной-летом	резкий, ожидание, следующий, июнь, нейтральный, промышленность, необходимость, пересмотр, последующий, цикл, окончание, зарплата, намерен, замедление, публикация, намерение, внимание, вероятный
7	Политика ФРС	ставка, фрс, рынок, повышение, сша, рост, экономика, политика
9	Соглашение ОПЕК+	сша, добыча, опек, нефть, баррель, аравия, саудовский, сокращение, страна
11	Украинская инфраструктура (газотранспортная?)	интервью, потребитель, инфраструктура, особый, заявление, соответствие, понимание, насколько, регион, стабильный, поэтому
12	Внутренний топливный рынок	рентабельность, топливо, расчет, нефтепродукт, нагрузка, налоговый, обратный, сырой, нефтегазовый, дополнительный, следствие, марка
18	Выход в качество	иной, вывод, фактически, фаза, реально, реализация, игрок, биржевой, нужный
19	Саммит ЕС	переход, пресс, сохранение, зависимость, еврозона, вряд, режим, крайний, саммит, подготовка, готовый
22	Торговая война между США и Китаем	война, дефицит, введение, март, семья, боб, поздно, подробно, автомобиль, дональд
24	Алроса	государственный, дочерний, структура, организация, публичный, пакет, эффективный
26	Негативные взгляд на потребительский сектор	относительно, характер, дальнейший, потребительский, прирост, неопределенность, существенно, бюджетный, ослабление
30	Энергетика	установка, завод, блок, легко, комплекс, огромный, завтра, статья
39	ПИК	успех, желание, внутри, преимущество, особенность, большинство, пик, долгий
41	Азиатский провал	фон, давление, азиатский, максимум, достаточный, летний
46	Японский индекс	утренний, торги, индекс, японский, палата
48	Производственная статистика	публикация, сфера, цифра, вечер, производственный, статистика
49	Технический анализ нефти	рынок, уровень, брент
55	Альфабанк	список, серия, ответ, альфа, комментарий, менеджер
62	Некий нарратив	русский, понятно, ночь, иван
83	Переговоры Трампа и Путина	речь, очередной, дональд,
85	СмартЛаб	лаб, известный, активный, смарт,
87	Безопасность Германии в военном плане	представитель, безопасность, германия, военный,

Авторские/персональные темы

№	Тема	Токены
6	Персональная тема	подход, премьер, экономист, международный, роль, институт, заместитель, молодой, специалист, способный, западный, совместный, сергей, поэтому
10	Персональная тема	изм, комма, посл, нетипичный, неликвид, колизей, ао, амиран, форум, обсуждение, таблица, объем, лидер, сбербанк
20	Персональная тема	компания, прибыль, чистый, выручка, дивиденд, мсфо, руб
31	Персональная тема	усилие, вложение, гражданин, андрей, несмотря, вклад
35	Персональная тема	глаз, николай, партнер, мартынов, честно, процесс, крайне
38	Персональная тема	индивидуальный, июль, пол, алексей, ответственность, александр, апрель
40	Персональная тема	объект, описание, максим, час, сервис, ровно, очередь
53	Персональная тема	сергей, минфин, очевидно, повышенный, жесткий
90	Персональная тема	Ramon, Albert, Rudolfovich,

Темы про торговлю

№	Тема	Токены
8	Торговля	сложный, прибыльный, плечо, инвестирование, тенденция, задача, стопа, дорогой, точно, серьезный, состояние, отрицательный, полностью
13	Торговля	сегодняшний, маловероятный, сессия, скорый, понижение, верхний, зрение, нисходящий, отметка
21	Торговля	теория, исследование, море, политический, современный, форма, юридический, читатель, текст, совершенно, процесс
32	Торговля	прогресс, бар, продолжение, продавец, часовой, спред, возобновление, тест
33	Торговля	сопротивление, проба, тесто, цель, поддержка, уровень, локальный
42	Торговля	благоприятный, трендовый, откат, главное, правильный, хай

Токены, не поддавшиеся интерпретации

№	Тема	Токены
14		платеж, мобильный, простой, намного, онлайн, способ, пользователь, читатель, помощь, сервис
15		компания, проект, крупный
16		частный, иностранный, срок, зарубежный, старый, владелец, подробно, повышенный, поэтому
17		действие, сотрудник, ряд, служба, подобный, управляющий, определенный, представитель, конфликт
23		технология, собственный, больший, будущее, событие, настоящий, помощь, последствие, образ
25		ошибка, конечный, уверенность, достижение, маленький, подготовка, путь, успех, возможно
27		контроль, некоторый, уверенный, быстро, предварительный, возможный, надежда, основа, выполнение
28		остальной, голова, кстати, тимофей, красный, ноль, сразу, глаз, великий
29		вид, правильно, польза, надежный, обычный, право, долговой
34		игрок, лето, всякий, целый, готовый, фирма, статья
36		недавний, длительный, дно, собственность, корпоративный, финансы
37		скоро, терминал, дорого, фирма, штат, ребята, статья, короче
43		материал, драйвер, текст, совершенно, процесс, обязательно, внимание
44		обновление, портфель, бумага, доходность
45		базовый, ход, сми, национальный
47		трудно, быстрый, специальный, наука, предел, последствие
50		комитет, резервный, открытый, соответствующий, кредитный
51		нисходящий, масштаб, направление, дневной, коррекция, вероятный, деталь
52		статистика, соответственно, далее, безработица, существенный
54		вновь, сентябрь, поставка, выше, мировой
56		справка, остаток, иван
57		параметр, меньший, старт, постоянно
58		пик, небольшой, интересно, обзор, поэтому, август
59		нью, вещь, доступный, ум
60		путь, ребята, опыт, крайне
61		видео, блог, единственный, вообще
63		ресурс
64		китай
65		купон
66		надежда, сообщение, местный, корпорация, эксперт
67		сильно, ликвидный
68		маржа, примерно, прочий, образ, расход
70		правильный, плата, бакс, алгоритм, профиль, полностью, выбор
71		величина, просадка, рабочий, итоговый
72		будущий, поведение, прошлое, принятие
73		настройка, профит, стабильность, скрин
74		номер
75		финам, оборот, господин
76		частность, развитие
77		закон, всякий, язык, добрый, личный
81		обыкновенный, обязательный, приобретение
84		исключение, успешный, знакомый
86		ордер, советник, максимальный, менеджмент
88		ограничение, версия, положение
89		колебание, территория

смартлаб data mining ФРС опек+ нефтегаз Украина

Алексей Ротмистров

Москва

1 134

с 9 мая 2018

8 Комментариев

Дмитрий Ш
12 января 2019, 16:12
Пирсинг??..()
0
Дмитрий Ш
12 января 2019, 16:31
Видимо, и дайвинг…
0
- Иванов Виктор
  12 января 2019, 16:53
  Дмитрий Ш, АЛКОтрейдинг? :-) :-) :-)
  0
Дмитрий Ш
12 января 2019, 16:57
Ну, так и есть, факт… Есть алкотрейдинг, через алкомаркеты осуществляется. Есть алготрейдинг… только алгомаркетов нет…
0
Friendly Deep Space
12 января 2019, 20:12
Не пробовали исследовать корреляцию часто употреблемых слов и сочетаний за месяц на смартлабе с тем, куда в следующем месяце двигался курс рубля?)
+1
- Алексей Ротмистров
  13 января 2019, 00:43
  Friendly Deep Space, спасибо за вопрос. Это следующий этап будет.
  +1