14 ноября 2018, 15:39
Парсинг постов Смартлаба. Темы октября 2018
Предлагаю вашему вниманию пробный пост о применении data mining к текстам, спарсенным из блогов Смартлаба.
Идея исследования: ежемесячно парсить все посты со Смартлаба и применять к ним метод BigARTM из класса методов тематического моделирования.
Методы тематического моделирования (детальное описание: Воронцов К.В. Вероятностное тематическое моделирование: обзор моделей и аддитивная регуляризация) позволяют группировать слова («термы», «токены») из множества документов по темам.
Интерпретация тем – дело исследователя. К сожалению, не всегда удаётся проинтерпретировать набор слов, т.е. по этому набору назвать тему. Я буду приводить как наборы слов по темам, так и мою интерпретацию тем. Вы же при желании сможете дать свою интерпретацию.
В дальнейшем – при накоплении статистики – можно искать связи между событиями и их отражением или не отражением в виде постов на Смартлабе.
В октябре 2018 на смартлабе было опубликовано свыше 4000 постов.
| № | Тема | Интерпретация |
| 1 | ['кв', 'тысяча', 'квартал', 'дивиденд', 'производство', 'денежный', 'сравнение', 'прошлое', 'увеличиться', 'реализация'] | Речь о некоторой статистике |
| 2 | ['рубль', 'сентябрь', 'составить', 'доход', 'чистый', 'рф', 'годовой', 'триллион', 'январь', 'выпуск'] | - |
| 3 | ['индекс', 's', 'p', 'пункт', 'упасть', 'торг', 'максимум', 'снизиться', 'отметка', 'торговаться'] | - |
| 4 | ['рабочий', 'штат', 'автомобиль', 'машина', 'министерство', 'tesla', 'ураган', 'конкуренция', 'километр', 'корпорация'] | Конкуренция ДВС и электрического двигателя |
| 5 | ['год', 'миллиард', 'миллион', 'прибыль', 'www', 'общий', 'мес', 'объём', 'com', 'ао'] | - |
| 6 | ['президент', 'европа', 'власть', 'закон', 'документ', 'гражданин', 'путин', 'защита', 'владимир', 'социальный'] | Путин и законодательная забота о гражданах |
| 7 | ['деньга', 'ваш', 'думать', 'знать', 'почему', 'нужный', 'заработать', 'вообще', 'жизнь', 'понять'] | Советы гуру |
| 8 | ['неделя', 'падение', 'график', 'падать', 'далее', 'волна', 'видеть', 'интересный', 'посмотреть', 'обзор'] | О падающем тренде на рынке |
| 9 | ['уровень', 'цель', 'пока', 'выше', 'ждать', 'поддержка', 'ситуация', 'тренд', 'покупать', 'канал'] | И возможности купить |
| 10 | ['нефть', 'метр', 'добыча', 'запас', 'газа', 'тонна', 'поставка', 'баррель', 'строительство', 'мощность'] | О статистике с рынка энергоносителей |
| 11 | ['ru', 'https', 'проект', 'news', 'планировать', 'aspx', 'предприятие', 'россеть', 'prime', 'c'] | Новости Россетей |
| 12 | ['сша', 'доллар', 'американский', 'золото', 'экономика', 'валюта', 'китай', 'фрс', 'фондовый', 'курс'] | О решении ФРС по ставке, отношениях с Китаем как факторе и о воздействии на экономику и на цену золота |
| 13 | ['продажа', 'покупка', 'закрытие', 'ожидание', 'начаться', 'вид', 'тип', 'тест', 'покупатель', 'продавец'] | Какие-то рекомендации |
| 14 | ['счёт', 'брокер', 'история', 'плюс', 'р', 'минус', 'etf', 'го', 'бакс', 'итого'] | - |
| 15 | ['место', 'нужно', 'лонг', 'смотреть', 'шорты', 'район', 'вчера', 'стоп', 'видео', 'картинка'] | Какие-то рекомендации |
| 16 | ['купить', 'smart', 'lab', 'blog', 'php', 'мосбиржа', 'просадка', 'закрытый', 'сбер', 'попробовать'] | - |
| 17 | ['доходность', 'портфель', 'идея', 'держать', 'опцион', 'ценовый', 'инвестировать', 'вложение', 'спекулянт', 'отличный'] | Советы гуру |
| 18 | ['бумага', 'd', 'директор', 'акционер', 'совет', 'b', 'ценный', 'яндекс', 'лицо', 'эмитент'] | Новости Яндекса |
| 19 | ['биржа', 'клиент', 'контракт', 'инструмент', 'фьючерс', 'использовать', 'волатильность', 'московский', 'криптовалюта', 'карта'] | - |
| 20 | ['позиция', 'котировка', 'пара', 'диапазон', 'usd', 'рекомендация', 'короткий', 'рекомендовать', 'brent', 'длинный'] | Какие-то рекомендации |
| 21 | ['компания', 'прибыть', 'бизнес', 'оценка', 'магнит', 'аналитик', 'магазин', 'сеть', 'капитализация', 'рыночный'] | Новости Магнита |
| 22 | ['ставка', 'облигация', 'сектор', 'повышение', 'оставаться', 'экономический', 'предыдущий', 'август', 'спрос', 'инфляция'] | Об облигациях (возможно, ОФЗ) |
| 23 | ['показать', 'ма', 'инвестиционный', 'отрасль', 'лидир', 'замедло', 'услуга', 'финансы', 'газ', 'медицина'] | - |
| 24 | ['правительство', 'италия', 'бюджет', 'the', 'соглашение', 'ес', 'a', 'выбор', 'переговоры', 'член'] | Проблемы ЕС из-за Италии |
| 25 | ['сделка', 'вопрос', 'торговля', 'трейдер', 'хотеть', 'торговать', 'пост', 'стратегия', 'вход', 'правило'] | Советы гуру |
| 26 | ['банка', 'банк', 'сбербанк', 'втб', 'представитель', 'рассказать', 'сообщать', 'сотрудник', 'форекс', 'партнёр'] | Новости ВТБ и Сбербанка |
| 27 | ['модель', 'ответ', 'заявление', 'сервис', 'помощь', 'личный', 'ошибка', 'правильный', 'схема', 'письмо'] | - |
| 28 | ['выплата', 'купон', 'событие', 'дата', 'платить', 'погашение', 'выступление', 'оферта', 'фск', 'рао'] | Новости ФСК и Интер РАО |
| 29 | ['труд', 'дефицит', 'зарплата', 'пенсионный', 'население', 'возраст', 'аэрофлот', 'разница', 'специалист', 'пенсия'] | Пенсионная реформа? |
| 30 | ['книга', 'написать', 'вместе', 'принцип', 'зарабатывать', 'читать', 'страница', 'запись', 'автор', 'facebook'] | Советы гуру |
IliaM, На Трампе)) «Позвони мне позвони, позвони мне ради бога...» © Сезон звонков объявляется открытым)))
12:20
США не видят признаков того, что Россия готовится использовать ядерное оружие, пишет AP. Обновление ядерной доктрины РФ было для Штатов ожидаемым событием, отмечается в публикации — ТАСС США не видят ...
Газпромбанк начал аналитическое покрытие Группы Arenadata 📑 Всем привет! Аналитики Газпромбанка выпустили отчет по Группе Arenadata с рекомендацией «Покупать» и целевой ценой на уровне 200 рублей. С п...
RUH666, посты не удаляются, а просто скрываются с главной страницы. Посмотрите на другие актуальные посты, они сами выходят на главную страницу, набирая десятки лайков. Вы ведёте нечестную игру, мо...
Вчера спот 2.120 разрыв 920 пунктов, а до экспирации (в США) 5 торговых дней. По 184п в день, чтобы сошлись фьючерс и спот. А если спот еще и упадет?
падение до 190 не за горами!.. вышел по 200
Самый главный вопрос кто льет ?? и зачем?
сейчас как будто только шортят и потом их кроют на этом и растем, зато падаем на реальных объемах
По нефти выход 77+
12:08
Tverskoy_homyak, так то и ставка ММК пофигу, у них кеша на счетах на 25% капитализации, если + складские запасы и дебиторка, то остальной завод оценивается 0 рублей.
Я где то 55000 пользователей перебрал минут за 40, чтобы в бан сервака не залететь
пАказать кузькина мать липИцкий сэр на скатерти хвОть!
В таком виде ценность ноль.
28 неверно
должно быть
Эти по 5 рублей лонг вчера были очень большие… А сегодня по 3 шорт но маленькие
в обсуждаемом бесцельном бессмысленном парсинге?