Блог им. KonstantinLebedev

Инстурмен анализ рынка OLAP (TransaqConnector + Clickhouse + Grafana)

В продолжении темы про TransaqConnector для Линукс на GoLang , где описывалась область применения, как анализ исторических данных по всем инструментам, пришло время продемонстрировать.
Для этого был написал за один вечер пример экспортера данных из TRANSAQ в лучшую OLAP базу данные ClickHouse с открытым кодом(open source) от компании Яндекс, с возможностью подключения неройсетки(регрессия) обычно применяется для систем рекомендации товаров

Для запуска вам понадобиться установить docker
И запустить все необходимое локально через docker compose файл
 
Поменять логины и пароли к транзакту на свои, если нет, то можно запросить тестовый доступ в течении 1 минуты на почту.

environment:
  TC_LOGIN: «TCNN9979»
  TC_PASSWORD: «n3Z4W4»
  TC_HOST: «tr1-demo5.finam.ru»
  TC_PORT: «3939»
  TC_LOG_LEVEL: «DEBUG»
  TC_TARGET: «server:50051»
docker-compose -f transaq-clickhouse-exporter-compose.yaml -p transaq up
Получаем такие данные

Инстурмен анализ рынка OLAP (TransaqConnector + Clickhouse + Grafana)

Открываем в браузере c Графаной 127.0.0.1:3000/login и вводим логин и пароль admin admin
Инстурмен анализ рынка OLAP (TransaqConnector + Clickhouse + Grafana)

Далее появляется окно о смене пароля, вводим новый пароль или ждем далее(skip)

Инстурмен анализ рынка OLAP (TransaqConnector + Clickhouse + Grafana)

Переходим в настройки добавления источника данных

Инстурмен анализ рынка OLAP (TransaqConnector + Clickhouse + Grafana)

Жмем на ClickHouse и вводим url http://clickhouse:8123/ и жмем сохранить и провестить(save&test)
Инстурмен анализ рынка OLAP (TransaqConnector + Clickhouse + Grafana)

Так же понадобится панелька со свечами устанавливается отдельно 
Инстурмен анализ рынка OLAP (TransaqConnector + Clickhouse + Grafana)


Все готово, а как этим пользоваться ? 

И вы ограничены, только вашей фантазий, а так же есть возможность погрузить операционные и финансовые данные компании, но это в следующем посте.

 
Данная публикация является личным мнением автора. Мнение владельца сайта может не совпадать с мнением автора.
| ★2
7 комментариев
За пытливость ума пятерка. 
По существу — по ссылке никаких нейросеток нету, только регрессия(что ну совсем разные вещи). Clickhouse конечно неплоха, но сомневаюсь что для описанных задач это лучший выбор. Вы на какой вообще объём данных ориентируетесь?
avatar
Ынвестор, Нейронка в процесс, а по ссылке пример взаимодействия в «серьезной» копании. Задача проста робот должен куда то писать данные о сделках и получать анализ для получения сигналов по всем периодам и прогноз по доходности для торгового сигнала.
По объему вопрос не понял, кликхаус может пережевать любой объем данных сейчас подгрузил только 1000 свечей для каждого периода 1,5,15,30,60 и так далее до недели вышло примерно 2 миллиона записей.

Константин Лебедев, ну так из пушки по воробьям. Минутки за год это полмиллиона записей. Вообще ни о чем. Где преимущество по сравнению с тем же MySQL? А ограничений много
avatar
Ынвестор, Это не принципиально,  могу подключить универсальный клиент, который в любу базу будет, грузить. Клик лучше подходит для задач аналитики и как база данных временных рядов, посмотри что такое OLAP и какие там есть встроенные функции.  И да как бы это не казалось банально он НЕ ТОРМОЗИТ
И я использую его ежедневно на работе
Константин Лебедев, "И я использую его ежедневно на работе"
Ну с этого и надо было начинать) 
Для БД с данными помещающимися в память все эти OLAP монстры вообще не сдались. Не их это объемы.

avatar
Ынвестор, как бы в современный сервер можно напихать до 3Тб памяти, от этого mysql лучше чем клик не станет :)
Хочется в первую очередь сеточку простую с регрессии подключить, то что я обычно рисую в jupiter,



а так будет все в одном месте. А для посолиднее сеточки придётся тензорфлоу использовать
Константин Лебедев, поэтому для 3тб вам не нужен кликхаус. тем более для нескольких миллионов строк. 
avatar

Читайте на SMART-LAB:
Фото
Доход нашего публичного портфеля ВДО достиг 300%
На это потребовалось 7 лет и 10 месяцев. Что эквивалентно ровно 15% среднегодовой доходности (после вычета комиссии, она заложена на...
Фото
Россети Центр. Новая инвестпрограмма - капекс “вверх”, а дивиденды “вниз”
13.05.2026г. Минэнерго РФ на сайте опубликовали новую инвестиционную программы (ИПР) до 2031г. (публикуют здесь ) и что же там интересного:
Фото
Энергопереход под вопросом. Ускорит ли развитие зеленой энергетики конфликт с Ираном?
Война в Иране поставила мир на грань энергетического кризиса. По данным The Economist, только за первые 50 дней конфликта мир лишился 550 млн...
Фото
Нефтяной срез: выпуск №9. Ормуз перекрыт, но акции нефтегаза падают. Надо ли покупать или сидеть на заборе в LQDT? Ищем лучших в секторе, где растет прибыль!
Продолжаю выпускать рубрику — Нефтяной срез.  Цель: отслеживать важные бенчмарки в нефтяной отрасли, чтобы понимать куда дует ветер.  Прошлый пост:...

теги блога Константин Лебедев

....все тэги



UPDONW
Новый дизайн