Блог им. KonstantinLebedev

Инстурмен анализ рынка OLAP (TransaqConnector + Clickhouse + Grafana)

В продолжении темы про TransaqConnector для Линукс на GoLang , где описывалась область применения, как анализ исторических данных по всем инструментам, пришло время продемонстрировать.
Для этого был написал за один вечер пример экспортера данных из TRANSAQ в лучшую OLAP базу данные ClickHouse с открытым кодом(open source) от компании Яндекс, с возможностью подключения неройсетки(регрессия) обычно применяется для систем рекомендации товаров

Для запуска вам понадобиться установить docker
И запустить все необходимое локально через docker compose файл
 
Поменять логины и пароли к транзакту на свои, если нет, то можно запросить тестовый доступ в течении 1 минуты на почту.

environment:
  TC_LOGIN: «TCNN9979»
  TC_PASSWORD: «n3Z4W4»
  TC_HOST: «tr1-demo5.finam.ru»
  TC_PORT: «3939»
  TC_LOG_LEVEL: «DEBUG»
  TC_TARGET: «server:50051»
docker-compose -f transaq-clickhouse-exporter-compose.yaml -p transaq up
Получаем такие данные

Инстурмен анализ рынка OLAP (TransaqConnector + Clickhouse + Grafana)

Открываем в браузере c Графаной 127.0.0.1:3000/login и вводим логин и пароль admin admin
Инстурмен анализ рынка OLAP (TransaqConnector + Clickhouse + Grafana)

Далее появляется окно о смене пароля, вводим новый пароль или ждем далее(skip)

Инстурмен анализ рынка OLAP (TransaqConnector + Clickhouse + Grafana)

Переходим в настройки добавления источника данных

Инстурмен анализ рынка OLAP (TransaqConnector + Clickhouse + Grafana)

Жмем на ClickHouse и вводим url http://clickhouse:8123/ и жмем сохранить и провестить(save&test)
Инстурмен анализ рынка OLAP (TransaqConnector + Clickhouse + Grafana)

Так же понадобится панелька со свечами устанавливается отдельно 
Инстурмен анализ рынка OLAP (TransaqConnector + Clickhouse + Grafana)


Все готово, а как этим пользоваться ? 

И вы ограничены, только вашей фантазий, а так же есть возможность погрузить операционные и финансовые данные компании, но это в следующем посте.

 
★2
7 комментариев
За пытливость ума пятерка. 
По существу — по ссылке никаких нейросеток нету, только регрессия(что ну совсем разные вещи). Clickhouse конечно неплоха, но сомневаюсь что для описанных задач это лучший выбор. Вы на какой вообще объём данных ориентируетесь?
avatar
Ынвестор, Нейронка в процесс, а по ссылке пример взаимодействия в «серьезной» копании. Задача проста робот должен куда то писать данные о сделках и получать анализ для получения сигналов по всем периодам и прогноз по доходности для торгового сигнала.
По объему вопрос не понял, кликхаус может пережевать любой объем данных сейчас подгрузил только 1000 свечей для каждого периода 1,5,15,30,60 и так далее до недели вышло примерно 2 миллиона записей.

Константин Лебедев, ну так из пушки по воробьям. Минутки за год это полмиллиона записей. Вообще ни о чем. Где преимущество по сравнению с тем же MySQL? А ограничений много
avatar
Ынвестор, Это не принципиально,  могу подключить универсальный клиент, который в любу базу будет, грузить. Клик лучше подходит для задач аналитики и как база данных временных рядов, посмотри что такое OLAP и какие там есть встроенные функции.  И да как бы это не казалось банально он НЕ ТОРМОЗИТ
И я использую его ежедневно на работе
Константин Лебедев, "И я использую его ежедневно на работе"
Ну с этого и надо было начинать) 
Для БД с данными помещающимися в память все эти OLAP монстры вообще не сдались. Не их это объемы.

avatar
Ынвестор, как бы в современный сервер можно напихать до 3Тб памяти, от этого mysql лучше чем клик не станет :)
Хочется в первую очередь сеточку простую с регрессии подключить, то что я обычно рисую в jupiter,



а так будет все в одном месте. А для посолиднее сеточки придётся тензорфлоу использовать
Константин Лебедев, поэтому для 3тб вам не нужен кликхаус. тем более для нескольких миллионов строк. 
avatar

теги блога Константин Лебедев

....все тэги



UPDONW
Новый дизайн