Инстурмен анализ рынка OLAP (TransaqConnector + Clickhouse + Grafana)

В продолжении темы про TransaqConnector для Линукс на GoLang , где описывалась область применения, как анализ исторических данных по всем инструментам, пришло время продемонстрировать.
Для этого был написал за один вечер пример экспортера данных из TRANSAQ в лучшую OLAP базу данные ClickHouse с открытым кодом(open source) от компании Яндекс, с возможностью подключения неройсетки(регрессия) обычно применяется для систем рекомендации товаров

Для запуска вам понадобиться установить docker
И запустить все необходимое локально через docker compose файл

Поменять логины и пароли к транзакту на свои, если нет, то можно запросить тестовый доступ в течении 1 минуты на почту.

environment:
	TC_LOGIN: «TCNN9979»
	TC_PASSWORD: «n3Z4W4»
	TC_HOST: «tr1-demo5.finam.ru»
	TC_PORT: «3939»
	TC_LOG_LEVEL: «DEBUG»
	TC_TARGET: «server:50051»

docker-compose -f transaq-clickhouse-exporter-compose.yaml -p transaq up

Получаем такие данные

Открываем в браузере c Графаной 127.0.0.1:3000/login и вводим логин и пароль admin admin

Далее появляется окно о смене пароля, вводим новый пароль или ждем далее(skip)

Переходим в настройки добавления источника данных

Жмем на ClickHouse и вводим url http://clickhouse:8123/ и жмем сохранить и провестить(save&test)

Так же понадобится панелька со свечами устанавливается отдельно

Все готово, а как этим пользоваться ?

И вы ограничены, только вашей фантазий, а так же есть возможность погрузить операционные и финансовые данные компании, но это в следующем посте.

Transaq Connector софт для трейдинга торговые роботы open source анализ акций

self_investing

Константин Лебедев

Екатеринбург

359

2 980

с 18 января 2021

7 Комментариев

Ынвестор
28 июня 2021, 17:35
За пытливость ума пятерка.
По существу — по ссылке никаких нейросеток нету, только регрессия(что ну совсем разные вещи). Clickhouse конечно неплоха, но сомневаюсь что для описанных задач это лучший выбор. Вы на какой вообще объём данных ориентируетесь?
0
- Константин Лебедев
  28 июня 2021, 17:50
  Ынвестор, Нейронка в процесс, а по ссылке пример взаимодействия в «серьезной» копании. Задача проста робот должен куда то писать данные о сделках и получать анализ для получения сигналов по всем периодам и прогноз по доходности для торгового сигнала.
  По объему вопрос не понял, кликхаус может пережевать любой объем данных сейчас подгрузил только 1000 свечей для каждого периода 1,5,15,30,60 и так далее до недели вышло примерно 2 миллиона записей.
  
  0
  - Ынвестор
    28 июня 2021, 19:08
    Константин Лебедев, ну так из пушки по воробьям. Минутки за год это полмиллиона записей. Вообще ни о чем. Где преимущество по сравнению с тем же MySQL? А ограничений много
    0
    - Константин Лебедев
      28 июня 2021, 19:18
      Ынвестор, Это не принципиально, могу подключить универсальный клиент, который в любу базу будет, грузить. Клик лучше подходит для задач аналитики и как база данных временных рядов, посмотри что такое OLAP и какие там есть встроенные функции. И да как бы это не казалось банально он НЕ ТОРМОЗИТ
      И я использую его ежедневно на работе
      0
      - Ынвестор
        28 июня 2021, 19:55
        Константин Лебедев, "И я использую его ежедневно на работе"
        Ну с этого и надо было начинать)
        Для БД с данными помещающимися в память все эти OLAP монстры вообще не сдались. Не их это объемы.
        
        0
Константин Лебедев
28 июня 2021, 20:13
Ынвестор, как бы в современный сервер можно напихать до 3Тб памяти, от этого mysql лучше чем клик не станет :)
Хочется в первую очередь сеточку простую с регрессии подключить, то что я обычно рисую в jupiter,

а так будет все в одном месте. А для посолиднее сеточки придётся тензорфлоу использовать
0
- Ынвестор
  28 июня 2021, 23:08
  Константин Лебедев, поэтому для 3тб вам не нужен кликхаус. тем более для нескольких миллионов строк.
  0