Блог им. KonstantinLebedev
В продолжении темы про TransaqConnector для Линукс на GoLang , где описывалась область применения, как анализ исторических данных по всем инструментам, пришло время продемонстрировать.
Для этого был написал за один вечер пример экспортера данных из TRANSAQ в лучшую OLAP базу данные ClickHouse с открытым кодом(open source) от компании Яндекс, с возможностью подключения неройсетки(регрессия) обычно применяется для систем рекомендации товаров
Для запуска вам понадобиться установить docker
И запустить все необходимое локально через docker compose файл
Поменять логины и пароли к транзакту на свои, если нет, то можно запросить тестовый доступ в течении 1 минуты на почту.
environment: | |
TC_LOGIN: «TCNN9979» | |
TC_PASSWORD: «n3Z4W4» | |
TC_HOST: «tr1-demo5.finam.ru» | |
TC_PORT: «3939» | |
TC_LOG_LEVEL: «DEBUG» | |
TC_TARGET: «server:50051» |
docker-compose -f transaq-clickhouse-exporter-compose.yaml -p transaq upПолучаем такие данные
Открываем в браузере c Графаной 127.0.0.1:3000/login и вводим логин и пароль admin admin
Далее появляется окно о смене пароля, вводим новый пароль или ждем далее(skip)
Переходим в настройки добавления источника данных
Жмем на ClickHouse и вводим url http://clickhouse:8123/ и жмем сохранить и провестить(save&test)
Так же понадобится панелька со свечами устанавливается отдельно
Все готово, а как этим пользоваться ?
И вы ограничены, только вашей фантазий, а так же есть возможность погрузить операционные и финансовые данные компании, но это в следующем посте.
По существу — по ссылке никаких нейросеток нету, только регрессия(что ну совсем разные вещи). Clickhouse конечно неплоха, но сомневаюсь что для описанных задач это лучший выбор. Вы на какой вообще объём данных ориентируетесь?
По объему вопрос не понял, кликхаус может пережевать любой объем данных сейчас подгрузил только 1000 свечей для каждого периода 1,5,15,30,60 и так далее до недели вышло примерно 2 миллиона записей.
И я использую его ежедневно на работе
Ну с этого и надо было начинать)
Для БД с данными помещающимися в память все эти OLAP монстры вообще не сдались. Не их это объемы.
Хочется в первую очередь сеточку простую с регрессии подключить, то что я обычно рисую в jupiter,
а так будет все в одном месте. А для посолиднее сеточки придётся тензорфлоу использовать