Постов с тегом "машинное обучение и анализ данных": 9

машинное обучение и анализ данных


Вот мы и добрались до Америки. Накладываем паттерны там.

Мой переход к программированию и машингленинг (случилось это где то год с небольшим), отчасти был связан с мыслями глянуть, а что там в забугорье творится. Проходить опять тот же путь ручного перелопачивания, что я прошел на отечественном рынке, понятно дело не хотелось. Но то котировок не было, то еще чего то, и вот наконец то дошли ручки до Америки, тем паче робот для автоматического скачивания котирок есть, модели для тестирования есть, осталось только пуско-наладочные работы.
К слову, по поводу выкачки американских внутридневных котирок через Питон не все так просто оказалось, как казалось раньше. Google Finance ограничивает скачивание часовиков 730 днями (а ниже — еще меньше), у Yfinance я вообще внутридневных не нашел. Была большая надежда на AlphaVantage, но и там ограничение на intraday в несколько дней. Еще и данные в каком то месте оказались кривыми, на что я даже написал кляузу им в поддержку, на что мне ответили что так и надо, это все «adjusted close» и закрыли тему. Так что у кого есть какие то секретные места, где все это можно быстро выкачать — делитесь.

( Читать дальше )

Искусственный трейдер. Часть 2. Парсинг и визуализация тренировочного набора данных в Python

Всем, привет! Неделя выдалась «боевой», надеюсь все живы-здоровы!
В продолжении топика «Искусственный трейдер. Часть 1. Подготовка данных для машинного обучения (видео)»
Рассмотрим python-код «парсера» и «визуализатора» данных. Скажу сразу, что этот код вы можете легко модифицировать для анализа ваших данных любого другого формата.
Сам датасет формируется при помощи платформы Jatotrader, которая во время воспроизведения исторических данных сохраняет параметры частотных графиков для дальнейшего анализа и построения модели машинного обучения  в Python.
Для работы с тестовой выборкой нам понадобятся:
1. Установленная платформа Jatotrader FREE (или круче) версии 2.9.3 (или выше). С ее помощью вы сможете создавать любые тестовые наборы для любых инструментов. Либо воспользоваться, в качестве примера, готовым набором для фьючерсного контракта RIH0 с 20.12.19 по 28.02.20 (по два частотных графика 500 и 125 тиков на бар для каждой торговой сессии).

( Читать дальше )

Искусственный трейдер. Часть 1. Подготовка данных для машинного обучения (видео).

Всех с наступающим (и никаких отступлений!) Днем Защитника Отечества ака Денем Советской Армии и Военно-Морского Флота!
И за тех, кто в море! Ну а те кто в ЗОЖе, начинаем готовить себе замену — искусственного трейдера.
Важнейшей частью любого алгоритма машинного обучения являются данные, на которых происходит обучение, а еще важнее качество этих данных.
Для приготовления искусственного трейдера нам понадобятся следующие ингредиенты:
1.Установленная платформа Jatotrader (FREE или круче) версии 2.9.3 или выше. Можно обойтись и без установки Джато и взять тестовый набор данных отсюда. Описание содержимого файлов датасета — в конце топика.
2.Питон.Jupyter Notebook (Anaconda3)
Короче говоря, Jatotrader мы используем как предварительный обработчик и генератор данных для машинного обучения (МО), а Python для создания модели, обученной на этих данных. Возможности Jatotrader позволяют создавать частотные графики из тиковых данных, примерно такого вида 



( Читать дальше )

ALT DATA - шанс на выживание активных стратегий или новый способ потерять деньги инвесторов?

В конце апреля 2019 года в аэропорту Омахи приземлился «гольфстрим» компании Occidental Petroleum. Нефтяная компания направила делегацию для секретной встречи с Уорреном Баффетом, надеясь убедить его прийти на помощь против враждебного поглощения. Эта встреча недолго оставалась тайной. Работающая в области «альтернативных данных» компания под названием Quandl отслеживала подобные перелеты, что позволило ей предупредить клиентов — в основном хедж-фонды — о неожиданном полете «гольфстрима» и потенциальной сделке. Два дня спустя Occidental объявила об получении $10 млрд от Баффета.

Этот эпизод показывает, как индустрия активного управления пытается восстановить позиции на фоне многолетнего отставания как от заявленных нормативов доходности, так и от результатов пассивного индексирования. Многие традиционные хедж-фонды и управляющие паевых фондов не могут себе позволить просто наблюдать за тем, как клиентские портфели перетекают в индексные или алгоритмические стратегии. Один из способов вернуть доверие и средства инвесторов — использование интеллектуального анализа данных. Изначально такого рода методы применялись конкурентами традиционных портфельных менеджеров — «квантами», что подразумевает серьезные вложения в найм программистов и специалистов по обработке данных. Но теперь речь идет о гибридном подходе, который сочетает в себе суждения опытного портфельного управляющего и применение больших данных.



( Читать дальше )

Конфа. Мое выступление на тему Машинного обучения. Итоги.

Всем привет. Кратко подведу итоги и задам сообществу пару вопросиков.

Во-первых спасибо Тимофею, что дал возможность выступить и в целом, ты крут, практически один тянешь такое огромное мероприприятие.
Контент от других участников мне тоже был интересен, нашел много интересных идей.
Интересно было пообщаться с людьми, которые готовы воспринимать что то новое, и задавать вопросы, к сожалению, как правильно сказал Роккибит, таких мало.  

По поводу моего выступления:

Понимаю, что тема была не простая, а как спикер я лет 10 не выступал, поэтому возможно основную мысли я донес недостаточно ясно. А они следующие: Применение современных методов машинного обучения в трейдинге, это самый эфективный способ анализа рынка, при котором теряется минимум информации.
Стратегии основанные на машинном обучении применяются всеми крупными фондами ( и речь не про ХФТ), и имеют наилучшую точность среди всех методов. Переобучается ли модели, да переобучаются, но переобучаются и все остальные, но машинное обучение дает возможность это лучше контролировать и избегать.


( Читать дальше )

Когда роботы заменят трейдеров

Я потратил приличное количество времени на разработку стратегий и  даже имел парочку которые приносили определенный доход некоторое время. Занимался пару лет машинным обучением и тоже представляю, что это за зверь.  Также работал в инвест банке где видел как роботы рубят капусту особенно во время кипишей на маркете, в такие времена прибыль просто была огромной у ХФТ.

Собственно здесь мои  сбивчивые размышления на тему когда же наступит момент когда всех трейдюков заменят алгоритмы, и я думаю этот момент в конечном итоге наступит.

В начале хочу вкратце описать типичную разработку стратегии с классическим маш. Обучением – берется входной массив данных, вручную выделяются признаки-фичи которые могут быть ценны для прогноза, нормализуются, модель обучается на тестовой выборке, фичи которые имеют меньший предсказательный вес удаляются для уменьшения вероятности оверфиттинга, и увеличения робастости модели, модель снова обучается,  потом проверяется на тестовом сете данных, что модель действительно работает. Вроде просто. На самом деле есть несколько проблем



( Читать дальше )

Deep Learning

Толковая базовая статья по теме. Для алгошников.

proglib.io/p/trade-learning/

Торговый робот по аналогии с шахматной программой

    • 26 сентября 2016, 10:52
    • |
    • ПBМ
  • Еще
Хочу обсудить возможность построения торгового робота по аналогии с программой играющей в шахматы.
Насколько я знаю (а я не большой спец), шахматные программы имеют в себе такие составляющие:
— просчитанную таблицу 99.99 (а то и 100%) N первых ходов партий — т.н. таблица дебютов, наверное ходов на 10 точно
— функция подсчёта «стоимости»-рейтинга позиции, т.е. ранжирования, какая позиция для программы-игрока лучше из двух, трёх и M разных позиций
— эмулятор своих и чужих ходов (часть которая знает как ходят фигуры)
— функция принятия решения
дальше уже нюансы — как глубоко подсчитываются варианты (2-3 хода в глубину считается средней сложностью), какие оптимизации применяются (некоторые позиции заведомо проигрышные, а ходы глупые, на них не надо тратить время)

вот я и подумал что тут наверное есть много общего с программой по торговле.
— часть по оценке позиции
— эмулятор своих (покупка продажа) и чужих (ход цены) ходов
— база знаний (паттернов, искуственных нейронов, таблиц)

( Читать дальше )

Coursera для трейдеров

То, что доктор прописал.
На русском.
Тынц

....все тэги
UPDONW