Блог им. Division_by_zero

Часть 3: Reminiscences of machine learning operator, или поездка на Красное Море

Предыдущие части сериала про машинное обучение 
Часть 1. я думал-думал, я все понял — про машинное обучение в применении к трейдингу
Часть 2. грааль почти не виден
Часть 3: Reminiscences of machine learning operator, или поездка на Красное Море

вот все говорят, что Смартлаб читать — только время терять.
Я не соглашусь. 
Иногда можно встретить очень умных людей, и получить полезную инфу.
В комментариях к одному из моих предыдущих постов про машинное обучение, уважаемый пользователь AlexeyT сказал, что adaboost -алгоритм для лошков, и все пацаны на районе давно используют xgboost.

Мне стало стыдно перед пацанами, быстренько почитал про xgboost, не без танцев с бубном поставил его на свой третий питон, и начал фигачить торговую систему, уже на новом алгоритме.
По ходу нашел кучу багов, пофиксил их по мере сил.
Подключил к брокеру, настроил все эти его кривые web apis, и понеслось !
Пока что, результатом работы системы стала эпичная поездка на Красное Море (sea of red). С глубоким погружением к рыбам в акваланге. 

Собственно, не только система не дает никаких положительных сигналов, а наоборот — если бы я поступал в точности наоборот от ее сигналов, то заработал бы как минимум процента 3 в день. Вот, например, типичная картина за четыре дня — из 9 эмитентов, купленных по совету системы, 8 (!!!!!) в глубокой просадке, гораздо хуже рынка, и только один в более-менее плюсе ( не обращайте внимания на нищебродские суммы — я пока гоняю очень небольшие позиции, для наработки статистики)

Часть 3: Reminiscences of machine learning operator, или поездка на Красное Море
Самое интересное, что при тестировании на исторических данных алгоритм-таки дает положительный результат. Причем, тестирование происходит железобетонно на данных, не используемых при обучении. То есть, я учу классификатор только на годах 2014 и 2015, а тестирую только на 2016.
Начинаешь гонять систему на реальном рынке — тут и получается ж...
То ли в коде где-то косяк, то ли где то наверху опять поменяли матрицу, и я не вписался
Как пел Лаертский — то ли водка плохая стала, то ли космос как-то влияет.
Начинаешь как-то даже симпатизировать ребятам из Чорного Квадрата — неудивительно, что у них несколько месяцев в убыток.
Не хочет работать машинное обучение, хоть плачь! Поневоле закроешь фонд и уйдешь в запой !

С другой стороны, неделя статистики — это еще мало, так что продолжаем прожигать деньги.
Очевидная польза от всего этого приключения — что я вспомнил питон, ООП, библиотеку Pandas и разобрался в Supervised Learning  — классификаторах.

Предупреждаю сразу — это еще не конец сериала про Машинное Обучение.
Меня так просто не возьмешь ! Я не потерял надежды подогнать реальность под теорию, и продолжаю накапливать статистику. 
О закрытии проекта будет сообщено дополнительно :-) 

В самом конце поста ссылки на все выпуски моих трех сериалов

Александр едет в гости к Дедушке Баффету (сериал закончен):
Часть 0: Американский Шадрин. В гости к Дедушке Баффетту 
Часть 1: Как меня забаннил Шадрин
Часть 2: осталось 50 дней. Почему долгосрочным инвесторам надо переходить с отрубей на пиво
Часть 3: осталось 48 дней. О стратегическом подходе к инвестированию
Часть 4: осталось 45 дней. Лже-Баффетт из Техаса
Часть 5: Откровения долгосрочного инвестора часть 1.
Часть 6: поездка в Омаху, день первый !
Часть 7: Загадочное письмо | По баффетовским местам Омахи | Регистрация на годовое собрание
Часть 8: Собрание Акционеров !
Часть 9: Подводим итоги | Кукла Александра ищет новых владельцев
Часть 10: Как Баффет меняет свою стратегию | Лучшие альтернативы Беркшира

Пассивный портфель, который побъет Арсагеру, Чорный квадрат и Сиплого (сериал продолжается):
часть 0. Правила Портфолио-Шоу
часть 1. Покупаем Данахер
часть 2. Покупаем Брукфилд
часть 3. Покупаем Амазон
часть 4. Покупаем самый крутой ресторан
часть 5. Экстрим! Покупки за день до выборов.
часть 6. Holida-a-a-y! Celebra-a-te !!


Машинное обучение (сериал продолжается)
Часть 1. я думал-думал, я все понял — про машинное обучение в применении к трейдингу
Часть 2. грааль почти не виден
Часть 3. Reminiscences of machine learning operator, или поездка на Красное Море (этот пост)

★5
6 комментариев
На фотке-то Андрей Л, или Андрей Макаревич?
avatar
Mikola, хз, это точно не я
я на красном море лет 20 не был
это фотка из интернета
avatar
Может, всё-таки, adaboost?
Григорий Перцев, по статистике,xgboost реально лучше, и там больше параметров для тюнинга, кроме того, он намного быстрее работает и, похоже, использует все ядра процессора, в отличие от adaboost — это видно на графике загрузки проца на моем компьютере
avatar

Интересная тема, продолжайте пожалуйста.
Возник такой вопрос — при Supervised Learning требуется разметить training set, в котором должно быть указано для каждого момента времени в каком состоянии система находится — покупка или продажа.
Каким образом вы размечали исторические данные, ведь нельзя однозначно определить даже глядя на историю 'правильные' моменты покупки и продажи. Нужны какие-то критерии правильной разметки.

avatar
gry, спасибо !
с разметкой (labels) то как раз проблем нет
разметка делается в соответствии с гипотезой, под которую делаем классификатор
мой классификатор, например, настроен искать случаи, при которых, купив инструмент при открытии рынка, я за N дней/часов/минут получу как минимум X процентов прибыли ( при этом еще ставится лимитный ордер, который закрывает позицию по достижении нужной прибыли в любой момент из N )
Имея такие условия (или любые другие, поддающиеся формальному определению),  разметить «тренировочный» массив данных — не проблема
Питонская библиотека Pandas умеет это делать за счет векторных операций, причем делать быстро.  Хотя, чтобы эти операции освоить, придется немного повозиться
avatar

теги блога Гуру Хренов

....все тэги



UPDONW
Новый дизайн