Блог им. Division_by_zero

Часть 3: Reminiscences of machine learning operator, или поездка на Красное Море

Предыдущие части сериала про машинное обучение 
Часть 1. я думал-думал, я все понял — про машинное обучение в применении к трейдингу
Часть 2. грааль почти не виден
Часть 3: Reminiscences of machine learning operator, или поездка на Красное Море

вот все говорят, что Смартлаб читать — только время терять.
Я не соглашусь. 
Иногда можно встретить очень умных людей, и получить полезную инфу.
В комментариях к одному из моих предыдущих постов про машинное обучение, уважаемый пользователь AlexeyT сказал, что adaboost -алгоритм для лошков, и все пацаны на районе давно используют xgboost.

Мне стало стыдно перед пацанами, быстренько почитал про xgboost, не без танцев с бубном поставил его на свой третий питон, и начал фигачить торговую систему, уже на новом алгоритме.
По ходу нашел кучу багов, пофиксил их по мере сил.
Подключил к брокеру, настроил все эти его кривые web apis, и понеслось !
Пока что, результатом работы системы стала эпичная поездка на Красное Море (sea of red). С глубоким погружением к рыбам в акваланге. 

Собственно, не только система не дает никаких положительных сигналов, а наоборот — если бы я поступал в точности наоборот от ее сигналов, то заработал бы как минимум процента 3 в день. Вот, например, типичная картина за четыре дня — из 9 эмитентов, купленных по совету системы, 8 (!!!!!) в глубокой просадке, гораздо хуже рынка, и только один в более-менее плюсе ( не обращайте внимания на нищебродские суммы — я пока гоняю очень небольшие позиции, для наработки статистики)

Часть 3: Reminiscences of machine learning operator, или поездка на Красное Море
Самое интересное, что при тестировании на исторических данных алгоритм-таки дает положительный результат. Причем, тестирование происходит железобетонно на данных, не используемых при обучении. То есть, я учу классификатор только на годах 2014 и 2015, а тестирую только на 2016.
Начинаешь гонять систему на реальном рынке — тут и получается ж...
То ли в коде где-то косяк, то ли где то наверху опять поменяли матрицу, и я не вписался
Как пел Лаертский — то ли водка плохая стала, то ли космос как-то влияет.
Начинаешь как-то даже симпатизировать ребятам из Чорного Квадрата — неудивительно, что у них несколько месяцев в убыток.
Не хочет работать машинное обучение, хоть плачь! Поневоле закроешь фонд и уйдешь в запой !

С другой стороны, неделя статистики — это еще мало, так что продолжаем прожигать деньги.
Очевидная польза от всего этого приключения — что я вспомнил питон, ООП, библиотеку Pandas и разобрался в Supervised Learning  — классификаторах.

Предупреждаю сразу — это еще не конец сериала про Машинное Обучение.
Меня так просто не возьмешь ! Я не потерял надежды подогнать реальность под теорию, и продолжаю накапливать статистику. 
О закрытии проекта будет сообщено дополнительно :-) 

В самом конце поста ссылки на все выпуски моих трех сериалов

Александр едет в гости к Дедушке Баффету (сериал закончен):
Часть 0: Американский Шадрин. В гости к Дедушке Баффетту 
Часть 1: Как меня забаннил Шадрин
Часть 2: осталось 50 дней. Почему долгосрочным инвесторам надо переходить с отрубей на пиво
Часть 3: осталось 48 дней. О стратегическом подходе к инвестированию
Часть 4: осталось 45 дней. Лже-Баффетт из Техаса
Часть 5: Откровения долгосрочного инвестора часть 1.
Часть 6: поездка в Омаху, день первый !
Часть 7: Загадочное письмо | По баффетовским местам Омахи | Регистрация на годовое собрание
Часть 8: Собрание Акционеров !
Часть 9: Подводим итоги | Кукла Александра ищет новых владельцев
Часть 10: Как Баффет меняет свою стратегию | Лучшие альтернативы Беркшира

Пассивный портфель, который побъет Арсагеру, Чорный квадрат и Сиплого (сериал продолжается):
часть 0. Правила Портфолио-Шоу
часть 1. Покупаем Данахер
часть 2. Покупаем Брукфилд
часть 3. Покупаем Амазон
часть 4. Покупаем самый крутой ресторан
часть 5. Экстрим! Покупки за день до выборов.
часть 6. Holida-a-a-y! Celebra-a-te !!


Машинное обучение (сериал продолжается)
Часть 1. я думал-думал, я все понял — про машинное обучение в применении к трейдингу
Часть 2. грааль почти не виден
Часть 3. Reminiscences of machine learning operator, или поездка на Красное Море (этот пост)

483 | ★5
6 комментариев
На фотке-то Андрей Л, или Андрей Макаревич?
avatar
Mikola, хз, это точно не я
я на красном море лет 20 не был
это фотка из интернета
avatar
Может, всё-таки, adaboost?
Григорий Перцев, по статистике,xgboost реально лучше, и там больше параметров для тюнинга, кроме того, он намного быстрее работает и, похоже, использует все ядра процессора, в отличие от adaboost — это видно на графике загрузки проца на моем компьютере
avatar

Интересная тема, продолжайте пожалуйста.
Возник такой вопрос — при Supervised Learning требуется разметить training set, в котором должно быть указано для каждого момента времени в каком состоянии система находится — покупка или продажа.
Каким образом вы размечали исторические данные, ведь нельзя однозначно определить даже глядя на историю 'правильные' моменты покупки и продажи. Нужны какие-то критерии правильной разметки.

avatar
gry, спасибо !
с разметкой (labels) то как раз проблем нет
разметка делается в соответствии с гипотезой, под которую делаем классификатор
мой классификатор, например, настроен искать случаи, при которых, купив инструмент при открытии рынка, я за N дней/часов/минут получу как минимум X процентов прибыли ( при этом еще ставится лимитный ордер, который закрывает позицию по достижении нужной прибыли в любой момент из N )
Имея такие условия (или любые другие, поддающиеся формальному определению),  разметить «тренировочный» массив данных — не проблема
Питонская библиотека Pandas умеет это делать за счет векторных операций, причем делать быстро.  Хотя, чтобы эти операции освоить, придется немного повозиться
avatar

Читайте на SMART-LAB:
Фото
Цвет лебедя – неопределенный
2 ядерные державы опасно сблизились . А для фондового рынка как будто ничего не произошло . -1% по Индексу МосБиржи. И без эффекта для...
Фото
NZD/CAD: цены испытывают давление под натиском продавцов?
Котировки кросс-курса NZD/CAD оттолкнулись от нисходящей трендовой линии, попутно сформировав свечную модель «медвежье поглощение». Судя по всему,...
Фото
Итоги 2025 года и прогнозы от аналитиков «Финама»: облигации
2025 год на рынке облигаций запомнился высокими процентными ставками, повышенной волатильностью и заметным смещением фокуса инвесторов в...
Фото
Стратегия 2026. Часть I: извлекаем правильные уроки из ошибок 2025
Those who cannot remember the past are condemned to repeat it  -  © George Santayana, 1905 В начале 2026 года у нас на руках стратегии 13...

теги блога Гуру Хренов

....все тэги



UPDONW
Новый дизайн