Блог им. Division_by_zero

Часть 3: Reminiscences of machine learning operator, или поездка на Красное Море

Предыдущие части сериала про машинное обучение 
Часть 1. я думал-думал, я все понял — про машинное обучение в применении к трейдингу
Часть 2. грааль почти не виден
Часть 3: Reminiscences of machine learning operator, или поездка на Красное Море

вот все говорят, что Смартлаб читать — только время терять.
Я не соглашусь. 
Иногда можно встретить очень умных людей, и получить полезную инфу.
В комментариях к одному из моих предыдущих постов про машинное обучение, уважаемый пользователь AlexeyT сказал, что adaboost -алгоритм для лошков, и все пацаны на районе давно используют xgboost.

Мне стало стыдно перед пацанами, быстренько почитал про xgboost, не без танцев с бубном поставил его на свой третий питон, и начал фигачить торговую систему, уже на новом алгоритме.
По ходу нашел кучу багов, пофиксил их по мере сил.
Подключил к брокеру, настроил все эти его кривые web apis, и понеслось !
Пока что, результатом работы системы стала эпичная поездка на Красное Море (sea of red). С глубоким погружением к рыбам в акваланге. 

Собственно, не только система не дает никаких положительных сигналов, а наоборот — если бы я поступал в точности наоборот от ее сигналов, то заработал бы как минимум процента 3 в день. Вот, например, типичная картина за четыре дня — из 9 эмитентов, купленных по совету системы, 8 (!!!!!) в глубокой просадке, гораздо хуже рынка, и только один в более-менее плюсе ( не обращайте внимания на нищебродские суммы — я пока гоняю очень небольшие позиции, для наработки статистики)

Часть 3: Reminiscences of machine learning operator, или поездка на Красное Море
Самое интересное, что при тестировании на исторических данных алгоритм-таки дает положительный результат. Причем, тестирование происходит железобетонно на данных, не используемых при обучении. То есть, я учу классификатор только на годах 2014 и 2015, а тестирую только на 2016.
Начинаешь гонять систему на реальном рынке — тут и получается ж...
То ли в коде где-то косяк, то ли где то наверху опять поменяли матрицу, и я не вписался
Как пел Лаертский — то ли водка плохая стала, то ли космос как-то влияет.
Начинаешь как-то даже симпатизировать ребятам из Чорного Квадрата — неудивительно, что у них несколько месяцев в убыток.
Не хочет работать машинное обучение, хоть плачь! Поневоле закроешь фонд и уйдешь в запой !

С другой стороны, неделя статистики — это еще мало, так что продолжаем прожигать деньги.
Очевидная польза от всего этого приключения — что я вспомнил питон, ООП, библиотеку Pandas и разобрался в Supervised Learning  — классификаторах.

Предупреждаю сразу — это еще не конец сериала про Машинное Обучение.
Меня так просто не возьмешь ! Я не потерял надежды подогнать реальность под теорию, и продолжаю накапливать статистику. 
О закрытии проекта будет сообщено дополнительно :-) 

В самом конце поста ссылки на все выпуски моих трех сериалов

Александр едет в гости к Дедушке Баффету (сериал закончен):
Часть 0: Американский Шадрин. В гости к Дедушке Баффетту 
Часть 1: Как меня забаннил Шадрин
Часть 2: осталось 50 дней. Почему долгосрочным инвесторам надо переходить с отрубей на пиво
Часть 3: осталось 48 дней. О стратегическом подходе к инвестированию
Часть 4: осталось 45 дней. Лже-Баффетт из Техаса
Часть 5: Откровения долгосрочного инвестора часть 1.
Часть 6: поездка в Омаху, день первый !
Часть 7: Загадочное письмо | По баффетовским местам Омахи | Регистрация на годовое собрание
Часть 8: Собрание Акционеров !
Часть 9: Подводим итоги | Кукла Александра ищет новых владельцев
Часть 10: Как Баффет меняет свою стратегию | Лучшие альтернативы Беркшира

Пассивный портфель, который побъет Арсагеру, Чорный квадрат и Сиплого (сериал продолжается):
часть 0. Правила Портфолио-Шоу
часть 1. Покупаем Данахер
часть 2. Покупаем Брукфилд
часть 3. Покупаем Амазон
часть 4. Покупаем самый крутой ресторан
часть 5. Экстрим! Покупки за день до выборов.
часть 6. Holida-a-a-y! Celebra-a-te !!


Машинное обучение (сериал продолжается)
Часть 1. я думал-думал, я все понял — про машинное обучение в применении к трейдингу
Часть 2. грааль почти не виден
Часть 3. Reminiscences of machine learning operator, или поездка на Красное Море (этот пост)

484 | ★5
6 комментариев
На фотке-то Андрей Л, или Андрей Макаревич?
avatar
Mikola, хз, это точно не я
я на красном море лет 20 не был
это фотка из интернета
avatar
Может, всё-таки, adaboost?
Григорий Перцев, по статистике,xgboost реально лучше, и там больше параметров для тюнинга, кроме того, он намного быстрее работает и, похоже, использует все ядра процессора, в отличие от adaboost — это видно на графике загрузки проца на моем компьютере
avatar

Интересная тема, продолжайте пожалуйста.
Возник такой вопрос — при Supervised Learning требуется разметить training set, в котором должно быть указано для каждого момента времени в каком состоянии система находится — покупка или продажа.
Каким образом вы размечали исторические данные, ведь нельзя однозначно определить даже глядя на историю 'правильные' моменты покупки и продажи. Нужны какие-то критерии правильной разметки.

avatar
gry, спасибо !
с разметкой (labels) то как раз проблем нет
разметка делается в соответствии с гипотезой, под которую делаем классификатор
мой классификатор, например, настроен искать случаи, при которых, купив инструмент при открытии рынка, я за N дней/часов/минут получу как минимум X процентов прибыли ( при этом еще ставится лимитный ордер, который закрывает позицию по достижении нужной прибыли в любой момент из N )
Имея такие условия (или любые другие, поддающиеся формальному определению),  разметить «тренировочный» массив данных — не проблема
Питонская библиотека Pandas умеет это делать за счет векторных операций, причем делать быстро.  Хотя, чтобы эти операции освоить, придется немного повозиться
avatar

Читайте на SMART-LAB:
Фото
NZD/CHF: цены уперлись в потолок, давая шанс на снижение
Кросс-курс NZD/CHF оттолкнулся от области сопротивления, сформированной между уровнями 0,4663 и 0,4674. При этом текущий день (среду) цена пробует...
Объем ипотеки по итогам года увеличится в пределах 15–25%
По оценке ВТБ, за январь российские банки выдали ипотечных кредитов на рекордную для этого месяца сумму 430 млрд руб. Этот объем втрое выше...
Фото
Идеальное рабочее пространство трейдера: виджеты и визуализация данных
Биржевая торговля при помощи ботов и алгоритмов — это ряды очень быстрых процессов. На ее эффективность влияют скорость обработки данных и...
Фото
Пошли продажи… Изменения в портфеле
Последний раз писал про портфель 13 января и сегодня я совершил несколько небольших сделок. Структура портфеля на 13.01.2026г.:

теги блога Гуру Хренов

....все тэги



UPDONW
Новый дизайн