Введение
Многие datascientists, желающие использовать ML на финансовых рынках, прочитали толстые книжки об инвестировании, может даже создавали модели с учетом прочитанного. И наверняка знают как правильно оценить полученные модели с точки зрения ML. Разобраться с этим необходимо, чтобы не было мучительно больно, когда прекрасная модель на бумаге, превращается в генератор убытков при практическом использовании. Однако оценка эффективности модели ML на бирже, довольно специфическая область, тонкости которой раскрываются только когда вы погружаетесь в процесс. Под процессом я понимаю трейдинг с частотой совершения сделок гораздо чаще «пара сделок в месяц, в течении полугода». Существует множество подводных камней, о наличии которых вы даже не подозреваете, пока смотрите на трейдинг извне. Я попробую вольно изложить свои мысли на данную тему, я покажу метрики, условно разбив их на 3 группы и обьясню их смысл, покажу свои любимые и о чем нужно подумать, если вы хотите практически использовать модели, а не повесить их на стеночку в красивой рамочке. Представлю метрики в табличном и графическом виде, показав их взаимосвязь. Сравню показатели моделей в виде «какую модель выбираю я» и «что выбираете вы» и кто тут больше ошибается. Для любителей кодов, приведу реализацию всего подсчитанного, так что можно сразу применить прочитанное для оценки своих моделей. Я не буду тут говорить о борьбе с переобучением или регуляризации или стратегиях кросвалидации — оставлю это на потом. Здесь мы начинаем со списка уже спрогнозированных сделок, с помощью transformer о которой я писал в прошлой статье. Поэтому данный текст будет его логическим продолжением, где я оценю модель с точки зрения ее практического использования.
Хотелось бы протестировать свои древние торговые системы и подходы на Данных по заболеваемости Коронавирусом.
Где можно скачать дневные данные по Короне ?
Вот этот график.
В интернете нахожу лишь готовый анализ. Без данных.
С февраля 2021 года я тестировал робота-советника банка ВТБ, первоначальный взнос составил 60 тысяч рублей, далее 20го числа каждого месяца я пополнял брокерский счет на 5 000р, с апреля 2021 стал пополнять на 7 000р, общая сумма пополнения составила 150 тысяч рублей, на сегодняшний день на счете 146066р. Оно и понятно, рынок падает и это не показатель качества работы робота-советника, для качественного анализа надо инвестировать несколько лет. Во время работы робота-советника к нему было много вопросов, были сделки, которые мне не нравились, по этому продолжать следить за его поведением нет желания, но нужно как то оценить результат его работы, я не нашел ничего лучше, чем сравнить доходность портфеля под управлением робота-советника с доходность фонда того же ВТБ на Российские акции #VTBX, ниже выписано количество акций фонда #VTBX, которые я бы купил в каждом месяце, если бы инвестировал по той же схеме, что и с роботом-советником.
09 февраля 2021г. (день подключения робота) — 130,6р/шт., купил бы 459 акций, остаток на счете 54,6р.
20 февраля 2021г. — 130,8р/шт, купил бы 38 акций, полный остаток 84,2р.
19 марта 2021г. — 132,3р/шт, купил бы 37 акций, полный остаток 189,1р.
21 апреля 2021г. — 135,45р/шт, купил бы 51 акцию, полный остаток 281,15р.
20 мая 2021г. — 139,45р/шт, купил бы 50 акций, полный остаток 308,65р.
18 июня 2021г. — 146,3р/шт, купил бы 47 акций, полный остаток 432,55р.
21 июля 2021г. — 146,55р/шт, купил бы 47 акций, полный остаток 544,7р.
19 августа 2021г. — 151,35р/шт, купил бы 46 акций, полный остаток 582,6р.
21 сентября 2021г. — 157,1р/шт, купил бы 44 акции, полный остаток 670,2р.
20 октября 2021г. — 169,1р/шт, купил бы 41 акцию, полный остаток 737,1р.
18 ноября 2021г. — 163,85р/шт, купил бы 42 акции, полный остаток 855,4р.
20 декабря 2021г. — 145,6р/шт, купил бы 48 акций, полный остаток 866,6р.
21 января 2022г. — 136,7р/шт, купил бы 51 акцию, полный остаток 894,9р.
В итоге у меня было бы 1001 акция со средней ценой 148,96р., сегодня я бы продал эти акции по цене 142,55 и получил 142 692,55+894,9 (остаток рублей на счете) = 143 587,45
Если сравнивать с активным управлением робота советника, то робот советник принес меньший убыток, по сравнению с покупкой фонда на российские акции.
Последние месяцы я не стал выкладывать отчет о действиях робота советника, но портфель, который я вел в смарт-лабе актуальный посмотреть на него можно ЗДЕСЬ.
На сегодняшнем росте +6% решил перепроверить, что говорит квадратичная функция регрессия c r^2 0,88
про текушу стоимость акций Русала
По оси X — Фьючерс на алюминий на Шанхайской бирже с 2019-го года
По оси Y — Дневные цены закрытия котировок акций Русал, так же с 2019-го года
Большая красная точка — это сегодняшний день, на момент поста.
Красная линия — квадратичная функция регресси
Синяя пунктирная линия — линенйная функция регресси
Текущая цена в 84,5 руб. выглядит несколько завышенной на ожиданиях дальнейшего роста цен на алюминий, так как изменения цен на сырьевые товары очень инертны и возможно, кто то знает когда наступит сезонный пик цен.