Я скачал 30 лет истории рынка за вечер. Потом полгода чинил данные, на которых стоит моя алго-платформа

Ho_Chu, и, возможно, не прогадали. Я остался скорее из инженерного упрямства: американская история просто лучше всех документирована — есть делистинги, есть исторические составы индексов, есть отчётность с датами публикации. На ней удобно отлаживать саму методику, даже если торговать в итоге будешь совсем другое.

SergeyJu, справедливо — я бы даже усилил. Один инструмент это не просто меньше подгонки, это принципиально другое число степеней свободы: нет выбора вселенной, нет исторического состава, нет ошибки выжившего. Половина моих полугодовых мучений при таком подходе просто не возникает.

Но подгонка никуда не девается, она переезжает. С выбора бумаг — на выбор параметров и на выбор окна, в котором вы решили, что правило работает. Вопрос просто звучит иначе: не «не одни ли это выжившие», а «не подогнал ли я период под то, что уже подсмотрел».

За ссылку спасибо. Дивидендная доходность QQQ невелика, и на годовом горизонте ей легко пренебречь — но на двадцатилетнем именно она и превращает ценовой график в полную доходность. Это ровно та четвёртая ловушка: она незаметна ровно до того момента, когда начинаешь всерьёз сравниваться с бенчмарком.

kurd, «у кошки только одна» — забираю в копилку. Похоже, весь мой проект и был дорогим способом убедиться, что тридцать три уловки не работают, а одну кошачью я так и не нашёл. Утешаюсь тем, что выяснять это полгода за компьютером всё-таки дешевле, чем пару лет на счёте.

Спасибо за ссылки, забрал. История с 1997 года по металлам — это как раз то, чего мне не хватает по российской части: у меня туда руки пока не доходили, а без длинного ряда там и проверять нечего.

По конструкции с фьючерсом и резервом в фондах ничего умного не скажу — не моя область, я про данные, а не про схемы исполнения. Врать не буду.

wistopus, так и есть — не гарантирует, я об этом прямым текстом в конце и написал. Гарантирует другое: что вы это выясните до того, как занесёте деньги, а не после.

Про «цену выше средней» — тут самое интересное. У меня строгий гейт валил в первую очередь сложные многофакторные конструкции, а простые правила с двумя параметрами держались дольше всех. Математика тут как раз на стороне простого: чем меньше параметров, тем меньше вариантов вы перебрали, тем ниже планка, которую нужно взять по Deflated Sharpe. Красивому монстру на десяти факторах эта планка задирается до небес — и он честно об неё убивается.

зе Cooler, вопрос по делу, и ответ у меня неудобный.

Мой набор лежит в левой части вашего графика. 231 кандидат — это несколько семейств (моментум, возврат к среднему, пробой) с перебором параметров внутри каждого. Соседние по параметру варианты идут почти в обнимку, между семействами корреляция умеренная. Эффективное число независимых попыток там не 231, а порядка числа семейств — ближе к десятку, чем к сотне.

И следствие вы называете верно: в оценку я подставлял N = 231 как есть. Значит ожидаемый максимум под нулевой гипотезой был завышен, а гейт получился строже, чем следовало. На итог «не прошёл никто», думаю, это не повлияло — до порога не дотягивали с большим запасом, а не на сотых. Но это именно «думаю»: пересчёт с эффективным N я не делал, так что как факт не подаю.

Правильный путь — тот, который вы и предлагаете: считать распределение максимума эмпирически по самому набору, с сохранением корреляционной структуры (блочный бутстрэп по времени), а не по формуле. Поставил в очередь, напишу, где реально ляжет порог и насколько далеко от него были лучшие.

А вы эффективное N как оцениваете на практике — по средней попарной корреляции или через собственные числа ковариационной матрицы?

зе Cooler, спорить не буду: цепочка допущений там длинная, и «курица или яйцо» вы поймали точно — дисперсию шарпов формула требует раньше, чем объясняет, откуда её взять.

Вывод у меня из этого практический: аналитику не использовать вовсе. Распределение максимума считается эмпирически по своему же набору — перемешать доходности кандидатов, прогнать гейт на перемешанном, повторить тысячу раз и посмотреть, какой шарп там вылезает случайно. Ни Гумбеля, ни нормальности, ни вопроса о сходимости. И ваш счёт попыток встраивается туда сам: коррелированные варианты не дают тысячу независимых шансов, они дают ровно столько, сколько дают.

На мой итог это не повлияло бы — до порогов не дотягивали с большим запасом. Но формулу «сдутого шарпа» из отчётов уберу: она даёт точность, которой у неё нет.

bonzamen, это, пожалуй, самое сильное возражение ко всей затее — и полного ответа у меня на него нет.

История говорит о рынке, которого больше не существует: другие участники, другие комиссии, другие скорости, до 2001-го вообще котировки в долях. Чистота данных тут не спасает вообще никак — данные-то как раз честные, меняется механизм, который их породил.

Единственное, что я с этим делаю: не верю результату, который держится на одном режиме рынка. В гейте есть требование показать себя минимум в 12 ячейках из 15 по сетке «режим волатильности × период». Вашу проблему это не решает, но хотя бы отсекает стратегии, которые жили ровно в одну эпоху и умерли вместе с ней.

SergeyJu, и это, судя по моим же результатам, разумнее. Строгий гейт в первую очередь выкашивал именно многофакторные конструкции: чем больше ручек, тем выше планка, которую надо взять, чтобы отличиться от везения. У двух-трёх простых индикаторов эта планка хотя бы достижима.

Забавно, что к этому выводу я пришёл не из вкуса к простоте, а от противного — перебрав кучу сложного и посмотрев, что от него остаётся после поправки на число попыток.

Спасибо. Идея с двумя графиками правильная, беру — это ровно та вещь, которую надо показывать, а не объяснять словами.

Механика «задним числом» простая и оттого неприятная: исправленный ряд пересчитывается назад при каждом новом дивиденде и сплите. Компания выплатила дивиденд сегодня — вся её история за тридцать лет сдвинулась вчера вечером. Вы вчера сохранили котировку, сегодня скачали ту же дату и получили другое число, при том что ошибки нигде нет.

На валютном рынке этого нет вовсе: там нет корпоративных событий, ряд не переписывается. Зато есть своя версия той же беды — разные котировки у разных источников на одну и ту же минуту и дырки в тонкие часы. Другая болезнь, но лечится тем же: сверкой двух независимых источников, а не доверием одному.

Почти, но с одной поправкой. Тождество замкнуто внутри ценовых данных: берём сырой, неисправленный ряд плюс ленту корпоративных событий (дивиденды и сплиты за период) и пересобираем из них полную доходность — она обязана сойтись с adjusted-рядом провайдера. То есть сверяются два независимых представления одного и того же. Разъехалось — значит где-то потеряна выплата или задвоен сплит. EDGAR у меня не для этого, там фундаменталка point-in-time, у неё своя задача.

По второму вопросу: нужны обе вещи, но они про разное. Правка ряда нужна, чтобы сигнал не видел ложного движения — в день отсечки сырая цена падает на размер дивиденда, и любая пробойная или моментум-логика честно читает это как обвал. Учёт в стратегии нужен для денег: дивиденд приходит на счёт, с задержкой и за вычетом налога.

Если делать только «в стратегии» — сигналы будут срабатывать на искусственных гэпах четыре раза в год по каждой бумаге. Если только правку ряда — потеряете денежный поток. У меня разведено: сигналы считаются на исправленном ряду, деньги — на сыром плюс события с реальной датой зачисления.

Робот Вася, извините за задержку — ваш вопрос уехал вверх по дереву, и я его вчера пропустил.

По первому: да, схема ровно такая. Берётся сырой ряд, отдельно — корпоративные действия из SEC/EDGAR (сплиты и дивиденды с датами), поправка накладывается на сырой ряд самостоятельно, и результат сверяется с тем adjusted-рядом, который отдаёт источник. Тест утверждает не «цифры совпали до знака», а что расхождение укладывается в допуск; всё, что вылезает, идёт в разбор поимённо — обычно это либо пропущенный сплит, либо дивиденд не с той датой.

По второму — вопрос хороший, и ответ у меня скорее «и то, и другое, но в разном месте». Учитывать дивиденды в стратегии можно и часто правильнее: тогда это отдельный денежный поток с датой экс-дивиденда, с налогом, и видно, сколько доходности приходит из тела, а сколько из выплат. Проблема не в этом, а в том, что бесплатные источники обычно отдают уже adjusted-ряд, где поправка вшита в цену задним числом и пересчитывается при КАЖДОМ новом дивиденде. То есть история меняется под вами: бэктест, прогнанный сегодня и через полгода на «тех же данных», даёт разные числа, и вы об этом не узнаете.

Поэтому у меня хранится сырой ряд плюс таблица корпоративных действий, а adjusted собирается на лету. Тогда стратегия сама решает, учитывать дивиденды или нет, а бэктест остаётся воспроизводимым — это и была вся цель возни. Плюс мелочь, на которой легко попасться при сравнении с индексом: total return и price return надо сводить в одной системе, иначе бенчмарк обыгрывается на ровном месте.

Пост не про доходность и не про размер счёта — в нём нет ни одной цифры прибыли, и это сознательно. Он про то, почему бэктест врёт, если под ним кривые данные.

Эта часть от капитала не зависит вообще: выжившие тикеры, дивиденды и фундаменталка из будущего одинаково рисуют красивую эквити и на двухстах тысячах, и на двадцати миллионах. Разница только в том, сколько стоит поверить нарисованному.

Wright_king, справедливо — на прямой вопрос я ответил в сторону. Исправляюсь.

Платформа торгует акции США, NYSE и NASDAQ. Портфельные факторные стратегии на дневных данных, ребаланс раз в месяц-квартал. Ни фьючерсов, ни опционов, ни интрадея — минуток в базе нет вообще, только дневные бары.

И сразу вторая часть, чтобы не выглядело скромничаньем: сейчас это paper-trading, реальных денег контур не крутит. Поэтому в посте и нет ни одной цифры доходности — их пока попросту нет.

Ваш класс задач другой. Фьючерсный робот, который набирает и сбрасывает позицию внутри дня, живёт на других данных и других рисках: там мои тридцать лет дневных баров не нужны вовсе, там нужен стакан и качество исполнения. Сравнивать нас по одной линейке смысла мало.

Федор Подпольный, вариант 4.

Убыточность на истории ни при чём: на обучающем куске у стратегий всё выглядело прилично, иначе они бы до гейта не дошли. Гейт проверял другое — сохраняется ли преимущество на данных, которых стратегия не видела, и переживает ли оно поправку на множественность. Когда перебираешь 231 вариант, лучший показывает высокий шарп уже просто по теории вероятностей, и его надо дисконтировать — deflated Sharpe у Бейли ровно про это.

Ни одна не удержала результат вне обучающего окна после поправки. До сравнения с S&P500 дело поэтому не дошло: это следующий шаг, а первый никто не прошёл.

Федор Подпольный, почти — только сетку никто не обучал, нейросетей там нет вовсе. 231 кандидат это перебор параметров внутри трёх семейств: моментум, возврат к среднему, пробой. Подгонка та же самая, просто руками.

И «так и должно было быть» — согласен. Обидное в другом: на словах это понятно каждому, а на глаз, по одной красивой кривой на обучающем куске, отличить подгонку от преимущества невозможно. Ради этого гейт и строился.

Просто трейдер, ничего не продаю: ни сервиса, ни подписки, ни сигналов. Платформа своя, крутится на бумаге, доступа к ней нет ни у кого, кроме меня. Продавать там нечего — она пока ровно ноль стратегий выпустила в жизнь.

Сжато в два предложения: скачать 30 лет истории рынка — это вечер, а привести её в состояние, на котором бэктест не врёт, — полгода (сплиты, делистинг, ошибка выжившего, задним числом переписанные значения). После чистки из 231 стратегии гейт на новых данных не прошла ни одна — и это результат, а не провал: до чистки половина из них выглядела прибыльной.

Андрей К, добрый вечер ) Подозреваю, что иду ровно этим маршрутом: полгода чинил данные, и главный результат пока — понимание, чего делать не надо.

А в чём в итоге начали зарабатывать, если не секрет? Интересна как раз та часть, где «совершенно в другом».

Андрей К, и не поспоришь — самое простое чаще всего и самое живучее. Мой «душный» маршрут ровно туда и ведёт, только дорогой через грабли: сначала строишь сложное, потом полгода выкидываешь лишнее и остаёшься с горизонтальным уровнем ) За честный размен спасибо.

Гуру Хренов, по первому вы правы, и я это в посте смазал. Сам гэп на отсечке реальный, чинить его не надо. Беда в другом: бесплатные источники отдают не сырой ряд, а adjusted. После каждого нового дивиденда они домножают всю прошлую историю на новый коэффициент. Бар за 2011 год сегодня один, а через квартал будет другой. Прогоняешь бэктест в январе и в июне на одном и том же периоде, получаешь разные числа и сидишь гадаешь, что у тебя поехало в коде.

Плюс совсем практическое: минутки у большинства поставщиков не скорректированы, а дневки от них же скорректированы. Склеиваешь в одну базу и ловишь скачок на дате отсечки на ровном месте. Поэтому цены у меня сырые, дивиденды лежат отдельной таблицей, и коэффициент считается на лету под конкретный прогон.

Про индексы вы поняли меня буквальнее, чем я написал. Речь не про торговлю индексом, а про то, откуда берётся список тикеров. Возьмёшь сегодняшний состав S&P 500 и погоняешь по нему стратегию за 20 лет — тестируешь только тех, кто дожил и попал в индекс. Вылетевшие и обанкротившиеся в выборку не попали вообще, а попавшие туда попали обычно ПОСЛЕ того, как выросли. Доходность выходит красивая и нереализуемая: в 2005 этот список знать было неоткуда. Нужен состав на каждую дату.