Как я проверяю, что стратегия не подогнана: протокол из 14 процедур, код открыт

Про минимальное число сделок и среднюю сделку — да, отдельных критериев нет. Средняя сделка учтена косвенно: издержки, целые лоты и задержка вычитаются в
движке исполнения ещё до того, как считается хоть одна метрика. Система, у которой
средняя сделка не перекрывает комиссию, там умирает сама. Но явным порогом честнее,
согласен, заберу себе.

Стабильность по параметрам есть — сетка чувствительности, где двигаешь по одному
параметру за раз, плюс walk-forward. Он заодно показывает, часто ли вообще меняется
выбранный параметр: если каждое окно новый оптимум, это уже ответ. По инструментам
смотрю вклад каждой ноги в итог, когда всё держится на одной — видно сразу.

Период теста в демо 900 дней: отбор на 250, проверка на следующих 60, шаг 60.
Получается 10 непересекающихся кусков OOS, склеенных в один ряд. Параметр за эти 10
окон сменился 5 раз — само по себе диагноз. PBO режет ту же
историю на 16 блоков по 56 дней и перебирает все 12 870 способов поделить её пополам.

Но walk-forward без длинной истории не
собирается в принципе, так что снизу оно упирается само.

А что за подход у вас? Правда интересно, чем стабильность меряете.

Ну так-то вы говорите про order book, другое значение слова)

В посте про то, что при уменьшении портфеля с 5 млн до 250 тыс часть позиций округляется целыми лотами в ноль, и торгуется уже
не то, что посчитано. И под книгой подразумевается торговый портфель

Адрес верный, дело не в нём. GitHub зафлажил мой аккаунт целиком: профиль и оба репозитория отдают 404 всем, кроме меня. Аккаунту неделя, захожу через VPN. Апелляция подана, как снимут напишу здесь же.

Про привязку к старту — принимаю упрёк, но у меня она не вместо просадки от пика, а вдобавок. Основная метрика от пика, она и в коде основная. Отношение к старту я считаю отдельно и ровно для одного вопроса: сколько своих денег рискует потерять человек, который зашёл сегодня. Это не про качество системы, это про первые месяцы, пока нет буфера прибыли. Ну, так звезды сложились, не факт ведь, что начинаешь с хорошего периода и сразу поперло, потому этот вариант тоже надо учитывать, раз можно просчитать. Что этим же приёмом удобно прятать убытки — согласен,
поэтому одно без другого показывать нельзя, что и является ответом на вопрос «как разоблачить инфоцигана». Ulcer не считал, посмотрю, спасибо.

Про лотность не соглашусь, и вот почему. Пока книга(портфель, ка некоторым больше нравится) большая, это действительно поправка, тут вы правы. Но она перестаёт быть поправкой, когда часть позиций округляется В НОЛЬ: у меня в демо при уменьшении портфеля с 5 млн до 250 тыс доля
таких ног растёт с 0.8% до 7.6%. Меняется не масштаб, а состав — торгуется другой портфель, чем посчитан, при том же сигнале. Линейно вынести это за скобки не получается, поэтому оно внутри движка, а не в множителе. Пропорциональное соотношение позиций по инструментам не собираются как нужно(как проверено) при недостаточном капитале.

Про лукфорвард и нестационарность — не спорю. Walk-forward не
даёт оценки будущего и на нестационарном ряду дать не может. Он закрывает ровно один способ себя обмануть: когда параметр выбран по тем же данным, на которых потом показан результат. Это не прогноз, это вычитание конкретной ошибки. Дальше я не пытаюсь получить точечное число, а смотрю распределение по окнам и проверяю, не досталась ли яма везением порядка сделок. Про переключатели режимов согласен полностью: у меня несколько попыток улучшения не пережили walk-forward и закрыты,
и это как раз тот класс, где подгонка ловится легче всего.

Про пять лотов Бинго!=D Попал в точку, я как раз в это и упёрся. Только у меня это не правило, а замер: как я и сказал, в демо при уменьшении книги с 5 млн до 250 тыс доля позиций, округлённых в НОЛЬ, растёт с 0.8% до 7.6%. И там же вылезла вещь, которой я не ожидал: если инструментов остаётся два, кросс-секция вырождается математически — веса после центрирования и нормировки становятся ровно ±0.5 всегда, меняется только знак. То есть это уже не портфель, а один спред. Так что согласен: ограничение на использование, а не на разработку, но при этом оно меняет саму конструкцию, а не только масштаб.

А про два отрезка — вы описали ровно то, что у меня стоит в коде(кстати, гитхаб разфлажил, Но потребовал оставить приватным, пока выясняю в чем причина. Так что отзеркалил на гитлаб :( gitlab.com/andreyvarakin29/quant-validation), только я перебираю все разбиения, а не одно. Режу историю на 16 блоков и беру ВСЕ способы взять половину как обучение, остальное как проверку: C(16,8) = 12 870 вариантов, и каждый идёт вместе со своим зеркальным — то есть ровно ваше «система 1 приемлема на отрезке 2, и наоборот», просто много раз. Смотрю не на ухудшение, а на ранг: как часто лидер обучения оказывается на проверке ниже медианы.
И тут я с вами наполовину. Число само по себе действительно так себе параметр — я поэтому и прогоняю ту же процедуру на заведомо известных наборах, чтобы понимать, что она вообще выдаёт. Но одну вещь оно ловит, а впечатление не ловит: случай, когда отбор систематически выбирает будущего аутсайдера. Это видно только на многих разбиениях, на двух отрезках такое можно списать на невезение.
С последним да, солидарен: решение «брать или не брать и с какой долей» ни одна метрика за меня не примет. Но они и нужны только чтобы отсеять то, что брать точно нельзя.

Про вырождение двух ног я вам вчера считал — цифры проверенные, ±0.5 подтверждается чисму, почему «пять лотов» у вас не просто про размер счёта.

Торгуется, на реальные деньги первый месяц( сейчас в яме, но по продленному бэктесту до этого периода ситуация аналогична и пока в рамки допустимого из проверенного влезает) и на бумаге параллельно полгода, там в плюсе.

Отбраковка из прода была, и не одна. Один рукав я вывел из портфеля по живому результату: в бэктесте он проходил, на реальном исполнении не подтвердился, и после разбора выяснилось, что проверен он был слабее остальных — по строгим критериям его вообще не следовало запускать. Другую идею закрыл до запуска, когда посчитал среднюю сделку против тарифа: валовый результат был, но комиссия съедала его целиком. 

В общем-то для того и сделал четкий протокол, т.к. обе штуки выглядели работающими. пока нормально не проверил.