Шесть правильных направлений из десяти выглядят убедительно. Но если за тот же период рынок рос в семи случаях из десяти, простое постоянное ожидание роста было точнее. Любая оценка качества сигнала нуждается в ориентире, с которым её можно сравнить.
Возьмём учебную выборку из ста дней. Цена выросла в 65, снизилась в 35. Индикатор дал правильное направление в 60. Его точность равна 60%, а точность правила «каждый день вверх» — 65%. Без базовой частоты первая цифра выглядит значительно привлекательнее.
Теперь представим другой индикатор, который выдал всего десять сигналов. Семь оказались правильными. Сравнивать его 70% со всеми ста днями недостаточно. Нужен ориентир на тех же десяти датах, а затем понимание, почему остальные девяносто исключены из решений.
Следующий слой связан с деньгами. Пусть шесть выигрышей приносят по 100 рублей, четыре убытка отнимают по 200. Итог минус 200 до расходов. Точность 60% совместима с отрицательным ожиданием. И наоборот, меньшая доля выигрышей может сопровождаться положительным результатом при другом соотношении исходов.
На странице сводки Remz Capital опубликована логика сравнения направления через один и пять торговых дней. Там же важны число наблюдений и доля растущих дней на сопоставимом периоде. Показатель совпадения направления оценивает конкретную задачу. Чтобы проверить торговлю, нужно добавить правило входа и выхода.
Для горизонта пять дней появляется зависимость соседних наблюдений. Сегодняшний и завтрашний результаты используют большую часть одного и того же движения. Сто таких строк не дают сто независимых недель. Это влияет на оценку неопределённости и устойчивости результата.
Хорошая таблица проверки содержит дату доступности сигнала, решение модели, выбранный горизонт и доходность за него. Отдельно хранятся нейтральные состояния, пропуски данных и правила их обработки. Решение, какие строки учитывать, принимается до просмотра результатов.
В следующий раз рядом с красивым процентом спросите три вещи. Какой был простой ориентир, сколько было наблюдений и какие суммы стояли за ошибками? После этого точность можно связать с реальной задачей, ради которой вы открываете индикатор.