Важные нюансы при тестах нестандартных таймфреймов в OsEngine. Свечи #25

Новый слой создания свечек в OsEngine дописан. На данный момент у нас уже есть 14 нестандартных серий. Как их тестировать на истории? Правильно, скачать тиковые данные за много лет и начать эксперименты. И сегодня поговорим о том, как именно их надо качать и сколько на это надо ресурсов. Также поговорим про настройки тестера, чтобы всё работало.

В рамках данной серии будут статьи с тем, как мы будем с Вами делать большие тесты на MOEX по тиковым данным. И данная статья Вам подскажет, как именно их подгрузить и как настраивать тестер.

Задача такая:

Скачать трейды с MOEX TOP с 2020 года. Вышло что-то около 50 бумаг. Размер в файловой системе, около 60 гигабайт.
Сделать так, чтобы всё это не упало от нехватки памяти. Это речь про OsData, куда было внесено несколько правок.
Включить робот скринер в тестере, который будет одновременно все эти бумаги за 4 с лишним года тестировать в параллельных тестах на одном портфеле, т.е. и тут надо сделать так, чтобы ничего не упало от нехватки памяти. Была добавлена настройка для этого в эмулятор биржи, которая удаляет лишние трейды из памяти. Ниже об этом поговорим.

1. Что должно быть в итоге в OsData?

Вот так выглядит сет данных, который я скачал.

49 бумаг. Только трейды. Источник – Finam.

Если не знаете, как пользоваться OsData, Вам сюда. https://smart-lab.ru/company/os_engine/blog/1025259.php

2. Какой ПК используется для тестов?

Греха таить не буду, у нас в офисе стоят очень серьёзные машины. И что касается процессора и оперативки, скачать, вероятно, данные ещё получится на слабой машине, а вот потом вести тесты на широком рынке будет очень тяжело. Вот моя машина для кросс-тестов на тиковых данных:

3. Не забывайте удалять неликвид.

Когда сет с данными докачается, будет нужно удалить лишнее. На что обратить внимание:

Колонка Start – фактический старт данных. Она по-хорошему не должна отличаться от бумаг рядом. Если отличается, то листинг бумаги произошёл позже. Мне такое не надо, я удалил.
Колонка End – фактический конец данных. Она по-хорошему тоже не должна отличаться от бумаг рядом. Если отличается, значит бумага прошла через делистинг в какой-то момент.
Колонка Load % — показывает процент загрузки данных и нет ли внутри пустот. Здесь просто 0 и надо удалить. А бывают ещё отклонения. Тоже удаляем.
Колонка Objects – показывает кол-во трейдов в пакете данных. Удаляем на глазок, где их кратно меньше, чем в Сбербанке. Чем меньше, тем хуже и меньше ликвидности.

4. Тестер. Как настроить сервер, чтобы всё не упало?

В эмуляторе биржи надо обратить внимание на ТРИ вещи:

Данные будут подгружаться сюда какое-то время. Если у Вас, как и у меня, скачено много бумаг, это может занять несколько минут.
Ставим галочку «Remove trades from memory». Это позволит тестеру на ходу очищать данные за собой, и данные не забьют насмерть оперативную память.
TickAllCandleState – этот режим трансляции надо ставить во время тестирования нестандартных свечных серий, иначе будут проблемы.

А на этом пока всё! В следующей части посмотрим на реальные тесты нестандартных свечных серий и будем говорить про роботов из публичной сборки, которые на этих данных тестировались.

Удачных алгоритмов!

Комментарии открыты для друзей!

Пост из серии «Свечи и преобразование ленты сделок».