Алго-дзэн. Начало.

Букв будет много. Чудовищно много.

На рынке я впервые оказался в 2008, посчитав наивно, где-то к сентябрю, что всё плохое уже закончилось и пора покупать. Как человек далёкий от всего, купил ПИФ Акций, примерно в конце сентября. Помню девушка — менеджер банка уговаривала меня поделить сумму надвое и половину вложить в депозит. Не стал. К тому же у меня был ещё и долларовый кредит на машину, взятый в августе. В общем, до зимы с интересом и печалью наблюдал как кредит дорожает, а ПИФ складывается. В итоге кредит погасил досрочно в феврале, потом оказалось что это был пик $. ПИФ весной стал постепенно отрастать и летом я его быстренько продал, получив порядка +5% годовых, чему был очень рад, т.к. в моменте потери составляли почти 50%

Кстати эта цифра в 50% просадки потом повторялась не один раз.
В 2009 я открыл счёт, стал торговать сам, было 30 тыс на счету. По-моему в плюс я так и не вышел. Сначала торговал акции в лонг. Потом попробовал шорт. А добило счёт то что я переключился с акций на фьючерсы и пытался шортить сбер, который вырос в том году с 13 рублей до > 50
Где-то от 46 до 49 я пытался его шортить, потеряв процентов 30-40 от депозита. И в дальнейшем просто экспериментировал с разными бумагами и теориями. Делал это всё сам по себе без всякого обучения.

В 2010 судьба закинула в Киев в долгую командировку. Заниматься было особо нечем, ходили по местным барам, пили пиво, общались с местными красотками. Я разведал замечательный нудисткий пляж на острове прямо посреди города. На этом острове ещё и пиво продавали, так что это было райское место.
Но я увлёкся случайно оказавшейся у меня книгой «Путь черепах» и это было прям такое откровение. Дело в том что я увлекаюсь программированием теперь уже наверное лет 35. Периодически правда бросая это дело и снова им увлекаюсь. Оно по настоящему моё. Ну и к деньгам у меня тоже с детства «любовь», с относительно сурового перестроечного детства. Помню как любил играть в монополию и как легко там было выиграть, достаточно просто скупить всё самое доходное. По любым ценам. С максимальным риском, ага.

В процессе чтения Путь черепах, я написал своего первого робота на акции сбербанк, на QPILE. Каналы дончиана, вот это всё. Заняло это примерно полгода с разными тестами и перерывами, я сменил брокера, открыл новый счёт в 2011 году, вернулся из Киева, съездил ещё в несколько командировок, развёлся, в общем, время было занято.

В итоге где-то летом или осенью 2011 я наконец запустил робота на реальном счёте. И получил реальные +34 рубля с первой сделки. До сих пор помню то приятное чувство удивления, что это возможно, что просто автоматическая программа сама заработала мне денег. Видимо до конца я в это тогда ещё не верил.

Потом было много новых целей в личном плане, куча работы. Личная жизнь сильно перекосилась в то время и было не до робота. Он кажется где-то там сбойнул и перестал входить-выходить из сделок. Я его выключил. Почему-то плохо запомнил детали.

Вернулся я к роботам только в 2013м году. Личная жизнь уже снова наладилась. Сделал скачок в карьере и тп. Пришла пора закрыть другие гештальты. Робота. Решил что QPILE мне не нужен больше. Я буду писать на Java. Решил что это будет серьёзное дело. Т.е. all-in. Как минимум all-in время и силы. Где-то с июля по август я написал обвязку-скелет, продумав расширяемую «архитектуру». Затем стал пробовать разные идеи для входа. Тестировать их и выбирать прибыльные. Сначала тестировал на 1 месяце, часовых свечках. Потом на 3х месяцах. Потом с начала года. Потом так же тестировал идеи для выходов. Сумму для входа всегда брал 100% капитала. Так было проще. Торговал Si. Так было выбрано сразу.

Где-то в сентябре я сделал вариант робота, который скачивал котировку с одного известного сайта раз в час. И делал «псевдо» сделку. Т.е. работал в режиме советника. 
Опробовано было несколько вариантов. Все сливались через некоторое время. Примерно к зиме 2013-2014, я наконец подобрал рабочий вариант, который обещал не сливаться.
За зимние каникулы, я усилием воли прикрутил к нему с помощью JNA библиотеку trans2quik.dll чтобы он сам совершал сделки. Попутно удалось решить одну проблему, которую никто на форуме QUIK решить до меня не смог — в библиотеке была ошибка, которая приводила к крэшу при обработке ответа от квика. Я списался с разработчиком проекта, и предоставил ему простой тест для воспроизводства проблемы. Он сделал для меня работающий вариант исправив ошибку. Купил отдельный сервер для робота и оптимизаций.
К тому времени роботы у меня тестировались примерно с 2012 года, но если гонять с 2007, то давали адскую просадку, точнее просто разорялись в ноль. Это я решил используя разные фильтры для входа. Сначала по объёмам, а потом догадался сделать простейшую нейросеть — двухслойный перцептрон.
Просадку удалось сократить и роботы стали проходить с 2007 года хоть и с просадкой, но без разорения.

Итого робот был запущен где-то в 20х числах января. А до этого я сам делал его сделки, которые он давал в режиме советника.
Начальный бюджет я помню, было 183 тыс. Ну, сами помните 2014ый год. Я отлично прошел 3 марта (Крым), никаких проблем. А был человек среди моих знакомых, которые тоже торговали роботом и его счёт просто уничтожило в тот день. К лету у меня на счету было ~600тыс. Всё сделано роботом. На день рождения я подарил себе крутой ноутбук. Хотя денег не выводил.
Затем относительно вялое лето было. Я немного колдовал над роботом, выпускал новые версии. К августу было 1.1м, но робот стал подсливать до 0.95м и вообще колебания по счёту стали большие. Я решил сделать последний рывок вручную и минут за 30, как сейчас помню, сделал +330 тыс. Это было и есть больше моей месячной зп до сих пор.

Я решил вывести денег у робота. И вывел 1м + 13%, оставив совсем крохи. Это была гениальная идея, мне кажется. Единственный раз за долгие годы на бирже и до и после этого, я вывел деньги в плюс.
Где-то до октября шло ни шатко ни валко. Затем я стал добавлять роботу денег. Помнится сначала я решил привлечь «инвесторов» и мы составили счёт примерно 50+50+100, где 100 было моих. И тут случилось 30 октября, прямо на следующий день после поступления средств. Робот потерял очень много денег, буквально за час, т.к. он торговал только по закрытию часовой свечи. И от 200 осталось только 50. Та-да-да-дам.
Вот это был первый удар. Но робот выдержал его и через месяц на счету было снова 200, он сам всё отыграл. Уау. Такое было время тогда. Я с завистью смотрел на Bull'а который зарабатывал миллион за миллионом на ЛЧИ. Он выступал куда лучше моего робота с эрзац-нейросетью.

Дальше у робота шло хорошо. Я доливал ему своих денег. Счёт разросся до 2млн. Потом до 3.3 млн, из которых половину наверное заработал робот. Я в тот момент строил самые радужные планы. Вот уйду с работы и тп.
Хорошо помню день в декабре, где-то в конце, под 28-30 число, когда я увидел в графе «Вариационная маржа» 1 млн рублей. Показал жене. Но ту сделку робот по-моему закрыл в минус. Миллион был утерян.
И вообще с января начался адский слив. У меня не выдержали нервы и стал подторговывать вручную. Отлично помню другой день. Когда я вручную закрыл позицию с убытком в 800 тыс рублей. Много-много зарплат. Фиаско.
Счёт обмелел к марту с 3.3 до 1.3 млн примерно. Я вывел практически все деньги, вернув инвесторам их вложения, оставив убыток себе. У робота осталось 75 тыс. Деньги ушли на ипотеку, т.к. моя семья к тому моменту удвоилась и хотелось что-то изменить к лучшему.

Тренд по Si кончился. Я долго мучался, пытаясь понять в чём дело, что не так. Делал новые таймфреймы, перешел с часа, на 15 минут. Затем на 1 минуту. Данных стало в 60 раз больше. Оптимизировал робота. Выкинул JNA, написал свои библиотеки на C++, выкинул библиотеку jblas, для нейросети (где я тоже помог автору сделать несколько исправлений), скомпилировал blas и lapack сам из исходников, написал библиотеки для них тоже.
опубликовал код для получения свечей и любых других данных из QUIK в Java (и потенциально в любом другом языке) на github, сделал роботов для RTS, Gold, SBRF, ED, на разные таймфреймы, с нейросетью и без. Пробовал визуализировать нейросеть, чтобы понять, как она работает — смешно, но бестолку, не понял.
Занялся риск-менеджментом, осознал что больше 7-8% терять по сделке это самоубийство. Тоже самое к потерям по дням и неделям. 
Но как-то это всё мало помогало. Итоги по годам, такие, где-то я добавлял роботу денег, где-то выводил. Реальные торги.

31.12.2015 -34,56%(-61,1K₽)
30.12.2016 219,13%(46,1K₽)
29.12.2017 -40,67%(-125,1K₽)
19.06.2018 1,41%(2,6K₽)

Но счёт оставался маленьким. Потому что были другие расходы большие и пополнять счёт было не с чего.
Роботы постоянно перетасовывались. Как правило я терпел пока робот не подходил к просадке 60%
И выключал его. А торговля велась с полным рефинансированием всегда. Потом некоторые восстанавливась. Чаще нет. Ещё недавно за этот год было +50%. Вчера вечером -5%. Сейчас просадка от хая ~50% та самая.

Я придумал как уменьшить просадку, до любой нужной. Но это плохо получалось формализовать, т.к. нейросеть в теории отрабатывала куда лучше, чем на практике. И я думал что если она сломалась, то сломалась насовсем.

Не знаю, толи время пришло-прошло и накопилось знаний. Толи я просто высидел и переждал время между трендами и в сишке снова времена девальвации и трендов. Но совсем недавно я обнаружил копаясь в пыльном коде, что мой робот, времён 2014 года прекрасно работает. Часовик. С полным рефинансом и нейросетью.
и его результаты на тех же данных, в режиме моделирования, были бы такими

2015: 382.49%
2016: 209.01%
2017: 26.65%
2018: 206.86%

В 2017м году он показал просадку примерно в 50%, и в принципе эта просадка повторялась и раньше, поэтому он был выключен ещё в 2014. 
Ещё раз. Это робот, который не менялся с 2014 года, на реальных котировках и реальных данных по ГО. полностью out of sample.
Но сравнивая его просадку и торговлю моих роботов, совершенно новых, других, но на том же инструменте, я обнаружил, что она совпадает по размеру и времени. Это просадка в 50% где-то с августа по декабрь 2017г.

Робот рабочий. Велик соблазн поставить его в торговлю. Я даже перевоплотил его на изменённом за эти годы коде. С тем же результатом 1 в 1. Но текущие дают даже больше. Хотя они совсем свежие и по сути всё их «больше» это «моделирование» то есть in sample, а не out of sample.
Однако, если согласиться на просадку в 50%, которая, если судить по постам КГБvsАГ, накрывает абсолютно всех, кто любит большую прибыль, вообще всех, то можно надеяться что и текущие роботы будут зарабатывать.

Т.е. дзен в том, чтобы позволить наконец роботам работать и не трогать их. И терпеть долгие месяцы просадок. Может быть получится.
Конечно не все роботы не ломаются. Огромное множество моих роботов ломалось ещё на стадии проектирования. Многие сломались с 2015 года по сей день и так и не вернулись и не ожили. Но практически есть те, что живы. И к ним всегда можно вернуться. Но надо помнить что просадка бывает долгой и большой. И тестировать тестировать и тестировать. Может где-то среди песка что-то и сверкнёт.

Возможно я опять «путаю тренд с гениальностью». У меня до сих пор нет рабочих контр-трендовиков и mean-reversal, чтобы просадка была низкой, а прибыль большой. Трендовики подкупают потенциальной прибыльностью.
Но за все годы я так и не слил пока второй счёт. Хотя признаться, он доходил до очень критических величин даже год назад, в апреле было слито кучу %. Но потом счёт удвоился за май и вышел в плюс.
Т.е. как говорят многие «философы», за самой тёмной минутой ночи всегда следует рассвет. 

Удачи!