Решил начать писать небольшие заметки по алгоритмической торговле и всему что с ней связано. Возможно, когда-нибудь расширю, склею и опубликую в виде книжки. Пока же это просто наброски заметок, сделанные на скорую руку.

Можно часто слышать от тех, кто торгует алгоритмически, да и просто систематически, такие понятия как «оверфиттинг», «курвафиттинг», «зафит» и прочие ругательства с корнем «фит». Что все это значит?
На самом деле, все эти слова, как правило, используются для описания одного и того же явления, являющегося врагом всех трейдеров, торгующих систематически и пытающихся оценить исторический перформанс своих торговых логик — а именно, что «живой» аут-оф-сампл перформанс на реальном счете, как правило, хуже ожиданий, полученных ими при проверке своих идей на истории. Например, при тестировании торговой логики на истории трейдер с помощью своей модели «зарабатывал» 30% годовых, а в реале может в среднем иметь 10% годовых. Разница 20% годовых — может объясняться именно оверфиттингом (если нет других факторов — например, некорректный учет комиссионных и проскальзываний, или ошибка в торговом коде; но прочие факторы легко устранить, в отличие от оверфиттинга). На картинке в начале статьи — пример перформанса некоторого фонда в бэктесте и в реальности, наглядно иллюстрирующий написанное выше.

Оверфиттинг является следствием комбинации одного или нескольких из следующих факторов, положительно влияющих на бэктест (результаты прогонки модели на истории), что и создает у трейдера завышенные ожидания от своей модели. В этой части мы рассмотрим основные источники оверфиттинга, в следующей — поговорим о способах избежания или минимизации оверфиттинга при историческом тестировании моделей.

( Читать дальше )

1. Пейте много воды. 
2. Завтракайте по королевски, обедайте, как принц и ужинайте, как нищий.
3. Ешьте больше продуктов, растительного происхождения и ешьте меньше пищи, которая производится на заводах. 
4. Прочитайте больше книг 
5. Посидите в тишине, по крайней мере 10 минут каждый день. 
6. Сон — 7 часов. 
7. 10-30 минут ходьбы в день. Во время ходьбы, улыбаться.

О личности:

1. Не сравнивайте свою жизнь с жизнью других. Вы понятия не имеете, что они пережили и не знаете весь их путь. 
2. Не держите негативные мысли или вещи, которые вы не можете 
контролировать.Вместо этого вкладывайте свою энергию в положительное 
настоящего. 
3. Не более чем просто делайте. Знайте свои пределы. 
4. Не судите себя слишком строго. 
5. Не тратьте свою драгоценную энергию на сплетни. 
6. Больше мечтайте во время бодрствования. 
7. Зависть является пустой тратой времени. У вас уже есть все, что вам нужно. 
8. Забудьте проблемы прошлого. Не напоминайте вашему любимому человеку 
его/ее ошибки прошлого. Это испортит ваше настоящее счастье. 
9. Жизнь слишком коротка, чтобы тратить время на ненависть. Не ненавидьте других. 
10. Никто не отвечает за ваше счастье, кроме вас. 
11. Поймите, что жизнь — школа, и вы здесь, чтобы познать её. Проблемы - 
просто часть учебной программы, которые появляются и исчезают, как 
алгебра какого-то класса, но уроки, которые вы узнаете, запомнятся на 
всю жизнь. 
12. Больше улыбок и смеха. 
13. Вы не должны выигрывать каждый спор.

( Читать дальше )

Перевод статьи из блога Эрни Чана.

Все знают, что значение волатильности зависит от частоты измерений: стандартное отклонение 5-минутных приращений цены отличается от стандартного отклонения дневных приращений. Если z — логарифм цены, то волатильность, взятая на интервале

( Читать дальше )

На этот год думаю для консервативных рублевых клиентов будет хорошей стратегией купить след портфель:
1)29011 инфляционную 35%
2)26218 длину 35%
3)бумаги типа сберпреф, башнефтьпреф, мегафон, Северсталь, Яндекс и тд на 30%
Ниже 55 без плечей подкупать бакс. 

Стратегия для свежих денег с пассивным управлением, до конца года. 
Ожидаемая вилка по дохе в рублях 5-30%

P.S. Уважаемый Clansman подправил меня, что 29011 неинфляционная. Согласен, флоатер. Но главное суть. 

Здрасьте! Давно не писал. Сейчас есть отличный повод. Маленький юбилей. Хочется оставить для себя и для вас, события того дня в памяти.

Нет, нет, не пугайтесь, это совсем не про то, а как раз таки про это. Конечно я не жег покрышки на майдане, не носил загадочное зеленое, мирно скрестив руки на автомате. 

В тот день, ровно в 11-30 (9-30 мск.) я встал к своему компьютеру, положил рядом со стаканом воды таблетку милдроната, и уверенно начал настраивать SmartX. В такие дни можно торговать только стоя! До открытия биржи оставалось тридцать минут. Я знал, что и как буду делать, примерно представлял, что случится в первые секунды. На экране мой проданный стредл на солидную сумму, как ни в чем не бывало показывал накапавшую за выходные тетту. Так началось для меня 3 марта 2014 года.  Про лекарство, я, к слову, потом так и не вспомнил, как впрочем и про воду.

Вернемся немножко назад.

За три дня до этого, в пятницу вечером, очередные новости о непонятных крымских передвижениях неопознанных военных, неизвестного количества, пола, возраста, вероисповедания, навивали разные нехорошие мысли. В общем-то всем было уже ясно, в кого именно материализуются все эти вежливые зеленые абстракции, которых не то не было вовсе,  не то было больше, не то меньше на сколько-то тысяч чем нужно. Вопрос был в том,  до какой радикальной степени плохо все это в итоге закончится.

( Читать дальше )

by Team_Spring.Finacier

USDRUB Futs Spread. Part I.

Первый алгоритм вынашивался долго. Размышления на тему начались еще до того, как была собрана команда, которая может его реализовать.

Простой принцип: решили торговать спред между ближним фьючерсом на доллар и следующим фьючерсом на доллар.

Я бы сказал торговать DV01, или 3-х месячный FRA, или как кому еще угодно. Но эти термины я знаю только в связи со спецификой своей основной профессиональной деятельности. Обыватель и трейдер, торгующий на PA, назовет это просто «спред» и будет прав.

Графики mid’ов ближайшего и следующего фьючерсов на руб./долл., а также спреда между этими фьючерсами за 15.04.2016. Графики построены по принтам стаканов, сделанным ~5 раз в секунду.

( Читать дальше )

Начинаю разработку бесплатного майнера паттернов — второй версии. Пока собираюсь с мыслями и готовлю возможную архитектуру. К лету начну работы.

За последние пару лет его скачали больше 10 к. человек. Уважаемые пользователи, пишите, что бы Вы хотели ещё в нём увидеть. В пост, мне на почту, на домашний форум программы. Буду расширять список изменений.

Для всех остальных, небольшой обзор программы. С чего всё начиналось и что есть сегодня.




Stock Pattern Viewer — Уникальная программа для автоматического анализа котировок на предмет формализуемых паттернов и сбора статистики по ним. Data Mining с человеческим лицом.
Программа полезна в качестве станции поиска формаций для системного трейдинга.

( Читать дальше )

Основы матричных вычислений, Уоткинс
Теория вероятностей, Вентцель
Теория случайных процессов, Панков и Миллер
Вероятность, Ширяев
Избранные труды, Колмогоров
Методы и техника обработки сигналов, Макс
Теория секвентного анализа, Хармут
Стохастические дифф. уравнения, Оксендаль
Цифровой спектральный анализ, Марпл
Справочник по броуновскому движению

Многие трейдеры при торговле раночно-нейтральными стратегиями задаются вопросом, а как совершать сделки покупки продажи спреда, на основании чего принимать решение о входе и выходе в позицию.

Сегодня мы рассмотрим вариант входа в сделку основываясь на регрессии акций.



Если откинуть все умные фразы и дать определение регрессии на простом языке, то получается следующее:

Регрессия — это зависимость переменной 1 (в нашем случае акции Газпрома) от независимой переменной 2 (акции ЛУКОЙЛа). Данное выражение будет иметь статическую значимость.

Формула регрессии:  

Yt=A+BX(t)+E(t)

Давайте с вами рассчитаем регрессию для акций Газпрома и Лукойла.

Алгоритм построения:
1. Скачиваем исторические дневные данные с финама.  www.finam.ru/profile/moex-akcii/gazprom/export/

2. Вставляем все скаченные данные в эксель



( Читать дальше )

Вступление

     Никогда не увлекался скоростным трейдингом. Всегда хватало терминала. Изучать этот протокол меня побудил набор вакансий. Надо отметить, что я неспешно перебираю хорошие вакансии на рынке. Частному трейдеру очень сложно развиваться в одиночку — психологически, эмоционально, физически. Создавать и развиваться постоянно хочется, поэтому принял решение вливаться в коллектив. За несколько месяцев, мне удалось провести несколько собеседований. На втором этапе я проваливался именно из за не знаний протокола.  Предметную область я примерно представлял. Ну что там сложного? Соединился с биржей по сокетам и начинай обмен сообщениями. Надо отметить, что в этой области есть уже готовые разработки в виде quickfix или готового API от StockSharp (правда платные). Но я принял решение разбираться с нуля, чтобы вникнуть в детали.

Технические аспекты протокола

     Итак. Любой протокол, какой бы он сложный не был, работает примерно одинаково. Мы создаем у себя соединение с сервером, устанавливаем некий туннель между нами и сервером, посредством которого будем обмениваться сообщениями. Протокол — это как раз и есть набор правил, по которым строятся сообщения нужного формата. Если говорить технически, то мы должны создать сокет соединение с сервером на указанный порт.
Сообщение в FIX, как и в любом другом протоколе, состоит из нескольких блоков:

• <Заголовок сообщения>
• <Сообщение>
• <Концовка сообщения>

     Наша задача, правильно заполнить эти блоки и отправить на сервер. Заголовок сообщения в свою очередь состоит из следующих данных:

• <Начало сообщения, версия протокола>
• <Длина (размер) сообщения>
• <Тип сообщения>
• <Идентификатор отправителя>
• <Идентификатор получателя>
• <Номер сообщения>
• <Время отправки>

     Обращу ваше внимание, что я перечисляю обязательные поля. Есть еще и дополнительные. Концовка сообщения должна выглядеть так:

• <Контрольная сумма сообщения>

     Сами данные заполняются достаточно легко. В виде: <тип поля> = <значение>. Например, <длина сообщения> = 78, то есть мы серверу говорим, что размер передаваемого нами сообщения составляет 78 байт. Стоит обратить внимание, что в протоколе FIX, типы полей кодируются в виде числовых значений. Например,  <длина сообщения> в протоколе передается как цифра 9. Исходя из выше сказанного, наш заголовок сообщения, выглядел бы следующим образом:

• 8=FIX.4.4 _____ начало сообщения, протокол версии 4.4
• 9=78 _____ размер сообщения 78 байт
• 35=A _____ тип сообщения А, что означает попытка на соединение с сервером
• 49=<ваш идентификатор выдается биржей>
• 56=FG _____ идентификатор получателя, раздел Forts на бирже
• 34=1 _____ первое сообщение
• 52=20160212-11:42:51.812 _____ время отправки сообщения

Организационные вопросы

1. Наша биржа дает тестовый контур для отработки своих алгоритмов по данному протоколу. Надо всего лишь написать запрос на доступ. Надо признать, тех служба работает отменно. Очень все быстро было организовано. Подробности http://moex.com/s442
2. Обязательно понадобится описание протокола для нашей биржи ftp://ftp.moex.com/pub/FIX/Spectra/test/docs/spectra_fixgate_ru.pdf
3. Чтобы вникнуть в тонкости передачи, мне очень помогла эта программа от биржи (позже я покажу как помогла) ftp://ftp.moex.com/pub/FIX/Spectra/Utils/fix_client.zip
4. Описание самого протокола от создателей (на английском). Мне помог сильно wiki. http://fixwiki.org/fixwiki/FIXwiki
5. Чтобы найти свои ошибки, мне приходилось перехватывать сообщения рабочего клиента биржи и сверять со своими. Для этого мне понадобился tcp/ip сниффер — программа перехвата сетевого трафика.
6. Разработку я веду на c#.

К бою. Немного теоретической практики

     На момент изучения протокола, я уверен, многие столкнуться со следующими вопросами:

• как именно считать длину сообщения
• как разделять между собой данные
• как считать контрольную сумму

     Если говорить образно. То, чтобы отправить сообщение на сервер, нам просто нужно сформировать нужную строку со всеми данными и отправить ее на биржу. Ну например:

8=FIX.4.4;9=78;35=A;49=FG;56=tgFhcfx901U05;34=1;52=20160212-11:42:51.812;98=0;108=3000;141=Y;10=047;

     Если быть внимательным, то мы увидим, что кол-во символов в строке у нас 100, а в заголовке сообщения мы передаем, что 78 (9 = 78). По правилам протокола FIX, длину сообщения нужно считать без учета концовки и первых двух полей заголовка. А именно:

     С длиной сообщения разобрались. Теперь про разделитель. Пока в моем скрине это ";". В документациях западных написано что это символ SOH. Чтобы однозначно ответить на этот вопрос, я запустил прилагаемого клиента биржи и сниффером стал перехватывать сообщения между клиентом и биржей. Кстати, программа ведет логи, и их общение выглядит так (зеленое — передача запроса на биржу, красное — ответ от биржи):

     Зачеркнул свой идентификатор, прошу понять правильно. Ну а перехват сообщения выглядит так:
     Зеленым я отметил именно разделители. Как вы уже видите, это просто в шестнадцатеричном виде код 01. То есть, в нашу строку в виде разделителей, нужно вставлять код 01. Также я отметил для себя последовательность полей в сообщении. Почему то в другом порядке у меня вызывало ошибки (возможно тут я не прав)
     Ну и контрольная сумма. Контрольная сумма считается над всем сообщением, за исключением концовки. То есть в расчет берется только заголовок и само сообщение. Для этого, мы переводим каждый символ в его Ascii код и вычисляем их сумму. Полученную сумму делим по модулю 256. Это и будет контрольной суммой сообщения. При этом, значение должно быть трехзначным. Если мы получаем 2 знака, то подставляем 0 слева (например, если контрольная сумма = 68, то должны передать значении 068).

К бою. Начало программирования

     В законченном виде, разработка будет составлять готовый класс, для работы с протоколом. Теперь начинаю строить его по кирпичикам. Для начала, я создал несколько классов:

• класс для работы с заголовками
• класс для работы с сообщением подключения к серверу (onLogon)
• класс для работы с концовкой

    Каждый класс включает в себя поля, которые передаются и некоторые методы для их обработки.
    Класс для работы с заголовками. Пока просто выглядит так: 


     Как видим, первый метод строит нужную строку из полей. Обратите внимание, там присутствует наш разделитель в виде спец символа \u0001. Второй метод вычисляет размер заголовка (чтобы потом высчитывать размер сообщения). Надо обратить внимание, что при передачи времени, миллисекунды должны указываться в трехзначном формате (даже если миллисекунды = 52, то передаем 052). Следующие классы строятся по аналогии.
Класс создания сообщения на подключение (инициализация сессии)

Класс создания концовки сообщения


Попробую привести код консольной программы для теста в виде цитаты. Картинки вставляются плохого качества. Подробно комментирую.

//Получаем ip сервера
IPAddress ipAddr = IPAddress.Parse(server);
IPEndPoint ipEndPoint = new IPEndPoint(ipAddr, port);
//Создаем заголовк
HeaderMessage msHeader = new HeaderMessage
{
BeginString = «FIX.4.4»,
MsgType = «A», //Тип сообщения на установку сессии
SenderCompID = "",
TargetCompID = «FG»,
MsgSeqNum = 1
};
//Создаем сообщение на подключение onLogon
LogonMessage msLogon = new LogonMessage
{
EncryptMethod = 0,
HeartBtInt = 3000,
ResetSeqNumFlag = true
};

//Вычисляем длину сообщения
msHeader.BodyLength = msHeader.GetHeaderSize() + msLogon.GetMessageSize();
//Создаем концовку сообщения
TrailerMessage msTrailer = new TrailerMessage(msHeader.ToString() + msLogon.ToString());

//Формируем полное готовое сообщение
string fullMessage = msHeader.ToString() + msLogon.ToString() + msTrailer.ToString();
Console.WriteLine(«Сообщение для отправки {0}»,fullMessage);

//Создаем сокет для подключения
sSender = new Socket(ipAddr.AddressFamily, SocketType.Stream, ProtocolType.Tcp);
//Подключаемся
sSender.Connect(ipEndPoint);
Console.WriteLine(«Сокет соединился с {0} », sSender.RemoteEndPoint.ToString());

byte[] msg = Encoding.UTF8.GetBytes(fullMessage);
//Отправляем сообщение
int bytesSent = sSender.Send(msg);
Console.WriteLine(«Отправил {0} байт», bytesSent.ToString());

//Получаем ответ от сервера
byte[] bytes = new byte[1024];
int bytesRec = 0;
bytesRec = sSender.Receive(bytes);
Console.WriteLine(«Ответ от сервера: {0}», Encoding.UTF8.GetString(bytes, 0, bytesRec));

Все таки приложу и в виде картинок. Так наглядней. Кликабельно.


В результате мы запросили у сервера подключение с нашим логином. И получили от него ответ.

По мере развития, буду продолжать с теоретической частью. Если модераторы перенесут в раздел «Алго», я не против.

Продолжение Изучаю FIX протокол с нуля. Рисуем и программируем дальше.