В прошлом тексте я пробовал «помочь», нейросете уменьшив число рандомных фичей. Сейчас попробую помочь увеличив число примеров. Может наша сверточная сеть покажет что то вменяемое если увеличить число примеров до миллиона? Это задача на моем компьютере требует совершенно других затрат времени, так что я вчера запустил машинку обучаться, а сам пошел спать. Обучался на 50 эпохах, увеличивая данные от 10 тысяч до 50 тысяч (увеличивая обьем на 10 тысяч), и от 100 тысяч до 900 тысяч (с шагом +100 тысяч).
  Результаты порадовали. Я не буду в 5 раз пересказывать логику «исследования», но убрав week=5 мы должны (ну как должны!? вообще то нам никто ничего не должен) получить равновероятный прогноз события 1 и события 0. Ниже на графике эту норму в 50% изображает серая линия. Красная это прогноз события=1, синяя событие=0, ось Х число примеров на обучающей выборке в тысячах. 

  
  И пусть девочка кинет в меня камне если тут нет сходимости. 

( Читать дальше )

Так уж вышло, что пару дней назад я познакомился с терминалом QUICK и языком его скриптов — LUA

   Естественно, сразу возникла необходимость передать полный контроль над этим двумя сложнейшими приложениями чему-то более простому и понятному, например Матлабу, чтобы нажимая разноцветные кнопочки «Обыграть рынок» и «Что там опять у волатильности?» оставить конечному пользователю, то есть мне, только наслаждение от наблюдения за происходящим.


     Теоретически, для этого надо нанять менеджера COM из LUACOM.dll и дать ему в управление пару простых исполнителей — объектов LUA, чтобы высшее руководство МатЛаба могло эффективно распоряжаться ресурсами в иерархии 

 Руководство МатЛаб -> менеджер интерфейса  COM -> исполнитель  объект LUA 


       Но в силу каких-то неведомых причин (от сборки dll, до сборки MS Windows и даже предустановленного железа) сделать по теории управления с ходу не получилось, поэтому была использована альтернативная схема:

( Читать дальше )

Строим стратегию и продаем дорогущие центральные колы..



Через пару дней опцион сгорает и получаем шикарный бесплатный стрип (стреддел с шортовым уклоном) на квартальниках..



( Читать дальше )

Прогресс цивилизации заключается в увеличении количества важных действий, которые мы выполняем не думая. © Альфред Норт Уайтхед

/*
Автор Pedro Domingos — профессор Вашингтонского университета. Он является исследователем в области машинного обучения и известен марковской логической сетью, обеспечивающей неопределенный вывод.

Данная книга является КВИНТЭССЕНЦИЕЙ знаний. С ней вы пройдёте по истории мысли за последнюю сотню лет! Книга даёт ответы на важные для всех нас вопросы: Как мы учимся? Можно ли учиться эффективнее? Что мы способны предсказать? Можно ли доверять полученному знанию?
Лично я прочитал книгу дважды (первый раз в жизни) с перерывом около месяца. При первом прочтении первые 100 страниц я «проглотил махом», потом прочитав ещё страниц 60 (это уже была половина всей книги) я осознал, что перестал понимать суть прочитанного. И тут передо мной встал выбор: вернуться к тому моменту откуда я перестал понимать (60 стр. назад) или читать дальше. Я последовал совету автора, который рекомендовал пропускать те моменты, которые будут непонятны, так сказать для осознания 

( Читать дальше )

На СмарЛабе появился отличный автор — Eugene Logunov  и его друг KarL$oH. Если бы тут был бы еще и Блек Шоулз, то мы, конечно, его забанили. Потому что он не работает. Ну у кого то работает у кого то нет. Самое обидное, что вроде пишешь, хочешь объяснить, но чукчи ведь тоже писатели. Тем не менее, давайте разберемся.

Для простоты картины возьмем простой пример, который можно посчитать в уме или в уме эксела. Есть БА ценой 1000 который движется в течении 30 дней. Один день растет на 0,015 лог приращения, другой день падает на -0,01. Такое простое поступательное движение. Не трудно догадаться, что через 30 дней он будет в плюсе на 0,075 и если взять экспоненту -1, то в процентах это будет 0,0778% от начальной 1000. Теперь нам надо посчитать стоимость опциона, что бы продать его кому ни будь или что бы нас просто не поимели.

Измеряем волатильность как описано в измерители волатильности. Сразу скажу, что это будет 0,0129 и нормируем на время 362^0.5, итого годовая 0,246. 30 дней до экспари 30/362=0,0828 и если корень извлечь 0,287. Подставляем это все в БШ. Надеюсь, что у продвинутой публики будет какой ни будь калькулятор опционов, что бы все это подставить и получить 28,33. Я по простому и приблизительно: 0,4*0,246*1000*0,287=28,40 и это премия опциона на ЦС. И так как мы знаем конечную цену через 30 дней, то легко сосчитаем, что у нас получится. Нам отгрузят БА по 1000 при цене 1077,8, то есть 77,8 в плюс и спишут цену (премию) опциона 28.4 = 49,4.

( Читать дальше )

Продолжу изучение нейросетей. Для тех кто случайно наткнулся на этот пост, но не хочет ковырять предшествующие поясняю.
  Был сгенерирована табличка в 50 тысяч строк и 103 столбцов. Один столбец это даты, еще один — таргет, который мы пытаемся предсказать (событие 1 и событие 0). 101 столбец изображают фичи, из которых 100 случайные величины от 1 до 10, а одна осмысленная (Week) принимает значение от 1 до 5. Для week от 1 до 4 равновероятно событие 1 и 2, для Week = 5 вероятность события 1 = 60%, 2 = 40%.
 «Шо за фигня аффтор?!». Фигня не фигня, а я моделирую свое виденье рынка и своего подхода к поиску рабочих стратегий. Виденье рынка предполагает что рынок рандомно блуждает значительную часть времени (в моему случаи 80% времени), а оставшееся его можно описать несколькими хорошими фичами. Ну как описать? Не на 100%, ну а где то процентов на 60. Сравните с детерминированным подходом ученых столетней давности — «если нам дать все фичи и много много вычислительных мощностей мы вам все посчитаем, с точностью в 100% и для любого мгновения времени!». Понятно что после этого появилось много других идей, нелинейная динамика к примеру, которая именно предполагает принципиальную невозможность прогнозирования, а не потому что нам чего то в данных недодали. Ну и наконец постановка задачи: у нас есть 101 фича, и нам с помощью инструментов ML надо получить такой прогноз события 1, который бы бился с заложенной нами неэффектиностью. И тут не помогут завывания нейросетей-что мы «фичи кривые заложили, на которых совершенно невозможно работать!», что «просто рынок изменился!, не имезнился мы бы огого!». Нам совершенно плевать на accuracy на трейне и даже на тесте. Мы как тот глупый учитель, который может не очень то и соображает зато у которого на клочке  бумажки записан правильный ответ, а напротив него ученик, в очечках, но у которого почему то при всех сплетнях что он в уме может перемножить трехзначные цифры, при сложения 1+1, получается то 5, то 6 то -32. Не, конечно вариант что мальчик в очечках не так уж и не прав возможен, может он считал в невклидовых метриках к примеру, или перемножать он умеет а вот что такое складывание ему просто не сказали.

( Читать дальше )

На смарлабе появился отличный автор - Eugene Logunov .

Если новичок, который только-только пришел на биржу и пробует на вкус различные инструменты, откроет почитать, например, вот этот его топик про опционы, то через несколько минут прочтения плюнет, закроет и больше к теме опционов не вернется НИКОГДА!

А такого не должно быть. Не нужно ничего усложнять. Чтобы прибыльно торговать опционами совершенно нет никакой необходимости строить поверхностные улыбки волатильности.

Опционами торговали еще в древности, инструмент очень полезный и незаменимый в хозяйстве (особенно покрытые продажи опционов).
В XII в. в Амстердаме использовали опционы на селедку, а в XVII в. — на тюльпаны.

Напомню, формула Б-Ш для опционов появилась в 1973-ом.

Так как определяли цены на опционы в «доформульные» времена?

Попробую привести метод, позволявший приблизительно подсчитать премию, основываясь на персональном прогнозе трейдера. Самое главное, что необходимо знать про опционы, так это то, что опционы в первую очередь это вероятность.

( Читать дальше )

Ну вот значит мы получили, что если переусложнить модель, то можем найти черную кошку в черной комнате, даже если ее там нет. Но RF позволяет еще и оценить значимость той или иной фичи, и даже получить пороговые значения, по которым RF и принимает решения. Напомню что в качестве смысловой фичи у нас выступает Week. Когда Week от 1 до 4 (что символизирует дни от понедельника до четверга), то вероятность события 1 и 2 50/50. То есть белый шум. А вот когда 5 (пятница), то с вероятностью 60% наступит событие 1, то есть вот та самая неэффективность которую мы и ищем на рынке.  
 С помощью команды feat_importances = round(feat_importances.nlargest(10), 3) выводим самые важные по мнению RF фичи. Сначала выводим по итогам трейни на первых 10 тысяч данных и… о ужас:

46    0.134
67    0.095
4     0.090
60    0.071
15    0.069
week  0.068
26    0.067
2     0.065
53    0.065
84    0.058

  Week у нас всего лишь на 6 месте с ничем не примечательными коеффами важности, а во главе фича «46», которая между нами говоря никакого смысла и не имеет, ибо случайно сгенерированный ряд. Обьяснить это можно только одним-фича week детерминирует наш таргет на 52%, что совсем не густо, а фича 46, была сгенерированна так что ее ценность случайно оказалась выше. Ну то есть мы все понимаем что если посадить макаку торговать, то будет она торговать в ноль, но если посадить 1 млн макак и каждой дать по терминалу, то наверняка среди 1 млн окажется парочку «макак-гуру», которые в силу случайности покажут длинную серию успешных трейдов (я кстати думаю что также обьясняется появление гуру среди людей), а если посадить за комп 1 млрд макак, то наверняка парочка вообще не совершит неправильных кликов, и это будет «макака-Баффет», все будут смотреть ей в рот, удивляться ее гениальности, а «макака Баффет» откроет блог и начнет давать советы как торговать правильно. Ну вот и в нашем пример, так получилось, что макака под номером «46» случайно понажимала кнопки правильней и RF назвал ее особо ценной.

( Читать дальше )

Мои пять копеек в эту тему. Я люблю считать и до сих пор не понимаю дивидендного хайпа. Не понимаю = как ни считаю, не вижу никакой выгоды для инвестора. Заявление сильное, да? Щас на меня инвесторы накинутся))

Итак, берем наши акции с 2010 года по текущее время.
Про каждую акцию мы знаем следующее: сплиты (учтены), график цены Close по дневкам, дивиденды по абс величине на 1 акцию. Если всё аккуратно посчитать, то можно для каждой акции вычислить её дивидендный поток, реинвестирование дивидендов, дивдоходность и тд.

Меня интересовал один вопрос: дают ли дивиденды какой-то профит и что делать с акцией накануне дивотсечки? Вроде вопросы странные? Что еще можно делать? Получать, раз дают бабло. Однако, меня это всё как-то смущает.

Особый дивидендный кайф испытываешь, глядя на префы татнефти:

















Тут красная кривая это чистый close-to-close, а зелёная с реинвестированием дивидендов. Красота и лепота.

( Читать дальше )