Alex Craft, не… ну какое-то же распределение вы все равно можете сгенерировать на месяц вперед? вот относительно этого сгенерированного распределения разве не получится посчитать правдоподобие реализаций? или это тяжеловесно по вычислениям?

Alex Craft, яуже уточнял, но как-то ответ вылетел из головы:
если вы зафитили процесс:
А) на дневных данных и построите распределение на месяц вперед (20-22 шага)
Б) на месячных данных и построите распределение на месяц вперед (1 шаг)

вот правдоподобнее окажется А или Б? у меня обычно Б получалось

Alex Craft, варсвоп — это кроме прочего — constant gamma портфель, если у вас процесс не нормальный — ну прикиньте гамму в вашем сетапе и сделайте её констант, получится «немного другой» варсвоп, и его вероятно надо будет подравнивать если отъехало, но это мелочи, реальная проблема это то, что коварсвоп из ванилы не собирается :( есть конечно максималистический подход «но у нас же есть индекс, вот в нём коварианс таки вылезет» но это вообще не про портфель из 2х акций и туда порог высоковат

в итоге — хуже ли фитить правдоподобие чем финрез? — в теории правдоподобие лучше, потому, что кумулятивное правдоподобие очень физично — оно отражает накопленную информацию за период, и [ко]варсвоп это natural strategy, а во финрез — это всё-таки эффект управления ))))

на практике — фитить «вообще всё» под финрез — сложно и методологически не правильно, оптимизатор очень полюбит точки, где «пришло много и быстро» и загонит параметры так, чтобы было 2-3 удачных трейда, а остальное время ничего не делалось

опять же — а как именно оптимизатор недооценивает «то, что вам нужно»:
— смещенно? — это проблема модели и стоит что-то сделать с моделью
— не смещенно, но все равно не нравится как получилось? — дело в стратегии, там где «всё не так» — ваша позиция оказывается ковариирована с dPrice не так, как вам подсказывает ваше чувство прекрасного (personal utility function)

разумеется, вам бы хотелось, чтобы размер позиции устойчиво и положительно ковариировал с (будущим) dPrice, правильно?

к чему весь этот спич:

— чем меньше оптимизатор (который фитит ценовой процесс) знает о вас тем лучше, он занимается информацией, а не вашим чувством прекрасного ))))

— результат модели надо в том числе проверять на несмещеность не только в среднем, но и сделать несколько бакетов по какому-нибудь из параметров — и посмотреть, а как оно в частности в режимах А и Б, может получится, что модель смещенная в частностях, но в среднем всё как бы ок — это проблема

— стратегия — это уже следующий уровень. воспринимайте ваш финрез как процесс:

dResult_next = Position_current(info_current) * dPrice_next
dPrice_next = dModelPrice_next + error

или же
dResult_next = Position_current(info_current) * dModelPrice_next + Position_current(info_current) * error

в таком случае — ваш суммарный рез это вобщем-то коварианс Position (стратегии) и dModelPrice_next (модели) + коварианс Position и error

коварианс стратегии с моделью это \mu вашего портфеля, а с ошибкой — \sigma вашего портфеля, и вот тут становится понятно, что error лучше иметь не смещеный (и вообще не зависимый от dModelPrice_next и Position_current) иначе у вас и результат будет каким-то сложным гарч-процессом — а зачем?


объяснил как смог )))) вообще всё написанное пришло из хфт/маркетмейкинга/варсвопов, как это применять в вашем случае — ну если вы планируете нажимать кнопку раз в месяц — то по хорошему и модель надо брать с таймфреймом нажимания кнопки — месяц и относительно этой модели выстраивать оптимальную стратегию (правила нажимания кнопки раз в месяц), этакий slow-hft-style )))

сейчас будет сложно: придумайте стратегию, где правдоподобие и финрез это одно и то же, подсказка — это про [ко]вариационные свопы, можно ли это собрать из того что торгуется (ванила) — статично — только варсвоп

Alex Craft, честно говоря не смогу коротко описать всю драму, которая получается из того, что ставки не совпадают… с точки зрения леммы Ито там конечно же пофиг какая «физическая» мю у процесса, но Ито это недостижимая идеализация, мгновенного точного рехеджа не получится

так же, у вас процесс еще и для сигмы, который тоже в дифференциале Ито должен быть и у захеджированного по дельте опциона всё равно остаётся риск по сигме сигмы, и получается, что должен бы соблюдаться некоторый паритет с риск-премией самого актива

еще есть разница о чем говорить — о dП/П, или о dlnП (П — опционный портфель), но это больше про аккуратность, а то часто появляется иллюзия бесплатной сигма^2/2


в общем [иметь риск премии] — становится как-то слишком уж муторно, потому, что у активов практически никогда нет паритета в цене риска (т.к. от модели никак этого и не требовали при обучении)

и… цена риска — это многофакторная история, акцент на многофакторная, потому, что какой-то фактор может стоить так, а какой-то по-другому

Alex Craft, келли это всё очень хорошо, но почти наверное получится, что ожидаемая доходность не равна безрисковой ставке ...

и если по модельному распределению проэкспектэйтить опционы, то путы (на рынке) получаться прям жуть какими дорогими и в голову придёт «светлая» мысль «а не продать их?» )))

ну если ты нигде не ошибся и раз уж у тебя в итоге получилось то, что может сгенерить распределение, то естественный наипервейший вопрос — какое мю у получившегося распределения? если там больше 10% годовых то это вряд ли проходит реалити-чек, второе, но это сложнее — оценить какую-нибудь опционную серию [до которой не будет дивов по пути] сопоставить с тем что есть. вообще я бы смотрел что оно выдаст на SPY, там и опционы расторгованы и дивы более менее предсказуемо-постоянны

и да — обычно столь монструозные ресёрчи тупо заканчиваются «светлой» идеей продавать путы… со всеми вытекающими ))))

Stanis, после слова биткоинвы попали в блэклист, если что

Alex Craft, 

ну как сказать… на топ 10% вы увидите эффект прям сильно, на топ 33% увидите, на топ 50% да тоже наверное увидите только слабее

по сути разговор о том, что autocorrel(lag=1) = f(sigma), про «топ NN%» это я для простоты написал, а так — совсем по умному — правильнее взять сколько-нибудь бинов по сигме и в них смотреть распределение реализовавшихся автокорреляций

Stanis, по-моему это чей-то «беспокойный» мозг заставляет носиться с этой чудо-картинкой без малого 20 лет по форумам, думаю на деле там всё так же только ниже нуля

Stanis, судя по тому, что минимумы гладкие, а максимумы острые — это какие-то календарники, кто-то на форуме ртс в 2010х бегал с такой картинкой

Alex Craft, т.е. увидеть это — довольно просто, а вот понять какой стохдифур смог бы так — уже не очень просто, это должно быть в \mu какое-то слагаемое типа \sigma^2(n-1) * r(n-1) ...

вобщем это еще один повод фиттить «на батчах» модели для \mu \sigma как функции ограниченной глубины только от r(n-i), но чтоб поймать такой эффект это мю должна быть аж полиномом третей степени, а это уже просто не прилично

Alex Craft, 
ну выглядит более менее, я б еще убедился, что стох-модель способна иметь отрицательную корреляцию волатильности и ретёрна

и, что в общем ретёрны окажутся с ассиметрией на большие падение и на мелкий рост

Alex Craft, 

да элементарно

взять данные, где выборочная дисперсия по окну N периодов — входит в верхние top 33% и на [ровно] этом же окне посчитать выборочную корреляцию

повторить для данных где выборочная дисперсия на таком же окне входит в нижние top 33%

сравнить выборочные корреляции для того и другого

можно для средних 33% тоже посчитать


ну т.е. поскольку это довольно просто, там даже можно с умным видом сказать «гипотеза о равенстве отвергнута с каким-то пи-вэлью»

еще — есть эффект, про который не принято писать — на участках с высокой волатильностью — автокорреляция заметно отрицательна, хотя я и сам не особо понимаю как это можно попроще воспроизвести…

Alex Craft, мы похоже из «разных школ/эпох» ))) все слова понял, всё вместе — уже не въезжаю ))))

И, правдоподобие для SV модели — его же не посчитать просто так. MCMC фиттинг это сглаживание (с заглядыванием в будущее, весь интервал 1-T). А правдоподобие требует фильтрации (без заглядывания в будущее, только 1-t). MCMC что я использую STAN этого неделает. Нужен Particle Filter что вообще отдельная тема.

я кажется слишком не понимаю, что именно вы делаете, я попробую конечно переварить как вы пришли к тому, что нужно фиттится на всём [1;T], но я вот сколько этим занимался всегда было рекуррентно… ну т.е. там был проход по всему интервалу, да, но без подглядываний ....

вообще я из этого ничего рабочего не вынес и ушел в «безарбитражные постановки» (это я вот сейчас собрал в кучу и БШ и APT и бонды) там и параметров поменьше и «правильный» хедж возникает более менее естественным путём

но попробую предложить мысль:

забудем на некоторое время про гарчи итд и рассмотрим модель с конечной памятью r(n+1) = \mu(r(n)… r(n-k)) + \sigma(r(n)… r(n-k))dW

r(n+1) = ln(P(n+1)/P(n))

дальше вариантов не так уж и много — скажем, что sigma^2 это какой-то полином второй степени от r(n)… r(n-k), да еще и не отрицательный

это сведётся к тому, что он представим как x^T S x + C

где S положительно определенная _диагональная_ матрица, C — какая-то константа сдвига, а x — вектор _ортогональной_ замены (поворота) переменных от r(n)..r(n-k), вобщем там что-то типа k(k-1)/2 + 1 параметров, если я не напутал (требование положительно-определенности уменьшает количество параметров в 2 раза)

идея в том, чтобы зафитить такую модель под данные, ей не нужны рекурентные цепочки, для расчёта её правдоподобия, подойдёт набор батчей из {r(n+1);r(n)..r(n-k)}

правдоподобие «всей кастрюли» будет равно сумме энтропий (логарифмов плотностей) батчей (может всё с минусом, в зависимости от конвенций) + то, что придёт от вашего инфо-критерия, это так или иначе что-то типа количества параметров k, но для начала я бы на инфокритерий забил, это тюнинг второго уровня

распределение r(n+1) — ну возьмите какое вам нравится, главное чтоб вы могли посчитать энтропию батча, задать ему центр \mu и скейл-фактор \sigma

далее вы ищите минимум суммарной энтропии (размера архива), подбирая параметры, хорошо бы, чтобы сама энтропия аналитически пару раз дифференцировалась, а это так и есть, если не брать какие-то совсем экзотические распределения

важно — вам нужна энтропия r(n+1), а не dW, если это не понятно — то нужно это понять

всё выше написанное это «разминка» для того, чтобы получить полином второй степени \sigma^2(r(n)..r(n-k))

если в нём коэффициенты при r(n-i) убывают «почти экспоненциально» и кросс продукты r(n-i)r(n-j) «почти отсутствуют» — поздравляю, вы посути можете свернуть это в рекурентное соотношение и получить XXX-GARCH сильно уменьшив кол-во параметров

и это не безнадёжная идея, вот почему: мы до сих пор ничего не говорили о dW, мы никак не предполагали его нормальность итд, а потому, нам ничто не мешает сказать, что в него вшит и джамп и толстые хвосты и ассиметрия итд, всё, что от него требуется это MdW = 0 и DdW = 1

я бы стартанул с предположения нормальности для «дебага», если хотите таки стьюдента для dW, то это требует его «отскейлить» до энтропии r(n+1)

то есть entropy(n+1) = ln(\sigma(r(n)...r(n-k))) + ln(pdf_stud(r(n+1)/\sigma(r(n)...r(n-k))) — это важно понять

кажется я столько написал, что это уже не переварить


но, если до сюда поняли, то вообще эту идею можно полностью отвязать от «предвыбора» распределения (однако контролируя MdW=0 DdW=1):

если сделать скейлинг r(n+1)/\sigma(...), то финальное правдоподобие это sum_i [ln(\sigma(r(n-i)..r(n-i-k))] + sum_i [ln(pdf(r(n-i+1)/\sigma(r(n-i)..r(n-i-k)))]

это значит, что pdf мы можем взять «какое получилось», и таки это медленнее, но не фатально, за один проход мы считаем \sigma(...) и r(n+1)/\sigma(...), далее чем-то надо аппроксимировать ln(pdf(r(n+1)/\sigma(...))

или, можно подумать в сторону какой-то параметризации асимметрии, так же как и \mu \sigma — skew_param(r(n)..r(n-k)) и его таки тоже есть шансы свернуть в рекурсию


ps: представьте, что dW имеет ассиметрию такую, что вниз может прям вот сильно — это создаст резкость в падении актива и последующий рост волатильности, как раз то что нужно. простые диффужн процессы не могут, у них или симметрично «лишняя» волатильность вверх или слишком плавный разгон, но для характерного поведения — нужна асимметрия — её вводят или джамп-процессом или корреляцией как в хестоне

pps: скорректируйте данные на дивы, если еще не скорректировали

не понятно, что такое «не похоже» у джамп процесса правдоподобие выше — значит уже таки похоже, вы хотите до куда правдоподобие загонять?

тут есть разные способы думать (об одном и том же), мне вообще нравится взгляд на фиттинг как minimum description length — это из эпохи Колмогорова, но потом как-то название подзабыли, хотя, по сути, все ровно этим и пользуются на вайбе, не осознавая.

в чем идея — мы хотим написать архиватор, который жмет данные, и тогда мы можем судить о качестве архиватора по тому, насколько мало будет весить итоговый архив.

не вдаваясь в детали — размер архива можно свести к нулю, включив весь датасет в архиватор, внезапно. поэтому этого не достаточно и это (минимальность архива) не может быть самоцелью

так же не вдаваясь в детали — размер архива — это минус логарифм условной вероятности p(data|model) (ну там еще с учётом основания логарифмирования)

то есть message length (размер архива) = -ln p(data|model)
model length — размер архиватора (который можно кстати заархивировать другим архиватором) это -ln p(model)
и таки description = message + model — это, кто бы мог подумать, -ln p(data)

отсюда становятся более прозрачными смыслы aic/bic и других инфокритериев — потому, что они по сути о том, «как сильно еще один параметр увеличит model, уменьшив message»

я просто не совсем понимаю, где вы испытываете затык с фиттингом, большинство вещей аналитически решается…

совсем коротко: чтоб сравнить модели А и Б — к правдоподобию добавьте поправку на минимальный размер вашего кода А и кода Б на питоне или на чем вы пишите (ну можете и по ней архиватором пройтись еще)

успехи ии в программировании я думаю это связаны с тем, что большинство языков императивные и написать программу это плюс-минус тоже самое, что перевести с одного языка на другой, всё теже токены/аттеншны, есть у меня хобби — схемотехника, вот тут ии лажает по полной, предложите ему задизайнить усилитель с заданной полосой частот — он не то, что «сделает, но надо доработать» он сделает полный кал, хотя литературы об этом с 70х написано вагоны и в обучающей выборке было наверняка 100500 томов, ну т.е. там будет не просто «ошибка в номиналах» или «не учел сайд-эффекты конкретного транзистора» то, что предложит ии вообще полосовым усилителем не будет, я думаю именно потому, что схемотехника это не императивный язык, она не разворачивается в последовательность инструкций, может быть какой-нибудь конволюшн (графические нейронки) будет генерить схемы лучше чем аттеншн-трансформеры (по сути рекуррентные нейронки), именно потому, что там генерится «картинка, как целое», но сейчас ии точно не способен заменить инженеров

а что до программистов — инженеров там единицы, большинство это переводчики с продукт-менеджерского на пыхпых/ноду

Не понял, добавить предыдущую инновацию t-2?

неееее, не добавлять предыдущую инновацию, это слишком банально, я думаю вы ее уже добавили, я про добавить еще динамических уравнений ))))

для коэффициентов garch/e-garch/log-garch/хзчто-garch тоже можно написать «модель для модели». абсолютно точно так же, как сама волатильность — это по сути коэффициент при ошибке, то и коэффициенты в модели волатильности (или её квадрата/логарифма/косинуса, не суть важно) точно так же можно воспринимать как что-то динамическое и написать на них (их квадрат/логарифм/косинус/не суть важно) модель

ок, это был «не получившийся квантовый юмор» если что )))

по поводу моделей на +1 мес и 22 (ну или 30) раз примененной модели на +1 день — получилась большая разница в правдоподобии?