И снова о статистике

И снова о статистике (много)

Какое, милые, у нас
Тысячелетье на дворе?

Странные дела творятся на SL. Деление на 2 стало считаться математикой, а на 3, наверное, высшей. Единственное оживление – опционы, спасибо авторам.

Погуглил – информации теперь просто море, слово Фрактал стало расхожим. За пределами SL есть жизнь. И в кулуарах она есть, позволил себе роскошь потратить много времени – пару лет общался с полутора сотнями трейдеров, с кем-то по минимуму, с кем-то почти по максимуму и подолгу, перебрал, был наказан утечкой информации, вынужден замкнуться и гасить последствия.

Формальный результат – я оказался прав, считая, что для входа в тему не нужны специальные знания, нескольким трейдерам это оказалось по силам. Насколько осознанно они это сделали и как справятся с этими знаниями – это уже их проблемы. Ни у кого не должно быть иллюзий, что там все просто волшебно. Там большой труд, есть проблемы, проходятся тяжело, но проходятся, со временем все отшлифуется. Там интересно и необычно.

Намедни я дал многоцелевой пост с задачками. Отобрались те, кому они были интересны, как и мне, хотел свериться с этим подмножеством SL.
Пока можно сказать, что мы в совокупности смотрим на эти задачки по-разному, видим по-разному и решаем по-разному. Но какая-то близость должна же быть. И в рыночной математике должно быть место нестандартным решениям “с изюминкой” и простотой по Оккаму.

Почему в рыночной математике я отдалился от “генеральной линии партии”? По многим вопросам я оказываюсь в оппозиции большинству или типовому мнению. Этот вопрос меня немало занимал.
Основательно покопался в себе, в своих достоинствах и недостатках, в своей методологии. Какие-то гипотезы я породил, старые догадки подтвердил, даже обнаружил, что, доверяя своей интуиции, подпал под эгиду особенностей творческого мышления.

https://poisk-ru.ru/s3362t1.html

Особенно хорошо мне удается период инкубации, полного отключения от задачи (отдых), за которым, бывает, следует инсайт (озарение). Теперь знаю.

Измерил свой SQ (склонности и способности к систематизации и т.д. по Аспергеру, тоже спасибо автору).

https://smart-lab.ru/blog/485820.php#comment8729214

Но это совершенно отдельная и очень емкая тема.

Есть одна формальная развилка, начиная с которой я ушел в сторону.

В некоторых обсуждениях я заметил признаки сомнения в пригодности аппарата матстатистики для исследования рынка. Меня, вроде бы, и не  должны интересовать споры, которые меня не касаются. Попробую укрепить эти сомнения.
Опционов касаться не буду.

Попробую упростить до школьного уровня, чтобы не только математикам было понятно. И, по обыкновению, буду недоговаривать очевидные мысли. Сделайте поправку на то, что эмоции, воспоминания или нехватка времени скажутся на качестве поста. Извиняюсь за излишнюю персонификацию изложения и повторы когда-то уже высказанного. 

Рассказывал я как-то анекдот о статистике, который утонул переходя реку со средней глубиной 1м. Расскажу еще одну историю, обещаю, что на этот раз ни один статистик не пострадает.

Летние каникулы после третьего класса. Калинин (ныне Тверь), река Тверца, мы с мальчишками купаемся. Купаемся – это громко сказано, потому что плавать мы если и умеем, то совсем немного, я научился только через год. И возник вопрос о ширине реки в месте купания, разброс мнений был большой, от 50 до 150 м. Течение приличное, движение катеров, яхт, моторок, всяких спортивных и прогулочных лодок – тоже. Как измерить без угрозы для жизни – не представляли. Эксперты поговорили, к согласию не пришли и тему забыли.

А на следующий день я пришел и измерил ширину реки.

Но сначала – как ширину реки измерял бы статистик.

Чисто гипотетически представь себе ситуацию,
Что в бане теоретически …

Поможем статистику перейти в ту боль (по Ильинскому), с которой он умеет справляться. Снабдим статистика данными. Вот видна подсказка -  мост, еще мост, в нескольких километрах еще мост, еще есть мосты в Медном, Торжке, Выдропужске, Вышнем Волочке, …. Длина реки – 188 км, каждый мост важен. Железнодорожные, автомобильные, пешеходные, на некоторых я побывал и под некоторыми тоже — сплавлялся пару раз по живописной Тверце. С их помощью можно безопасно измерить ширину реки в месте моста.

Мала выборка? Так у нас индустриальный подход, построим мосты там, где целесообразно и столько, сколько надо статистику, например, чтоб воспользоваться ЦПТ и подобраться к нормальному распределению.

Вооружимся картой и курвиметром (curve).
В первом классе я смог купить себе в магазине с загадочным названием КОГИЗ небольшой приборчик (ручка, колесико и шкала – я его разобрал), совершенно не представляя себе его назначения.

Измеряем по карте курвиметром расстояние от истока до каждого моста. Образуем последовательность пар: расстояние – ширина реки. Далее статистик обрабатывает эти данные. Получает все характеристики, какие может. Позволяется все. Пробует обнаружить зависимость ширины реки от расстояния от истока или еще что-либо. Проблемы будут, Тверца — река интересная в этом смысле. Все сделает статистик, что сможет, даст оценку ширины реки в нужном месте (вполне нормальное индустриальное решение, я сам иногда так делаю для вспомогательных целей), укажет погрешность, даже, может, увидит персистентность или построит кривую регрессии, скажем, экспоненциальной, которая удачно ляжет на все точки и спрогнозирует с какими-то оговорками, что ширина реки через 5 километров возрастет до 150 метров. И будет в корне неправ, потому что через два километра Тверца закончится – она впадет в Волгу.

Беда! Инерционность инструментария матстатистики, независимо от принимаемого облика (персистентность, регрессия, фрактальная размерность или показатель Херста), усредненность, заглядывание за естественные границы вступает в противоречие с конечностью реки или конечностью ее характерных участков.

Аналогия с рынком очевидна, а последствия очень большие. График цены распадается на участки с различными характеристиками, возникают интересные точки, возникает структура, более четкая, чем есть сейчас в FMH, возникает потребность в другой математике и вообще новая парадигма.

Матстатистике все равно, что обсчитывать, рыночную цену или ширину реки — обезличенные цифровые ряды, она же никакие материальные соображения не привлекает. Все рыночные движения или тренды конечны, часто внезапно конечны, а у матстатистики нет возможности узнать этот конец своевременно в силу инерционности своего инструментария.

Ограниченность возможностей матстатистики очевидна, а излечение начнется с признания этого противоречия. Его можно разрешать разными способами.

 Матстатистика может попробовать найти в себе силы самостоятельно оценить свои потери от  игнорирования наличия неинерционности в рыночных движениях. Если не сможет, то пусть разберется с причинами, я к этому и призываю.

Я проводил мысль, что рынок – междисциплинарное образование и его естественно брать с помощью совокупности дисциплин. И естественно, что найденным решением можно усилить каждую из этих дисциплин, а в первую очередь – гипотезу фрактального рынка. Формально я мог бы из своей модели вычленить некоторый критерий для помощи матстатистике, предполагаю, что его там нет, он чужероден для нее,  или есть где-то очень глубоко, что маловероятно, но никому в голову не приходит его использовать.

Другими словами – я неплохо справился с некоторыми “переменностями”: переменной длиной окна, переменной дисперсией, переменной средней, переменной волатильностью,  но математика этого решения лежит за пределами матстатистики.

Почему свет клином сошелся в рынке на матстатистике? Почему от Талеба у многих остался только “черный лебедь”, а не его неприятие нормального распределения и матстатистики?

Неужели даже как гипотеза не рассматривается влияние на него Мандельброта, его хорошего знакомого, возможно желающего уравновесить Талебом выдвижение одного своего подопечного – Фамы.

Ведь не только у меня одного возникают ассоциации, даже разные, например, с теорией групп при взгляде на валютные пары. Положим, мало кто знает как можно примериться к топологическому смешиванию в реальном рынке, но затухающие колебания уже можно заметить, участки “экспоненциального” роста многие замечали, а ведь это все звенья одной цепи, одного пазла. Таких ассоциаций при взгляде на ценовой график возникает много и среди них есть вполне пригодные для развития. Нужно резать все сомнительное беспощадно и пестовать все бесспорное или пригодное в качестве аксиом.

Набрать дюжину-другую таких наблюдений, ассоциаций и деталей, немного математического воображения и пазл сойдется в неплохую модель. Там будет место интегральчикам-дифурчикам, неравенствам, пределам, будут тяжелые системы уравнений, но будет и эвристическое спрямление (Талеб!), вполне работоспособное упрощение — сведение до простых решений (именно в этом месте я и вспомнил один прием Раманужана, будет чуть позже). И будет подмножество, доступное хорошему школьнику, специально посмотрел программу ЕГЭ. Он не найдет те подземные этажи, которые прошел я, но после подсказок в моих постах и комментариях его задача существенно упрощается, хотя установленная мной планка и высока (ее я поставил как надо). Но его будут ждать трудности в использовании и развитии решения, если он каким-то образом обойдет эту планку, пропуская естественную последовательность.   

Можно попробовать поискать какие-то аналогии в готовых моделях, типа Ферхюльста или Лотки-Вольтерры, там хоть есть материальные соображения, но относиться к ним надо критически, многие отвергаются по совершенно простым соображениям, невзирая на чьи-то авторитеты, например, Демуры.

Некоторые детали кроются в знании нашей матчасти, лежат всем видные и никому не нужные на поверхности или наоборот, имеют двойное дно.

Вот простой пример. Почему я не доверяю направлению сделки в таблице всех сделок (обезличенных сделок). У сделки есть покупатель и продавец, а в этой таблице сделка списывается на одну из сторон. Думаете, что на активную, ту, что бьет по рынку? Заблуждение очень распространенное. Статистик и здесь может попробовать оценить влияние этой детали, начнет оценивать распределения, вероятности, может и справится. Я же просто не буду пользоваться этой характеристикой сделки. Я пользуюсь только тем, чему доверяю. 

Казалось бы, какая мелочь, почти случайное блуждание, почти нормальное распределение, но с некоторых пор я стал очень внимателен к мелочам, особенно, если они относятся к начальным условиям. Расхождения по мере развития или раскручивания этих начальных условий становятся очень большими. Поэтому меня и увело далеко в сторону.

Можно ли сблизить гипотезы EMH и FMH? Будущее покажет. До конца света еще миллиард лет. Как минимум, можно пользоваться и распределениями и структурами. Такие примерки я делал.

Но никто из сильных мира сего афишировать свои достижения в этой области не будет. Нет сомнения, что минимум там давно уже есть.  Будут продолжать пользоваться, будут притормаживать или выдавать по капле, нобеля за нобелем, как делали с EMH.. 

 Я тоже не буду и еще раз прошу об этом тех, кто вошел или войдет в тему фрактального рынка – пока преждевременно, удержитесь, полностью оценить последствия сложно — «не навреди». Я же сумел справиться со своим порывом трехлетней давности. Будь возможность – я бы выпилился с SL, здесь же все – собственность SL по определению.

А на следующий день я пришел и измерил ширину реки.

Это была моя первая практическая задача, которую я сам выбрал и справился.

В штатный набор школьника младших классов тогда входил пенал с перьевой ручкой, сменными перышками, перочисткой, чернильница-непроливайка и линейка, чтоб отчерчивать поля. У меня вместо линейки был небольшой деревянный треугольник, постоянно распадающийся на части от передряг с портфелем. Я тогда еще не знал, что это равнобедренный прямоугольный треугольник с катетами и гипотенузой. У отца на верстаке был такой же, плотницкий или столярный, только в разы больше. Я пришел вооруженный своим треугольником.

Напротив места купания на другом берегу рос одинокий куст, а берег реки с моей стороны выглядел ровным. Катеты треугольника удачно направились на куст и вдоль моего берега.

Я пошел по берегу, не меняя ориентации трtугольника и поглядывая вдоль гипотенузы, и остановился, когда на ее продолжении оказался куст. Мне сейчас смешно вспоминать, как бережно я нес треугольник, можно же было и не церемониться. Я измерил ширину реки, я перенес ее на свой берег, можно было даже число в шагах получить, я узнал примерное значение (больше 100 моих шагов), пришлось обходить илистую заводь, берег оказался не таким ровным, как выглядел на расстоянии.

Просто пришел и измерил, как само собой разумеющееся, без каких-либо умственных усилий, даже никому не сказал. Примерно так же, как в 6 лет я обнаружил, что умею читать, научился, наблюдая за детишками-первоклассниками, которые складывали буквы в слоги и озвучивали их.
Тоже ничего удивительного, мой шурин в 4.5 года веселил взрослых, читая им газету “Правда”.

Из необычного было только то, что моими первыми книжками оказались книги фантастов Беляева и Уэллса – очень удачное начало.
А еще мне попался под руку учебник отца, военного летчика, по летному делу, по навигации. Там были совершенно непонятные мне места (наверное это были формулы), но часть слов казалась понятной, а картинки были просто хороши – я познакомился с первыми кривыми: глиссада, локсодрома и ортодрома.

 С третьего класса закончилось мое безмятежное беспроблемное детство, семья переехала из Калининграда (Храброво) в Калинин, для меня стресс был сильнейшим. Но появилась и отдушина. Мальчишки-одноклассники просто обрушили на меня огромное количество загадок и задачек, на цифры и числа, на фигуры, на игру слов – все абсолютно детские по формулировкам и по сути. Каким образом там оказалась одна совершенно взрослая задачка при ее детской формулировке – не представляю, но зацепила она меня знатно. Я стал охотиться за задачками на сообразительность и смекалку. По неведению я прихватывал лишнего, например, теория чисел оказалась мне просто не по силам, но несколько брошюрок я попытался прочитать и узнал про Раманужана и Серпиньского (тогда именно так писались их фамилии). Много простых,  понятных и одновременно мудрых брошюрок было в то время (до Интернета еще были целые десятилетия).  Примерно тогда я узнал про кроликов Фибоначчи и треугольник Серпиньского – фрактал, которому уже более 100 лет (сам термин Фрактал появился только 60 лет спустя).

 
Обратите внимание, что у меня появилась идея модели не по Ильинскому, у него она должна давать число. У меня модель дала событие (сигнал). Эта идея служила мне при reverse engineering и служит до сих пор.
Кажется невероятным, но через много-много лет, когда я встретился с рынком, те детские знания и впечатления мне пригодились. Прямо дежавю.

P.S. Увидел вопрос: “Как измерить волатильность?”

Один из ключевых факторов, она у меня используется существенно, но зачем ее измерять, зачем так прямолинейно? Ею можно и нужно пользоваться, но для меня она не самоцель, ее же можно инкапсулировать, как бы, обойти. Один из сильных элементов моей методологии. Хорошая задача на сообразительность, сродни измерению ширины реки. Похожую инкапсуляцию делает и Ильинский, выполняя некоторые преобразования, только у меня она радикальнее.

P.P.S. Два достижения этого года:

— общей идеологией накрыт тиковый уровень;

— справился с еще одной Тверцой — в одиночку вытащил на улицу пианино с символическим названием “Тверца” (brutal force).