Блог им. 3XTR

Ищу профессионального математика с подходящей специальностью

Здравствуйте, друзья. Тут часто пишут — есть идея, нужен программист, готов платить. У меня обратная ситуация — есть программист, нужна идея, платить не готов. Все самое лучшее в этой жизни бесплатно, а мне как раз нужно самое лучшее. В данном случае под лучшим я понимаю математические методы для решения численных задач. В чем собственно проблема? Есть индикатор рынка, который является опережающим на крайне малом таймфрейме, для наглядности пусть это будет TWAP по фьючу, а рынком будет спот. Он же является «отстающим» на большем таймфрейме. На еще большем таймфрейме устойчивое поведение не наблюдается. Специально взял за единицу масштаба время для упрощения, поскольку с другими метриками формулировка задачи будет перегружена на столько, что я сам запутаюсь. В общем, в чем вопрос. Большинство «финансовых аналитиков» вообще не понимают, что корреляция на каждом фрейме своя, например на малом она может быть устойчиво положительной, а при увеличении фрейма корреляция может становится устойчиво отрицательной. В основном все рассуждают о «скоррелированных инструментах» не залезая в дебри. Что касается поисков лага, там еще сложнее. На майлом таймфрейме лагает один ряд, на большем — другой, на еще большем уверенность неизбежно рассеивается. В общем, кто-то сталкивался с такими проблемами? Прошу писать в личку. Нужны готовы прикладные рецепты как исследовать такие связи. Рекомендации пройти курс по мат статистике понимаю, но не принимаю. Годы уже не те, мне нужны готовые разжеваны схемы, а не база. И заранее спасибо что досюда дочитали.

Попутно поздравляю всех с наступившим Новым годом! Пусть этот год кабана окажется для вас таким же роскошным как этот кабанчик.
Ищу профессионального математика с подходящей специальностью
★7
68 комментариев
Зачем тогда вам деньги, не хотите лучшей жизни?
avatar
Агап, деньги это спорт, ренкинг же надо как то делать. Так то деньги для обычной жизни в каком то аномально большом количестве не нужны.
avatar
Cristopher Robin, ясно. А какова квалификация вашего прогера? То есть может так случиться, что я дам лучшую идею, а он не сможет ее реализовать.
avatar
Агап, вопрос резонный. Максимальная, уж простите за нескромность. Если знаете как проверить, вэлкам в ЛС.
avatar
Cristopher Robin, предварительно поинтересуйтесь у него справится он с реализацией алгоритмов directed acyclic graph (DAG), для распараллеливания вычислений. Кстати, в хайповом варианте DAG реализован в некоторых блокчейнах, для быстрых транзакций, чтобы преодолеть детскую болезнь биткоина, ну это так к слову.
avatar
Агап, есть такое дело. Там ссылка идет не на один предыдущий блок, а на несколько, поэтому при увеличении нагрузки эта структура начинает как бы расти в ширину. Плюс в том, что увеличение нагрузки в сети не бьет по транзакционным издержкам, а минус в том, что вместо увеличения стоимости транзакции, увеличивается риск, что транзакция попадет в тупиковый сегмент DAG и будет отменена. Таким образом для трансфера больших ценностей эта архитектура не подходит и Биткоин может спать спокойно. Вопрос только в том, какое это имеет отношение к маркет дате и анализу временных рядов?
avatar
Cristopher Robin, не попадет в тупик, в вершинах графа хранится флажок, указывающий, является ли данная ветвь последней.
Это не имеет прямого отношения к маркету, но вы хотите описать прохождение «медведя через стену» — трехмерного объекта через двумерное пространство — сначала появляется пятно, это нос, затем большое пятно туши и в завершении точка маленький хвостик. Это описание ничего не дает — не известно каким боком и в каком месте следуюший раз полезет медведь, то есть весь анализ на таких принципах попадет в тупиковый сегмент, убедиться в этом можно с помощью DAG, это сэкономит время вам в случае отказа от затеи, но прибавит работы прогеру.
avatar
Агап, вы уверены, что верно поняли мою задачу? Приведенная вами аналогия с медведем настолько сложная, что я даже не понял к чему она относится. Предположение на счет экономии времени (чьего?) в случае отказа от затеи (какой именно?) и прибавления работы прогеру, это вообще о чем?
avatar
Cristopher Robin, думаю что верно понял задачу. Примером с медведем хотел показать что ваша задача не решается в нашем пространстве, но вы с этим не согласитесь скорее всего, и чтобы вы сами смогли убедиться в этом в кратчайшие сроки — предложил использовать DAG, так быстрее. После этого смогу дать вам по настоящему стоящую идею.
avatar
Агап, полистал ваш блог, очень похоже, что вы много думали и осмысляли какие процессы стоят за ценой и наверняка какая-то логика в том, что вы пишете есть. Вы можете написать мне в ЛС как вы поняли мою задачу? Или проблему. Если дело только в параллельных вычислениях DAG, то для этого есть масса технологий акселерации таких как DirectCompute, OpenCL, CUDA. Если это единственное, что нужно для того чтобы сделать из нуля четыре ляма, можно считать что такой проблемы не существует.
avatar
Готов. Для клиентов смартлаба скидка — $5k/час
avatar
Мальчик Buybuy, скидывайте ваше cv в лс
avatar
за бесплатно тебе здесь если только голую жопу зелман может показать 
avatar
KLoYH, неправда, здесь самая широкая аудитория, как абсолютные дилетанты так и экстра профессионалы. Не нужно думать, что здесь обитает лишь какой то понятный вам сегмент трейдеров. Здесь очень много людей, которые готовы и бесплатно помогать и просто обмениваться знаниями. Причем среди специалистов их даже больше.
avatar
cowboy, а если не объёмы, а изменение волатильности?
avatar
Андрей Андреичъ, а где искать? Хоть намекните.
avatar
вообще не понимают, что корреляция на каждом фрейме своя

Знакомо. Попытайтесь прокачать еще собственные скилы, есть большой апсайд.

старый трейдер, я убер профи в другом, прокачиваю скилы все время но в других вопросах, если хотите, пишите в ЛС
avatar
Cristopher Robin, я написал первую прикладную программу в 1980 и не в маразме, но не знаю, как закодить множество нечетких признаков, знание которых получено за тысячи часов наблюдений. Лишь подобные штуки на рынках не портятся, они работали в прошлом и будут работать в будущем. Поэтому и посоветовал продолжить наблюдения.
Взгляните: https://smart-lab.ru/blog/453280.php#comment8214071 уже в феврале было понятно, что нефть вырастет, обвал SPX будет, и обвалятся вместе. Математически описать это крайне сложно.
старый трейдер, даже если это правда, я не хочу в это верить. Понимаете? Это мой экзистенциальный выбор. Если я увижу, что какой-то человек ходит по воде, мне проще принять мысль, что у меня поехали крыша и жить с этим дальше, вместо того чтобы искать какие-либо нетехнологические объяснения. 
avatar
Cristopher Robin, не трогайте крышу, если психика здоровая и позволяет обходиться без эзотерики. Вся информация — общедоступна: объемы и цены, без чертовщины. Многолетняя устойчивость совокупностей нечетких параметров вполне объективна и естественна, поскольку это следы четких и однозначных, которые находят и уничтожают толпы молодых талантливых математиков.
старый трейдер, правильно. Но находить и уничтожать четкие сигналы это очень рентабельно. После того как они съедены и переварены остается энтропия, а все питательные вещества остаются в карманах молодых и талантливых.
avatar
 Хорошо было бы если б сюда писали, а не в личку. )
avatar
Mercurianka, так никто не запрещает, пусть пишут, пусть даже в свои блоги пишут. Любой полезный сигнал приветствуется.
avatar
cowboy, не понял к чему это было сказано. Не буду я копать в сторону объемов, я же не дурак чтоб заниматься не своим делом, мое дело копать в сторону http timeout, epoll и kdb+. 
avatar
Андрей Андреичъ, я вообще не знаю что такое стакан, что-то слышал про FOL но и то, лишь краем уха. Если вы знаете, можете направить свое CV в ЛС.
avatar
cowboy, можно подробнее что за история? чувствую, что что-то интересное и поучительное.
avatar
Горизонт предсказания кмк должен быть одной из настроек процесса обучения моделек. Очевидно, что предсказывать недалеко в будущее должно получаться точнее, но это тоже способ разнообразить ансамбль ) А потом выхлоп моделей запихивается в метамодели и всё начинает работать более-менее нормально ))
Zweroboi, логика подсказывает, что нет такой константы как «горизонт предсказания». Если даже раундтрип заявок не постоянная величина, чего уже говорить о прогностических свойствах моделек.
avatar
Cristopher Robin, значения целевой переменной для обучения моделек можно вычислять разными способами, в том числе и варьируя как далеко мы для этого заглядываем в будущее. Вне контекста машобучения ваша логика впрочем норм )
Zweroboi, насколько я понимаю, для машинного обучения желательно определить как можно большее к-во открытых параметров. Остальные отдать на определение нейросети, исходя из задачи максимизации. Иначе у нейросетки поедет крыша и результат будет 43. Так вот, чтоб определить как можно больше открытых параметров все равно надо делать то, что я делаю.
avatar
Cristopher Robin, машобучение — это не только нейронные сети, методов миллион. Какой выбрать и как его применить — целая отдельная поддисциплина )
Zweroboi, а вы какого типа задачи решаете такими методами? То же что и у меня, или совсем другое?
avatar
Cristopher Robin, задачи разработки торговых алгоритмов, в основном тренды ищу, классификация скорее-есть или скорее-нет ) не знаю что у вас )
Zweroboi, а какие тренды ищете, те что годами живут или долю секунды? Щас говорят тренд на криптовалюту пошел, вы его уже нашли?)
avatar
Cristopher Robin, торговабельные )
Нужны готовы прикладные рецепты как исследовать такие связи.

Инжинирите фичи, генерите таргеты — и машобучение вам всё дальше само поисследует
Zweroboi, не хочу машинное обучение, это не моя эстетика.
avatar
Cristopher Robin, имеете право )
Зачем вообще нужен программист, когда нормальный метод решает все задачи на адекватных таймфреймах на одном листе бумаге. Уходить на крайни малый тайм, там что-то искать, а потом удивляться что на малых что-то не то, а на крупных вообще не там. Хотя теорию множеств проходили ну практически все, только вспомнить надо.  
avatar
Jkrsss, если у вас работает, это еще не означает что работает у других. Если бы у меня был «нормальный метод», который решает все задачи, я бы совершенно точно нигде бы о нем не упоминал, а может и вовсе отрицал его существование. Вы так не делаете, значит вы точно не являетесь рациональным агентов моих глазах. Не говоря уже о том, что представления о нормальной доходности у каждого свои и возможно ваши методы не удовлетворяют мои аппетиты. 
avatar
Cristopher Robin, Зачем мериться приборам. Я вам написал, где логическая ошибка, идти от малого к большому не верно в математике. Вот в экспертном или аналитическое умозаключение такой способ допускается.   А все остальное показывает, в вас нашего «советского» человека, который вечно со всеми воюет.
avatar
анализ объемов с ленты чикагской биржи явно содержит инфу, которая сможет пролить свет на дальнейшее поведение цены.
Доступ к ленте платный, стоит прилично.
Искать алгоритмы и репетировать надо на истории.

Идея — поиск объемно-ценовых паттернов на мелких ТФ.
Одни и те же крупные игроки, раскачивающие рынок, ведут себя одинаково в течение длительного времени..
Если на протяжении  скажем трех месяцев обнаружен паттерн с определенным исходом трижды, то следующие два с большой вероятностью сработают. Естественно. паттерны нужно искать в одних и тех же временных зонах биржевых сессий. Хотя, для крупного игрока нет проблем работать через все биржи мира в любое время.
avatar
Йоганн, я же правильно понимаю, что эти паттерны вы не глазами ищете, а количественно, как бозон Хигса? Или все таки глазами на графике ряда?
avatar
Cristopher Robin, можно искать при помощи ранкового коррелятора Спирмена,
рекурсивно масштабируя  и смещаа окно семпла.
Но здесь нужна большая вычислительная мощность, так как каждый новый проход нагружает машину в геометрической прогрессии.

Я бы давно сделал таую вещь, но у меня нет суперкомпьютера для распределенных вычислений. В принципе, я сделал саму искалку и надо только отписать блок, который будет подготавливать и загружать образцовые паттерны в буфер оной.
Но, когда я просчитал какая загрузка процессора и памяти потребуется, оставил затею.

Другой путь — создание революционного метода параллельных обсчетов одного семпла с разными участками истории и в разном масштабе.
Я уверен, что это возможно. Но нет ни времени, ни желания этим заниматься. Деньги капают и так…
avatar
Йоганн, вы правы, вопрос метода. Если что то считается долго, как правило существует метод, который позволяет посчитать это в 1000 раз быстрее.
avatar
Cristopher Robin, это Вы хватанули..
В наш век оптимизации и доступности информации получить такой революционный метод нереально, ибо все уже давно оптимизировано)))
Я целый год размышлял и экспериментировал, чтоб получить обсчет х2-х4 раза быстрее.

Кстати, как программер верхней квалификации, могли бы мне, дремучему объяснить, как можно под виндой распределить на 4 ядра задачу, в которой обсчет построен на последовательных вычислениях?
То есть, пока очередной результат не будет готов, нельзя на основе его начинать следующее вычисление.

Многие скажут, это невозможно, но что скажете Вы?
avatar
Йоганн, все уже давно оптимизировано, как вы верно заметили, под средний случай. Если ваша задача не похожа на среднюю, то ресурс оптимизации может быть и больше чем три порядка. Но как вы снова верно заметили, с учетом моей топовой квалификации, что-либо объяснять я могу кому-то с чуть менее топовой квалификации. Если вы дремуч, начните с консультаций с кем-то чуть менее дремучим и так постепенно-постепенно накопите необходимый арсенал методов, приемов, хаков.
avatar
У меня обратная ситуация — есть программист, нужна идея, платить не готов. Все самое лучшее в этой жизни бесплатно, а мне как раз нужно самое лучшее.


Аффтар, еще 2-е января, до 1-го апреля далеко. Поспи, предложи адекватную цену — авось кого из понимающих людей заинтересует.
avatar
MadQuant, все «понимающие люди» в этой теме берут деньги напрямую с рынка, нахрена козе баян? Но если честно, то я специально написал что денег не будет чтоб от сраных околорыночников уберечься. Кстати, если что, денег не будет.
avatar
Эх. Где бы и мне такого дурака найти
avatar
bazinga, а зачем вам дурак? чем он вам поможет?)))
avatar
Бесплатно:  индикатор RSI показывает разные значения при смещении таймфрейма. Т.е делая кратное равное смещение времени и увеличение RSI вы получите разные результаты ( не значительные для некоторых котировок и значительные для других, но есть). Этого нельзя добиться от скользящей средней. Вывод?
Стоит перепроверить свое утверждение:
«Большинство «финансовых аналитиков» вообще не понимают, что корреляция на каждом фрейме своя, например на малом она может быть устойчиво положительной, а при увеличении фрейма корреляция может становится устойчиво отрицательной.»
avatar
LogikoMen, я понимаю, но в основном никто не понимает, что инструменты могут быть и скорелированы и одновременно раскорелированы. В основном все видят что при изменении фрейма свойство корреляции слегка меняется, но оно может меняться не слегка, а полностью в обратную сторону.
avatar
Cristopher Robin, меняется не корреляция, а числовое значение некоторого индикатора. Быстрее всего он считает прирост и убыль на интервале и по определенным данным (у нас их аж 4, а не одно закрытие). Поэтому он то отстает то опережает. Само по себе не интересно, если Вы мне не назовете причину такого поведения. Т.е. неужели есть некое положение, стратегия, психология крупных игроков. Которые распределяют по времени вход или выход из рынка во времени исходя из объемов торгов? Вы заговорили про TWAP, поэтому и вопрос, что вы знаете об его использовании?
Закономерность либо видна на графике, либо нет. Математика тебе здесь не поможет. Я удивляюсь, как до сих пор никто не понял. Что успешные трейдеры ищут закономерности не в природе движения цены, а в психологии людей, их инструментах, мышлении.
avatar
В каком смысле Вы считаете TWAP опережающим индикатором? Я хочу понять Вашу постановку задачи. Потому что математика должна подстраиваться под образ действий, а не наоборот. 
avatar
SergeyJu, ну просто существует какой-то индикатор, пусть это будет не TWAP, а VWAP, который на каждом фрейме то опережает, то отстает. Просто в случае с VWAP фрейм уже будет не временной а объемный. Задача определить алгоритмически те фреймы, где он устойчиво опережает и те, где он устойчиво отстает.
avatar
Cristopher Robin, любой нормальный программист тебе выдаст эти значения. Другое дело, что само по себе опережение и отставание — это вращение вокруг нулевой точки. Как понимаю, сами не знаете что хотите.
avatar
LogikoMen, почему вращение, почему не колебание? не говоря уже о том что «нулевой точки» не существует, это совсем иной класс процессов. Уж простите, но вы слишком хуйню пишете, чтоб мне какие то советы давать.
avatar
Cristopher Robin, а я смотрю четко разделяешь движение вращения от колебания. Колеблющаяся корреляция это еще тот умнейший термин. А нулевая точка это и есть пересечение, или схождение.
avatar
Cristopher Robin, опережает — значит обладает качественным прогностическим свойством. Это свойство и надо измерить. Предположим, проверяем опережение на 1 такт. Тогда надо проверить статистическую связь между значением индикатора на 0 такте и приращением цены от 0 до +1 такта (например). Событие I(n)><0, результат dY(n)=Y(n+1)-Y(n) (или в логарифмах, или в процентах — по желанию). 
Проверяем, что среднее приращение при условии I(n)>0 существенно отличается от среднего приращения при условии I(n)<0. Например, по критерию Хи квадрат. 
Или любому критерию, который оценивает смещение между двумя выборками.
avatar
SergeyJu, хорошо, допустим я установил наличие лага на один такт, этот лаг обладает стационарными свойствами и отвечает какому-то критерию надежности. Где гарантия что не существует большего лага с такими же или лучшими свойствами?
avatar
Cristopher Robin, проверьте с другими дельтами. dY2(n)=y(n+2)-y(n+1) Например. 
avatar

теги блога Cristopher Robin

....все тэги



UPDONW
Новый дизайн