Ищу профессионального математика с подходящей специальностью

Здравствуйте, друзья. Тут часто пишут — есть идея, нужен программист, готов платить. У меня обратная ситуация — есть программист, нужна идея, платить не готов. Все самое лучшее в этой жизни бесплатно, а мне как раз нужно самое лучшее. В данном случае под лучшим я понимаю математические методы для решения численных задач. В чем собственно проблема? Есть индикатор рынка, который является опережающим на крайне малом таймфрейме, для наглядности пусть это будет TWAP по фьючу, а рынком будет спот. Он же является «отстающим» на большем таймфрейме. На еще большем таймфрейме устойчивое поведение не наблюдается. Специально взял за единицу масштаба время для упрощения, поскольку с другими метриками формулировка задачи будет перегружена на столько, что я сам запутаюсь. В общем, в чем вопрос. Большинство «финансовых аналитиков» вообще не понимают, что корреляция на каждом фрейме своя, например на малом она может быть устойчиво положительной, а при увеличении фрейма корреляция может становится устойчиво отрицательной. В основном все рассуждают о «скоррелированных инструментах» не залезая в дебри. Что касается поисков лага, там еще сложнее. На майлом таймфрейме лагает один ряд, на большем — другой, на еще большем уверенность неизбежно рассеивается. В общем, кто-то сталкивался с такими проблемами? Прошу писать в личку. Нужны готовы прикладные рецепты как исследовать такие связи. Рекомендации пройти курс по мат статистике понимаю, но не принимаю. Годы уже не те, мне нужны готовые разжеваны схемы, а не база. И заранее спасибо что досюда дочитали.

Попутно поздравляю всех с наступившим Новым годом! Пусть этот год кабана окажется для вас таким же роскошным как этот кабанчик.

алготрейдинг роботы анализ данных

Cristopher Robin

Киев

3 432

с 13 мая 2015

68 Комментариев

Aгaп Cмит
01 января 2019, 19:46
Зачем тогда вам деньги, не хотите лучшей жизни?
+2
- Cristopher Robin
  01 января 2019, 22:15
  Агап, деньги это спорт, ренкинг же надо как то делать. Так то деньги для обычной жизни в каком то аномально большом количестве не нужны.
  0
  - Aгaп Cмит
    01 января 2019, 22:39
    Cristopher Robin, ясно. А какова квалификация вашего прогера? То есть может так случиться, что я дам лучшую идею, а он не сможет ее реализовать.
    +1
    - Cristopher Robin
      01 января 2019, 22:45
      Агап, вопрос резонный. Максимальная, уж простите за нескромность. Если знаете как проверить, вэлкам в ЛС.
      0
      - Aгaп Cмит
        01 января 2019, 23:18
        Cristopher Robin, предварительно поинтересуйтесь у него справится он с реализацией алгоритмов directed acyclic graph (DAG), для распараллеливания вычислений. Кстати, в хайповом варианте DAG реализован в некоторых блокчейнах, для быстрых транзакций, чтобы преодолеть детскую болезнь биткоина, ну это так к слову.
        +1
        Cristopher Robin
        01 января 2019, 23:28
        Агап, есть такое дело. Там ссылка идет не на один предыдущий блок, а на несколько, поэтому при увеличении нагрузки эта структура начинает как бы расти в ширину. Плюс в том, что увеличение нагрузки в сети не бьет по транзакционным издержкам, а минус в том, что вместо увеличения стоимости транзакции, увеличивается риск, что транзакция попадет в тупиковый сегмент DAG и будет отменена. Таким образом для трансфера больших ценностей эта архитектура не подходит и Биткоин может спать спокойно. Вопрос только в том, какое это имеет отношение к маркет дате и анализу временных рядов?
        0
        Aгaп Cмит
        01 января 2019, 23:45
        Cristopher Robin, не попадет в тупик, в вершинах графа хранится флажок, указывающий, является ли данная ветвь последней.
        Это не имеет прямого отношения к маркету, но вы хотите описать прохождение «медведя через стену» — трехмерного объекта через двумерное пространство — сначала появляется пятно, это нос, затем большое пятно туши и в завершении точка маленький хвостик. Это описание ничего не дает — не известно каким боком и в каком месте следуюший раз полезет медведь, то есть весь анализ на таких принципах попадет в тупиковый сегмент, убедиться в этом можно с помощью DAG, это сэкономит время вам в случае отказа от затеи, но прибавит работы прогеру.
        0
        Cristopher Robin
        02 января 2019, 00:00
        Агап, вы уверены, что верно поняли мою задачу? Приведенная вами аналогия с медведем настолько сложная, что я даже не понял к чему она относится. Предположение на счет экономии времени (чьего?) в случае отказа от затеи (какой именно?) и прибавления работы прогеру, это вообще о чем?
        0
        Aгaп Cмит
        02 января 2019, 00:16
        Cristopher Robin, думаю что верно понял задачу. Примером с медведем хотел показать что ваша задача не решается в нашем пространстве, но вы с этим не согласитесь скорее всего, и чтобы вы сами смогли убедиться в этом в кратчайшие сроки — предложил использовать DAG, так быстрее. После этого смогу дать вам по настоящему стоящую идею.
        0
        Cristopher Robin
        02 января 2019, 00:33
        Агап, полистал ваш блог, очень похоже, что вы много думали и осмысляли какие процессы стоят за ценой и наверняка какая-то логика в том, что вы пишете есть. Вы можете написать мне в ЛС как вы поняли мою задачу? Или проблему. Если дело только в параллельных вычислениях DAG, то для этого есть масса технологий акселерации таких как DirectCompute, OpenCL, CUDA. Если это единственное, что нужно для того чтобы сделать из нуля четыре ляма, можно считать что такой проблемы не существует.
        0
Мальчик buybuy
01 января 2019, 20:20
Готов. Для клиентов смартлаба скидка — $5k/час
0
- Cristopher Robin
  01 января 2019, 22:19
  Мальчик Buybuy, скидывайте ваше cv в лс
  0
KarL$oH
01 января 2019, 20:41
за бесплатно тебе здесь если только голую жопу зелман может показать
+2
- Cristopher Robin
  01 января 2019, 22:26
  KLoYH, неправда, здесь самая широкая аудитория, как абсолютные дилетанты так и экстра профессионалы. Не нужно думать, что здесь обитает лишь какой то понятный вам сегмент трейдеров. Здесь очень много людей, которые готовы и бесплатно помогать и просто обмениваться знаниями. Причем среди специалистов их даже больше.
  +1
Mercurianka
01 января 2019, 21:30
Андрей Андреичъ, а где искать? Хоть намекните.
0
старый трейдер
01 января 2019, 21:31
вообще не понимают, что корреляция на каждом фрейме своя

Знакомо. Попытайтесь прокачать еще собственные скилы, есть большой апсайд.

0
- Cristopher Robin
  01 января 2019, 22:28
  старый трейдер, я убер профи в другом, прокачиваю скилы все время но в других вопросах, если хотите, пишите в ЛС
  0
  - старый трейдер
    01 января 2019, 23:44
    Cristopher Robin, я написал первую прикладную программу в 1980 и не в маразме, но не знаю, как закодить множество нечетких признаков, знание которых получено за тысячи часов наблюдений. Лишь подобные штуки на рынках не портятся, они работали в прошлом и будут работать в будущем. Поэтому и посоветовал продолжить наблюдения.
    Взгляните: https://smart-lab.ru/blog/453280.php#comment8214071 уже в феврале было понятно, что нефть вырастет, обвал SPX будет, и обвалятся вместе. Математически описать это крайне сложно.
    +1
    - Cristopher Robin
      02 января 2019, 00:38
      старый трейдер, даже если это правда, я не хочу в это верить. Понимаете? Это мой экзистенциальный выбор. Если я увижу, что какой-то человек ходит по воде, мне проще принять мысль, что у меня поехали крыша и жить с этим дальше, вместо того чтобы искать какие-либо нетехнологические объяснения.
      0
      - старый трейдер
        02 января 2019, 01:51
        Cristopher Robin, не трогайте крышу, если психика здоровая и позволяет обходиться без эзотерики. Вся информация — общедоступна: объемы и цены, без чертовщины. Многолетняя устойчивость совокупностей нечетких параметров вполне объективна и естественна, поскольку это следы четких и однозначных, которые находят и уничтожают толпы молодых талантливых математиков.
        +1
        Cristopher Robin
        02 января 2019, 01:56
        старый трейдер, правильно. Но находить и уничтожать четкие сигналы это очень рентабельно. После того как они съедены и переварены остается энтропия, а все питательные вещества остаются в карманах молодых и талантливых.
        +1
Mercurianka
01 января 2019, 21:31
Хорошо было бы если б сюда писали, а не в личку. )
0
- Cristopher Robin
  01 января 2019, 22:30
  Mercurianka, так никто не запрещает, пусть пишут, пусть даже в свои блоги пишут. Любой полезный сигнал приветствуется.
  0
Cristopher Robin
01 января 2019, 22:23
Андрей Андреичъ, я вообще не знаю что такое стакан, что-то слышал про FOL но и то, лишь краем уха. Если вы знаете, можете направить свое CV в ЛС.
0
Пафос Респектыч
02 января 2019, 00:28
Горизонт предсказания кмк должен быть одной из настроек процесса обучения моделек. Очевидно, что предсказывать недалеко в будущее должно получаться точнее, но это тоже способ разнообразить ансамбль ) А потом выхлоп моделей запихивается в метамодели и всё начинает работать более-менее нормально ))
0
- Cristopher Robin
  02 января 2019, 01:29
  Zweroboi, логика подсказывает, что нет такой константы как «горизонт предсказания». Если даже раундтрип заявок не постоянная величина, чего уже говорить о прогностических свойствах моделек.
  0
  - Пафос Респектыч
    02 января 2019, 10:56
    Cristopher Robin, значения целевой переменной для обучения моделек можно вычислять разными способами, в том числе и варьируя как далеко мы для этого заглядываем в будущее. Вне контекста машобучения ваша логика впрочем норм )
    0
    - Cristopher Robin
      02 января 2019, 13:39
      Zweroboi, насколько я понимаю, для машинного обучения желательно определить как можно большее к-во открытых параметров. Остальные отдать на определение нейросети, исходя из задачи максимизации. Иначе у нейросетки поедет крыша и результат будет 43. Так вот, чтоб определить как можно больше открытых параметров все равно надо делать то, что я делаю.
      0
      - Пафос Респектыч
        02 января 2019, 15:46
        Cristopher Robin, машобучение — это не только нейронные сети, методов миллион. Какой выбрать и как его применить — целая отдельная поддисциплина )
        0
        Cristopher Robin
        02 января 2019, 16:35
        Zweroboi, а вы какого типа задачи решаете такими методами? То же что и у меня, или совсем другое?
        0
        Пафос Респектыч
        02 января 2019, 19:58
        Cristopher Robin, задачи разработки торговых алгоритмов, в основном тренды ищу, классификация скорее-есть или скорее-нет ) не знаю что у вас )
        0
        Cristopher Robin
        02 января 2019, 20:32
        Zweroboi, а какие тренды ищете, те что годами живут или долю секунды? Щас говорят тренд на криптовалюту пошел, вы его уже нашли?)
        0
        Пафос Респектыч
        02 января 2019, 21:25
        Cristopher Robin, торговабельные )
        0
Пафос Респектыч
02 января 2019, 00:30
Нужны готовы прикладные рецепты как исследовать такие связи.

Инжинирите фичи, генерите таргеты — и машобучение вам всё дальше само поисследует
+1
- Cristopher Robin
  02 января 2019, 01:05
  Zweroboi, не хочу машинное обучение, это не моя эстетика.
  0
  - Пафос Респектыч
    02 января 2019, 01:22
    Cristopher Robin, имеете право )
    +1
Jkrsss
02 января 2019, 00:34
Зачем вообще нужен программист, когда нормальный метод решает все задачи на адекватных таймфреймах на одном листе бумаге. Уходить на крайни малый тайм, там что-то искать, а потом удивляться что на малых что-то не то, а на крупных вообще не там. Хотя теорию множеств проходили ну практически все, только вспомнить надо.
0
- Cristopher Robin
  02 января 2019, 00:44
  Jkrsss, если у вас работает, это еще не означает что работает у других. Если бы у меня был «нормальный метод», который решает все задачи, я бы совершенно точно нигде бы о нем не упоминал, а может и вовсе отрицал его существование. Вы так не делаете, значит вы точно не являетесь рациональным агентов моих глазах. Не говоря уже о том, что представления о нормальной доходности у каждого свои и возможно ваши методы не удовлетворяют мои аппетиты.
  +1
  - Jkrsss
    02 января 2019, 01:07
    Cristopher Robin, Зачем мериться приборам. Я вам написал, где логическая ошибка, идти от малого к большому не верно в математике. Вот в экспертном или аналитическое умозаключение такой способ допускается. А все остальное показывает, в вас нашего «советского» человека, который вечно со всеми воюет.
    +1
Йоганн
02 января 2019, 00:50
анализ объемов с ленты чикагской биржи явно содержит инфу, которая сможет пролить свет на дальнейшее поведение цены.
Доступ к ленте платный, стоит прилично.
Искать алгоритмы и репетировать надо на истории.

Идея — поиск объемно-ценовых паттернов на мелких ТФ.
Одни и те же крупные игроки, раскачивающие рынок, ведут себя одинаково в течение длительного времени..
Если на протяжении скажем трех месяцев обнаружен паттерн с определенным исходом трижды, то следующие два с большой вероятностью сработают. Естественно. паттерны нужно искать в одних и тех же временных зонах биржевых сессий. Хотя, для крупного игрока нет проблем работать через все биржи мира в любое время.
0
- Cristopher Robin
  02 января 2019, 01:04
  Йоганн, я же правильно понимаю, что эти паттерны вы не глазами ищете, а количественно, как бозон Хигса? Или все таки глазами на графике ряда?
  0
  - Йоганн
    02 января 2019, 07:15
    Cristopher Robin, можно искать при помощи ранкового коррелятора Спирмена,
    рекурсивно масштабируя и смещаа окно семпла.
    Но здесь нужна большая вычислительная мощность, так как каждый новый проход нагружает машину в геометрической прогрессии.
    
    Я бы давно сделал таую вещь, но у меня нет суперкомпьютера для распределенных вычислений. В принципе, я сделал саму искалку и надо только отписать блок, который будет подготавливать и загружать образцовые паттерны в буфер оной.
    Но, когда я просчитал какая загрузка процессора и памяти потребуется, оставил затею.
    
    Другой путь — создание революционного метода параллельных обсчетов одного семпла с разными участками истории и в разном масштабе.
    Я уверен, что это возможно. Но нет ни времени, ни желания этим заниматься. Деньги капают и так…
    0
    - Cristopher Robin
      02 января 2019, 13:43
      Йоганн, вы правы, вопрос метода. Если что то считается долго, как правило существует метод, который позволяет посчитать это в 1000 раз быстрее.
      0
      - Йоганн
        02 января 2019, 18:52
        Cristopher Robin, это Вы хватанули..
        В наш век оптимизации и доступности информации получить такой революционный метод нереально, ибо все уже давно оптимизировано)))
        Я целый год размышлял и экспериментировал, чтоб получить обсчет х2-х4 раза быстрее.
        
        Кстати, как программер верхней квалификации, могли бы мне, дремучему объяснить, как можно под виндой распределить на 4 ядра задачу, в которой обсчет построен на последовательных вычислениях?
        То есть, пока очередной результат не будет готов, нельзя на основе его начинать следующее вычисление.
        
        Многие скажут, это невозможно, но что скажете Вы?
        0
        Cristopher Robin
        02 января 2019, 19:23
        Йоганн, все уже давно оптимизировано, как вы верно заметили, под средний случай. Если ваша задача не похожа на среднюю, то ресурс оптимизации может быть и больше чем три порядка. Но как вы снова верно заметили, с учетом моей топовой квалификации, что-либо объяснять я могу кому-то с чуть менее топовой квалификации. Если вы дремуч, начните с консультаций с кем-то чуть менее дремучим и так постепенно-постепенно накопите необходимый арсенал методов, приемов, хаков.
        0
MadQuant
02 января 2019, 02:22
У меня обратная ситуация — есть программист, нужна идея, платить не готов. Все самое лучшее в этой жизни бесплатно, а мне как раз нужно самое лучшее.

Аффтар, еще 2-е января, до 1-го апреля далеко. Поспи, предложи адекватную цену — авось кого из понимающих людей заинтересует.
0
- Cristopher Robin
  02 января 2019, 02:51
  MadQuant, все «понимающие люди» в этой теме берут деньги напрямую с рынка, нахрена козе баян? Но если честно, то я специально написал что денег не будет чтоб от сраных околорыночников уберечься. Кстати, если что, денег не будет.
  0
baza
02 января 2019, 11:02
Эх. Где бы и мне такого дурака найти
0
- Cristopher Robin
  02 января 2019, 13:44
  bazinga, а зачем вам дурак? чем он вам поможет?)))
  0
LogikoMen
02 января 2019, 11:38
Бесплатно: индикатор RSI показывает разные значения при смещении таймфрейма. Т.е делая кратное равное смещение времени и увеличение RSI вы получите разные результаты ( не значительные для некоторых котировок и значительные для других, но есть). Этого нельзя добиться от скользящей средней. Вывод?
Стоит перепроверить свое утверждение:
«Большинство «финансовых аналитиков» вообще не понимают, что корреляция на каждом фрейме своя, например на малом она может быть устойчиво положительной, а при увеличении фрейма корреляция может становится устойчиво отрицательной.»
0
- Cristopher Robin
  02 января 2019, 13:53
  LogikoMen, я понимаю, но в основном никто не понимает, что инструменты могут быть и скорелированы и одновременно раскорелированы. В основном все видят что при изменении фрейма свойство корреляции слегка меняется, но оно может меняться не слегка, а полностью в обратную сторону.
  0
  - LogikoMen
    02 января 2019, 14:44
    Cristopher Robin, меняется не корреляция, а числовое значение некоторого индикатора. Быстрее всего он считает прирост и убыль на интервале и по определенным данным (у нас их аж 4, а не одно закрытие). Поэтому он то отстает то опережает. Само по себе не интересно, если Вы мне не назовете причину такого поведения. Т.е. неужели есть некое положение, стратегия, психология крупных игроков. Которые распределяют по времени вход или выход из рынка во времени исходя из объемов торгов? Вы заговорили про TWAP, поэтому и вопрос, что вы знаете об его использовании?
    Закономерность либо видна на графике, либо нет. Математика тебе здесь не поможет. Я удивляюсь, как до сих пор никто не понял. Что успешные трейдеры ищут закономерности не в природе движения цены, а в психологии людей, их инструментах, мышлении.
    0
SergeyJu
02 января 2019, 11:47
В каком смысле Вы считаете TWAP опережающим индикатором? Я хочу понять Вашу постановку задачи. Потому что математика должна подстраиваться под образ действий, а не наоборот.
0
- Cristopher Robin
  02 января 2019, 13:49
  SergeyJu, ну просто существует какой-то индикатор, пусть это будет не TWAP, а VWAP, который на каждом фрейме то опережает, то отстает. Просто в случае с VWAP фрейм уже будет не временной а объемный. Задача определить алгоритмически те фреймы, где он устойчиво опережает и те, где он устойчиво отстает.
  0
  - LogikoMen
    02 января 2019, 14:47
    Cristopher Robin, любой нормальный программист тебе выдаст эти значения. Другое дело, что само по себе опережение и отставание — это вращение вокруг нулевой точки. Как понимаю, сами не знаете что хотите.
    0
    - Cristopher Robin
      02 января 2019, 15:03
      LogikoMen, почему вращение, почему не колебание? не говоря уже о том что «нулевой точки» не существует, это совсем иной класс процессов. Уж простите, но вы слишком хуйню пишете, чтоб мне какие то советы давать.
      0
      - LogikoMen
        02 января 2019, 16:28
        Cristopher Robin, а я смотрю четко разделяешь движение вращения от колебания. Колеблющаяся корреляция это еще тот умнейший термин. А нулевая точка это и есть пересечение, или схождение.
        0
  - SergeyJu
    02 января 2019, 17:17
    Cristopher Robin, опережает — значит обладает качественным прогностическим свойством. Это свойство и надо измерить. Предположим, проверяем опережение на 1 такт. Тогда надо проверить статистическую связь между значением индикатора на 0 такте и приращением цены от 0 до +1 такта (например). Событие I(n)><0, результат dY(n)=Y(n+1)-Y(n) (или в логарифмах, или в процентах — по желанию).
    Проверяем, что среднее приращение при условии I(n)>0 существенно отличается от среднего приращения при условии I(n)<0. Например, по критерию Хи квадрат.
    Или любому критерию, который оценивает смещение между двумя выборками.
    0
    - Cristopher Robin
      02 января 2019, 18:13
      SergeyJu, хорошо, допустим я установил наличие лага на один такт, этот лаг обладает стационарными свойствами и отвечает какому-то критерию надежности. Где гарантия что не существует большего лага с такими же или лучшими свойствами?
      0
      - SergeyJu
        02 января 2019, 19:44
        Cristopher Robin, проверьте с другими дельтами. dY2(n)=y(n+2)-y(n+1) Например.
        0