Блог им. spekulyanter

Программирование и трейдинг

Добрый вечер, всем читателям Smart-Lab, пищу приветственный пост сообществу о скитаниях machine learning инженера на бирже. К слову сказать не умею писать статьи, так что готов подключиться к обсуждению в комментариях и не кидайте тапками.

Сфера моих интересов находиться в области IT и статистики. Я machine learning инженер и победитель одного из этапов Цифрового Прорыва 2022 года по Искусственному Интеллекту, интересуюсь как среднесрочными инвестициями, так и спекуляциями внутри дня включая деривативы.

Сначала все было на уровне наблюдений, просмотров различных авторов на Ютубе и конечно выпусков Антикризиса, придя к тому, что лучшие торговые идеи были, когда я заходил в терминал раз в неделю и меньше, я понял, что  хочу исключить любой субъективизм и психологию в принятии решений, а также накопив знания о достаточно большом количестве подходов к анализу рынка акций, фьючерсов — начал тестировать гипотезы с применением навыков программирования и инструментов анализа данных.

Торговый результат нулевой, не открывал сделки, использую терминалы только для доступа к данным, в течении этого года раздумывал над 2 идеями: купить облигации после простоя биржи и шортануть ММВБ через покупку пута после подскока, не решился т.к не обладал достаточно качественным исследованием и математическим обоснованием точки входа, и вообще решил, что так-как я не успел дописать мат. аппарат и систему поддержки принятия решений (не робот, не грааль), то чисто физически не могу учесть ряд аспектов влияющих на ценообразование + риски связанные с остановкой торгов и работой терминалов в период наплыва людей. Перешел к конспектированию происходящего))). Сейчас есть идея на перелой ММВБ и все тот же пут, но считаю что я уже опоздал, так как оплачивать такую премию за волатильность, как стала сейчас уже дорого.

В результате ушел в ML и искусственный интеллект применительно к данной задаче, с попыткой применить имеющиеся навыки для анализа временных рядов, построения конвейеров и работой с планировщиками. Начал по классике с того, что гуглиться по запросу “Stock Price Prediction” и где бы раздобыть данные level I и Level II, желательно по api и бесплатно. На текущий момент, в рамках спекуляций протестировал поиск паттернов с выбором метрики схожести, например, я бы не сказал, что стандартная корреляция достаточно хорошо показывает сходство различных графиков, для этого лучше подходит DTW, так же при запросе в google «прогноз стоимости акций с помощью нейронных сетей» обычно предлагаются разные вариации LSTM сети, которые не то, чтобы хорошо показывают себя на практике. В рамках инвестиционного подхода на основе данных макростатистики (про которую рассказывает Вася и всевозможных данных от ФРС) и данных по показателям компаний в динамике, планирую поиграться со срезами и поиском аномалий во временных рядах классическими способами ML. Так-как в какой-то момент источников данных и идей стало сильно больше, пытаюсь найти единомышленников в области программирования и трейдинга. Командой, обсуждать вопросы, результаты и подвергать друг друга критике намного продуктивнее.

Хочу создать небольшое комьюнити алгоритмистов (уже двоих нашел) и совместно создать некий маленький аналог блумберга с разноплановыми данными фондового и срочного рынка, различной статистики и около рыночными данными (сделки инсайдеров, анализ заголовков новостей и тд). К данным которого мы бы имели удобный доступ из своих скриптов и могли впоследствии программно анализировать с помощью нейронных сетей, мат. методов, генетических алгоритмов и алгоритмов разложения временных рядов. Все методы или подходы, будут совместно обсуждаться тестироваться и иметь математическое обоснование. Это именно комьюнити энтузиастов, которое интересуется торговлей и программированием, с целью совместной разработки и обсуждения.

А теперь самый скользкий момент, если кому-то интересно совместно проводить исследования, собирать различную статистику и данные. Давайте как-то обменяемся контактами и будем надеяться, что это не подпадает под пункт 3.7 правил смартлаба и модераторы не посчитают мой первый пост объявлением. Так-как возможность общаться в личке еще не открыта, оставлю свой ТГ (@ti_ma_k), вк (https://vk.com/id291425446) и конечно присоединюсь к обсуждению в комментариях, а в дальнейшем стать одним из ребят, кто ведет тут алгоблоги. Готов выступить в качестве ментора по сбору данных с точки зрения программирования и анализа методами искусственного интеллекта.

| ★5
50 комментариев
Хочу создать небольшое комьюнити алгоритмистов (уже двоих нашел) и совместно создать...
«Комитеты гонки не выигрывают» ©

Научитесь создавать вэлью самостоятельно, тогда, если надумаете поделиться, то найдете и компанию и единомышленников. Если они, конечно, вам еще будут нужны :)
Иначе на завод в какую-нибудь алго-контору, младшим сборщиком данных.
Дмитрий Овчинников, 22:53 Псевдоним «Мальчик ...» как раз такой персонаж. Математик, богач, собрал б-о-о-льшую команду и ведёт исследования на зарубежном рынке.
Периодически выступал с намеками на «прорывные открытия». Как там теперь ему «на зарубежных»…
avatar
Rostislav Kudryashov, на зарубежных рынках все отлично. Как ушел в 2012 году с ММВБ, так и не хочу возвращаться…
Дмитрий Овчинников, 
колхоз — дело добровольное, ага.
Автор пока еще ничего не понял, к сожалению для него. 
Халявные ценовые данные по США (дневки) спокойно можно взять на яхе файненс, по нашему рынку на бирже и в Финаме. Всего- то пару дней потрудиться.А за деньги минутки. Если торговать редко и только на себя, то дневок хватит на несколько лет исследований и для торговли.
А собрать команду для алго — дело намного более дорогое и сложное, чем самому научиться торговать  более-менее прибыльно. 
avatar
Что такое «данные level I и Level II» знал да забыл.
Но максимум тиковых данных истории ММВБ на
www.qscalp.ru/download
erinrv.qscalp.ru/
www.qscalp.ru/store/qsh.pdf
Не понял, какое «api», но бесплатно.
Если «api» — в реальном времени, то всё доступно через QLua в Quik'е. И при необходимом минимуме рублей на брокерском счёте — тоже бесплатно.
avatar
Rostislav Kudryashov, тинькоф и фридом понравился больше, а из Quik'a стакан записывал, по средствам все того же QLua
avatar
Я machine learning инженер и победитель одного из этапов Цифрового Прорыва 2022... в течении этого года раздумывал над 2 идеями: купить облигации после простоя биржи и шортануть ММВБ через покупку пута после подскока
Ты давай там это, в холостую-то таланты не трать, шортануть ММВБ и прочие одиночные действия можно и без крутых дата-саенс скиллов делать)).

Начал по классике с того, что гуглиться по запросу “Stock Price Prediction”

Опасное занятие, можно наткнуться на такие граали как: предиктим от текущей свечи на пару-тройку свечей вперед (любым способом, предикт на уровне прошлой цены вполне подойдет), дальше рисуем цену прогнозов на том же графике что и цену фактическую. Они конечно же будут радом идти. Ба, да мы боги трейдинга, походу).

 

Вообще мощный датасаентист в трейдинге это потенциально мощный ресурс, но без опыта трейдинга или хорошего трейдера в команде это может вылиться в очень странные телодвижения с низким КПД.

avatar
Replikant_mih, «мощный датасаентист в трейдинге это потенциально мощный ресурс, но без опыта трейдинга или хорошего трейдера в команде это может вылиться в очень странные телодвижения с низким КПД.» так в любом случае разеваться с командой лучше, а вот насчет является ли торговый опыт плюсом или минусом, это вопрос
avatar
кто ведет тут алгоблоги

Тут чаще алкоблоги. Но удачи.
avatar
Уже писал в соседней ветке про ИИ
smart-lab.ru/blog/questions/844517.php#comment14889683
Rostislav Kudryashov Сегодня в 19:03 «Недавно слушал, как ИИ справляется с диагностикой каких-то болезней по рентгеновским снимкам.
Обучение состояло в предъявлении И.Интеллекту снимков от больных и от здоровых с указанием, кто каков. И.Интеллект врубился быстро. У детей заболевание редко, ИИ научился распознавать детские снимки — все, как здоровые. А взрослые — все больные.
Попробовали подойти иначе. И опять ИИ уцепился за незначимый фактор в предложенной выборке.

Нассим Талеб в «Антихрупкости» пишет, что в достаточно большом наборе данных (БигДата) можно найти любую корреляцию.
Так что без физического осмысления — труба дело.»

Народ не среагировал. Может здесь кто-нибудь.
Я так понимаю, что ИИ — способ оптимизации без перебора всех бесчисленных вариантов. Отбрасывание «лишних» вариантов может увести от правильных решений. И не всегда бессмысленность «Оракула» так очевидна, как в примере.
avatar
Rostislav Kudryashov, ИИ в целом да, но давайте разделять ИИ и ML
avatar
ер и победитель одного из этапов Цифрового Прорыва 2022 года по Искусственному Интеллекту,
Дошел до этих слов и сразу вниз есть ли ссылка на телегу есть. Типичное начало инфоцыгана)
avatar
Zvr, там в VK про какой-то хакатон, это типа как быстро из буханки хлеба и проволоки сделать троллейбус.
В общем баловство.
Вот когда сделает хоть один законченный рабочий продукт, тогда пусть и приходит.
avatar
Sergeyka, все эти программульки до одного места, если у человека нет рабочей торговой системы, вот в чем цинус, а не в умении хорошо программировать… это и роботы могут делать
avatar
Zvr, тут не слово про инфоцыгана)
avatar
Ты победитель прорыва? Расскажи-ка подробнее. Что вы там в цифровом прорыве изобрели. Только без англицких слов
avatar
Доктор, по сути это команда делает прототип решения по поставленной задаче, конкретно мы делали анализ текстов и LSTM ку)))
avatar
Доктор, прорывы разные бывают: может научный прорыв, а может это канализацию прорвало)
avatar
Ничего не получится 
avatar
Сэкономлю тебе года и деньги — нейросети применять в трейдинге бессмысленно. И вообще трейдинг это зло — никакой пользы для общества.
avatar
Судя по этому:

Так-как в какой-то момент источников данных и идей стало сильно больше, пытаюсь найти единомышленников в области программирования и трейдинга.

у парня много энергии, но нет вектора… обычное дело))

Советую сосредоточиться на решении какой-нибудь одной простой и конкретной задачи… например:

Научиться предсказывать направление утренней свечи мамбы с вероятностью 60%.

а за котов, за котов мы же не трындели? : мужской разговор

avatar
Собрались пятиклассники ядерную физику изучать.
«чисто физически не могу учесть ряд аспектов влияющих на ценообразование + риски» — а ни когда и не сможете, т.к. это огромное количество разнородной информации. Это все равно что пытаться анализировать все сайты интернета по 1 000 критериям. Вы хотите стать вторым Яндексом?
За попытку — плюс пять баллов.
За выбор направления — минус пять баллов.
Определитесь с направлением, нужна узкая специализация.
Почитай «Энциклопедия торговых стратегий». Достаточно, чтобы двигаться в правильном направлении.
avatar
Roman Ivanov, читал
avatar
Roman Ivanov, Колби — это энциклопедия рецептов малосъедобных блюд. Уж лучше Кауфмана почитать. Это уже будет что-то типа вводного курса в специальность. Помогает понять некоторые общие принципы. 
А вообще, мастатистика — наше все. Ну, или почти все, если добавить приличное программирование и понимание смысла методов вычислений. 
avatar
Сам алгоритмист, еще двух нашел и… еще с пяток надо?
А хотя бы одного трейдера для разнообразия — в голову не приходило?

Не, ну, если аналог плюмберга, и если чисто математическое обоснование… трейдинга, тогда зачем? Тогда не надо.
avatar
VladMih, так ищу же на смартлабе по-моему все логично
avatar
Сим стоит заниматься, если нравится до безумия сам процесс «поиска Грааля». Если нужен результат здесь и сейчас, то это экзотичное убийство лучших лет в своей жизни. Уж сколько было сломано палок и копей. Биг мани давно об этом знают, потому у них в приоритете инфраструктура (HFT-арбитраж) и/или инсайдерская торговля (сюда же пром. шпионаж и хакинг), но только не этот новомодный ML, предназначение которого в основном это «рисование котиков». Просто задайтесь вопросом, почему тот же Гугл не учредил какой-нить хэдж фонд, который бы работал на принципах AI, ML и прочего. Машинных мощностей и человеческих мозгов у них больше, чем у кого бы то ни было. Бабла тоже. Так почему???

С другой стороны, если нравится сам процесс, то почему бы не заняться прогнозом погоды на юпитере)))
avatar

chizhan, Имея многолетний опыт в ИТ, в том числе западном, и даже получив в подарок книгу лично от Билла Гейтса, скажу что в больших корпорациях типа Гугл все работате как в Роснано.

Всякие прорывы случаются, когда они покупают стартапы с результатми от энтузиастов и уже там масштабируют, используя свое доминирование на рынке и мегабюджеты.

avatar
TwitterMan, тем не менее TensorFlow был разработан в Гугл Брейн. AlphaGo в Google DeepMind. И было бы естественным продолжением создать программу игры не против одного человека(шахматы, го), а против миллионов — биржевой трейдинг. Но ничего не слышно.
avatar
chizhan, шахматы, го и Старкрафт имеют правила. Причем игроки их не нарушают.
Биржа — нет.

Вы предлагаете найти закономерности в прошлом и экстраполировать их на будущее? :). И победить :)?
Серьезно :)?

Против миллионов успешно играют и без нейросетей. Все, что для этого надо — уметь менять правила так, как надо тебе…
avatar
xSVPx, закономерности находятся и обычным ТА «вручную». Имея компьютерные мегамощности впору уже просчитывать каждого трейдера, а затем сложно суммируя, главная нейросеть определяла бы куда пойдет тренд.

Понимаете, если бы люди нарушали свои правила, то не было бы прогресса. Каждый сам за себя и даже порой против себя. Полный хаос. 
avatar
Ты начал с ошибки, рассматриваешь ФР РФ.
Азат Туктаров, я не слово не писал про то, что выбрал фондовый рынок РФ, на Америке гораздо больше раскрытие информации, как минимум.
avatar
spekulyanter, много лишних данных благом не является. 
avatar
spekulyanter, FATL  тебе в помощь.Следи за ликвидностью.От нее зависит участие в сделке.Защищай 1\2 от книжной прибыли.
avatar
spekulyanter, ты ни слова не написал о том что выбрал рынок Америки, логично  моё предположение отсюда :)
Каждый день провожу встречи с крутыми нейроалго.
Москва, Большая Академическая 65. Алгоресторан Тануки. Все беседы под тануки меню ))))
Так-как возможность общаться в личке еще не открыта

Рейтинг Вам поднял — можете общаться в личке
avatar
Пока нет конкретной идеи, пустое это все.
А с конкретной рабочей идеей, как правило и МЛ оказывается не нужна — все решается обычной незамороченной математикой 
avatar
Начинать надо не с Stock Price Prediction, а с поиска типов риска биржевой торговли и методов контроля этих рисков.
avatar
Хотите сэкономить много лет жизни — забудьте про ML.
avatar
Вот как раз для машинленингвистов на биржу бабло подвезли, вы как знали! Только вас всё и ждут, умного такого, и ваш ИИ.
avatar
Надо начинать с ссылки на свой гитхаб.
avatar
Да, трейдинг это целая наука. Тут без опыта никак. Нашел граали (не один). Они есть и это факт. Но к сожалению не готов делиться просто так. Был печальный опыт (хотел обменять на опыт по программированию с нуля) — итог один. Программист сливается практически сразу — нет ни желания, ни терпения. Что уж говорить про этот пост. 
avatar
Не забросили в итоге?
Какими библиотеками пользовались?

Читайте на SMART-LAB:
Фото
Рынок облигаций: новые размещения от крупных российских компаний
Рассмотрим параметры двойного размещения АФК «Система» со значительной премией к рыночной доходности, а также условия нового валютного...
ИИ в России выходит в правовое поле: что это значит для рынка и инвесторов #ЭкспертыSOFL
Дорогие инвесторы! Мы запускаем новую отраслевую рубрику, которая называется #ЭкспертыSOFL. В рамках этой рубрики каждую неделю будем разбирать...
Котировки Базиса скорректировались на отчете по МСФО за 2025 год
На фоне небольшого роста российского фондового рынка акции высокотехнологичной группы компаний Базис 25 февраля падают на 3,7%, до 141,27 руб.При...
Фото
Актуализация взгляда на акции Северстали: пришло ли время покупать?
Здравствуйте! Хочу поделиться актуальным видением на бизнес Северстали и стоимость акций в условиях текущей неблагоприятной рыночной конъюнктуры....

теги блога spekulyanter

....все тэги



UPDONW
Новый дизайн