Блог им. spekulyanter

Программирование и трейдинг

Добрый вечер, всем читателям Smart-Lab, пищу приветственный пост сообществу о скитаниях machine learning инженера на бирже. К слову сказать не умею писать статьи, так что готов подключиться к обсуждению в комментариях и не кидайте тапками.

Сфера моих интересов находиться в области IT и статистики. Я machine learning инженер и победитель одного из этапов Цифрового Прорыва 2022 года по Искусственному Интеллекту, интересуюсь как среднесрочными инвестициями, так и спекуляциями внутри дня включая деривативы.

Сначала все было на уровне наблюдений, просмотров различных авторов на Ютубе и конечно выпусков Антикризиса, придя к тому, что лучшие торговые идеи были, когда я заходил в терминал раз в неделю и меньше, я понял, что  хочу исключить любой субъективизм и психологию в принятии решений, а также накопив знания о достаточно большом количестве подходов к анализу рынка акций, фьючерсов — начал тестировать гипотезы с применением навыков программирования и инструментов анализа данных.

Торговый результат нулевой, не открывал сделки, использую терминалы только для доступа к данным, в течении этого года раздумывал над 2 идеями: купить облигации после простоя биржи и шортануть ММВБ через покупку пута после подскока, не решился т.к не обладал достаточно качественным исследованием и математическим обоснованием точки входа, и вообще решил, что так-как я не успел дописать мат. аппарат и систему поддержки принятия решений (не робот, не грааль), то чисто физически не могу учесть ряд аспектов влияющих на ценообразование + риски связанные с остановкой торгов и работой терминалов в период наплыва людей. Перешел к конспектированию происходящего))). Сейчас есть идея на перелой ММВБ и все тот же пут, но считаю что я уже опоздал, так как оплачивать такую премию за волатильность, как стала сейчас уже дорого.

В результате ушел в ML и искусственный интеллект применительно к данной задаче, с попыткой применить имеющиеся навыки для анализа временных рядов, построения конвейеров и работой с планировщиками. Начал по классике с того, что гуглиться по запросу “Stock Price Prediction” и где бы раздобыть данные level I и Level II, желательно по api и бесплатно. На текущий момент, в рамках спекуляций протестировал поиск паттернов с выбором метрики схожести, например, я бы не сказал, что стандартная корреляция достаточно хорошо показывает сходство различных графиков, для этого лучше подходит DTW, так же при запросе в google «прогноз стоимости акций с помощью нейронных сетей» обычно предлагаются разные вариации LSTM сети, которые не то, чтобы хорошо показывают себя на практике. В рамках инвестиционного подхода на основе данных макростатистики (про которую рассказывает Вася и всевозможных данных от ФРС) и данных по показателям компаний в динамике, планирую поиграться со срезами и поиском аномалий во временных рядах классическими способами ML. Так-как в какой-то момент источников данных и идей стало сильно больше, пытаюсь найти единомышленников в области программирования и трейдинга. Командой, обсуждать вопросы, результаты и подвергать друг друга критике намного продуктивнее.

Хочу создать небольшое комьюнити алгоритмистов (уже двоих нашел) и совместно создать некий маленький аналог блумберга с разноплановыми данными фондового и срочного рынка, различной статистики и около рыночными данными (сделки инсайдеров, анализ заголовков новостей и тд). К данным которого мы бы имели удобный доступ из своих скриптов и могли впоследствии программно анализировать с помощью нейронных сетей, мат. методов, генетических алгоритмов и алгоритмов разложения временных рядов. Все методы или подходы, будут совместно обсуждаться тестироваться и иметь математическое обоснование. Это именно комьюнити энтузиастов, которое интересуется торговлей и программированием, с целью совместной разработки и обсуждения.

А теперь самый скользкий момент, если кому-то интересно совместно проводить исследования, собирать различную статистику и данные. Давайте как-то обменяемся контактами и будем надеяться, что это не подпадает под пункт 3.7 правил смартлаба и модераторы не посчитают мой первый пост объявлением. Так-как возможность общаться в личке еще не открыта, оставлю свой ТГ (@ti_ma_k), вк (https://vk.com/id291425446) и конечно присоединюсь к обсуждению в комментариях, а в дальнейшем стать одним из ребят, кто ведет тут алгоблоги. Готов выступить в качестве ментора по сбору данных с точки зрения программирования и анализа методами искусственного интеллекта.

★5
49 комментариев
Хочу создать небольшое комьюнити алгоритмистов (уже двоих нашел) и совместно создать...
«Комитеты гонки не выигрывают» ©

Научитесь создавать вэлью самостоятельно, тогда, если надумаете поделиться, то найдете и компанию и единомышленников. Если они, конечно, вам еще будут нужны :)
Иначе на завод в какую-нибудь алго-контору, младшим сборщиком данных.
Дмитрий Овчинников, 22:53 Псевдоним «Мальчик ...» как раз такой персонаж. Математик, богач, собрал б-о-о-льшую команду и ведёт исследования на зарубежном рынке.
Периодически выступал с намеками на «прорывные открытия». Как там теперь ему «на зарубежных»…
avatar
Rostislav Kudryashov, на зарубежных рынках все отлично. Как ушел в 2012 году с ММВБ, так и не хочу возвращаться…
Дмитрий Овчинников, 
колхоз — дело добровольное, ага.
Автор пока еще ничего не понял, к сожалению для него. 
Халявные ценовые данные по США (дневки) спокойно можно взять на яхе файненс, по нашему рынку на бирже и в Финаме. Всего- то пару дней потрудиться.А за деньги минутки. Если торговать редко и только на себя, то дневок хватит на несколько лет исследований и для торговли.
А собрать команду для алго — дело намного более дорогое и сложное, чем самому научиться торговать  более-менее прибыльно. 
avatar
Что такое «данные level I и Level II» знал да забыл.
Но максимум тиковых данных истории ММВБ на
www.qscalp.ru/download
erinrv.qscalp.ru/
www.qscalp.ru/store/qsh.pdf
Не понял, какое «api», но бесплатно.
Если «api» — в реальном времени, то всё доступно через QLua в Quik'е. И при необходимом минимуме рублей на брокерском счёте — тоже бесплатно.
avatar
Rostislav Kudryashov, тинькоф и фридом понравился больше, а из Quik'a стакан записывал, по средствам все того же QLua
avatar
Я machine learning инженер и победитель одного из этапов Цифрового Прорыва 2022... в течении этого года раздумывал над 2 идеями: купить облигации после простоя биржи и шортануть ММВБ через покупку пута после подскока
Ты давай там это, в холостую-то таланты не трать, шортануть ММВБ и прочие одиночные действия можно и без крутых дата-саенс скиллов делать)).

Начал по классике с того, что гуглиться по запросу “Stock Price Prediction”

Опасное занятие, можно наткнуться на такие граали как: предиктим от текущей свечи на пару-тройку свечей вперед (любым способом, предикт на уровне прошлой цены вполне подойдет), дальше рисуем цену прогнозов на том же графике что и цену фактическую. Они конечно же будут радом идти. Ба, да мы боги трейдинга, походу).

 

Вообще мощный датасаентист в трейдинге это потенциально мощный ресурс, но без опыта трейдинга или хорошего трейдера в команде это может вылиться в очень странные телодвижения с низким КПД.

avatar
Replikant_mih, «мощный датасаентист в трейдинге это потенциально мощный ресурс, но без опыта трейдинга или хорошего трейдера в команде это может вылиться в очень странные телодвижения с низким КПД.» так в любом случае разеваться с командой лучше, а вот насчет является ли торговый опыт плюсом или минусом, это вопрос
avatar
кто ведет тут алгоблоги

Тут чаще алкоблоги. Но удачи.
avatar
Уже писал в соседней ветке про ИИ
smart-lab.ru/blog/questions/844517.php#comment14889683
Rostislav Kudryashov Сегодня в 19:03 «Недавно слушал, как ИИ справляется с диагностикой каких-то болезней по рентгеновским снимкам.
Обучение состояло в предъявлении И.Интеллекту снимков от больных и от здоровых с указанием, кто каков. И.Интеллект врубился быстро. У детей заболевание редко, ИИ научился распознавать детские снимки — все, как здоровые. А взрослые — все больные.
Попробовали подойти иначе. И опять ИИ уцепился за незначимый фактор в предложенной выборке.

Нассим Талеб в «Антихрупкости» пишет, что в достаточно большом наборе данных (БигДата) можно найти любую корреляцию.
Так что без физического осмысления — труба дело.»

Народ не среагировал. Может здесь кто-нибудь.
Я так понимаю, что ИИ — способ оптимизации без перебора всех бесчисленных вариантов. Отбрасывание «лишних» вариантов может увести от правильных решений. И не всегда бессмысленность «Оракула» так очевидна, как в примере.
avatar
Rostislav Kudryashov, ИИ в целом да, но давайте разделять ИИ и ML
avatar
ер и победитель одного из этапов Цифрового Прорыва 2022 года по Искусственному Интеллекту,
Дошел до этих слов и сразу вниз есть ли ссылка на телегу есть. Типичное начало инфоцыгана)
avatar
Zvr, там в VK про какой-то хакатон, это типа как быстро из буханки хлеба и проволоки сделать троллейбус.
В общем баловство.
Вот когда сделает хоть один законченный рабочий продукт, тогда пусть и приходит.
avatar
Sergeyka, все эти программульки до одного места, если у человека нет рабочей торговой системы, вот в чем цинус, а не в умении хорошо программировать… это и роботы могут делать
avatar
Zvr, тут не слово про инфоцыгана)
avatar
Ты победитель прорыва? Расскажи-ка подробнее. Что вы там в цифровом прорыве изобрели. Только без англицких слов
avatar
Доктор, по сути это команда делает прототип решения по поставленной задаче, конкретно мы делали анализ текстов и LSTM ку)))
avatar
Доктор, прорывы разные бывают: может научный прорыв, а может это канализацию прорвало)
avatar
Ничего не получится 
avatar
Сэкономлю тебе года и деньги — нейросети применять в трейдинге бессмысленно. И вообще трейдинг это зло — никакой пользы для общества.
avatar
Судя по этому:

Так-как в какой-то момент источников данных и идей стало сильно больше, пытаюсь найти единомышленников в области программирования и трейдинга.

у парня много энергии, но нет вектора… обычное дело))

Советую сосредоточиться на решении какой-нибудь одной простой и конкретной задачи… например:

Научиться предсказывать направление утренней свечи мамбы с вероятностью 60%.

а за котов, за котов мы же не трындели? : мужской разговор

avatar
Собрались пятиклассники ядерную физику изучать.
«чисто физически не могу учесть ряд аспектов влияющих на ценообразование + риски» — а ни когда и не сможете, т.к. это огромное количество разнородной информации. Это все равно что пытаться анализировать все сайты интернета по 1 000 критериям. Вы хотите стать вторым Яндексом?
За попытку — плюс пять баллов.
За выбор направления — минус пять баллов.
Определитесь с направлением, нужна узкая специализация.
Почитай «Энциклопедия торговых стратегий». Достаточно, чтобы двигаться в правильном направлении.
avatar
Roman Ivanov, читал
avatar
Roman Ivanov, Колби — это энциклопедия рецептов малосъедобных блюд. Уж лучше Кауфмана почитать. Это уже будет что-то типа вводного курса в специальность. Помогает понять некоторые общие принципы. 
А вообще, мастатистика — наше все. Ну, или почти все, если добавить приличное программирование и понимание смысла методов вычислений. 
avatar
Сам алгоритмист, еще двух нашел и… еще с пяток надо?
А хотя бы одного трейдера для разнообразия — в голову не приходило?

Не, ну, если аналог плюмберга, и если чисто математическое обоснование… трейдинга, тогда зачем? Тогда не надо.
avatar
VladMih, так ищу же на смартлабе по-моему все логично
avatar
Сим стоит заниматься, если нравится до безумия сам процесс «поиска Грааля». Если нужен результат здесь и сейчас, то это экзотичное убийство лучших лет в своей жизни. Уж сколько было сломано палок и копей. Биг мани давно об этом знают, потому у них в приоритете инфраструктура (HFT-арбитраж) и/или инсайдерская торговля (сюда же пром. шпионаж и хакинг), но только не этот новомодный ML, предназначение которого в основном это «рисование котиков». Просто задайтесь вопросом, почему тот же Гугл не учредил какой-нить хэдж фонд, который бы работал на принципах AI, ML и прочего. Машинных мощностей и человеческих мозгов у них больше, чем у кого бы то ни было. Бабла тоже. Так почему???

С другой стороны, если нравится сам процесс, то почему бы не заняться прогнозом погоды на юпитере)))
avatar

chizhan, Имея многолетний опыт в ИТ, в том числе западном, и даже получив в подарок книгу лично от Билла Гейтса, скажу что в больших корпорациях типа Гугл все работате как в Роснано.

Всякие прорывы случаются, когда они покупают стартапы с результатми от энтузиастов и уже там масштабируют, используя свое доминирование на рынке и мегабюджеты.

avatar
TwitterMan, тем не менее TensorFlow был разработан в Гугл Брейн. AlphaGo в Google DeepMind. И было бы естественным продолжением создать программу игры не против одного человека(шахматы, го), а против миллионов — биржевой трейдинг. Но ничего не слышно.
avatar
chizhan, шахматы, го и Старкрафт имеют правила. Причем игроки их не нарушают.
Биржа — нет.

Вы предлагаете найти закономерности в прошлом и экстраполировать их на будущее? :). И победить :)?
Серьезно :)?

Против миллионов успешно играют и без нейросетей. Все, что для этого надо — уметь менять правила так, как надо тебе…
avatar
xSVPx, закономерности находятся и обычным ТА «вручную». Имея компьютерные мегамощности впору уже просчитывать каждого трейдера, а затем сложно суммируя, главная нейросеть определяла бы куда пойдет тренд.

Понимаете, если бы люди нарушали свои правила, то не было бы прогресса. Каждый сам за себя и даже порой против себя. Полный хаос. 
avatar
Ты начал с ошибки, рассматриваешь ФР РФ.
avatar
Азат Туктаров, я не слово не писал про то, что выбрал фондовый рынок РФ, на Америке гораздо больше раскрытие информации, как минимум.
avatar
spekulyanter, много лишних данных благом не является. 
avatar
spekulyanter, FATL  тебе в помощь.Следи за ликвидностью.От нее зависит участие в сделке.Защищай 1\2 от книжной прибыли.
avatar
spekulyanter, ты ни слова не написал о том что выбрал рынок Америки, логично  моё предположение отсюда :)
avatar
Каждый день провожу встречи с крутыми нейроалго.
Москва, Большая Академическая 65. Алгоресторан Тануки. Все беседы под тануки меню ))))
Так-как возможность общаться в личке еще не открыта

Рейтинг Вам поднял — можете общаться в личке
avatar
Пока нет конкретной идеи, пустое это все.
А с конкретной рабочей идеей, как правило и МЛ оказывается не нужна — все решается обычной незамороченной математикой 
avatar
Начинать надо не с Stock Price Prediction, а с поиска типов риска биржевой торговли и методов контроля этих рисков.
avatar
Хотите сэкономить много лет жизни — забудьте про ML.
avatar
Вот как раз для машинленингвистов на биржу бабло подвезли, вы как знали! Только вас всё и ждут, умного такого, и ваш ИИ.
avatar
Надо начинать с ссылки на свой гитхаб.
avatar
Да, трейдинг это целая наука. Тут без опыта никак. Нашел граали (не один). Они есть и это факт. Но к сожалению не готов делиться просто так. Был печальный опыт (хотел обменять на опыт по программированию с нуля) — итог один. Программист сливается практически сразу — нет ни желания, ни терпения. Что уж говорить про этот пост. 
avatar

теги блога spekulyanter

....все тэги



UPDONW
Новый дизайн