Постов с тегом "ml": 23

ml


ML в трейдинге, причины эффекта падения метрики качества с ростом вероятности.

К предыдущему посту с тоже конкретным ML вопросом получил отличный фидбек от толковых комментаторов, превзошло мои ожидания, очень круто, ещё раз всем спасибо! 

Уверен, что и по этому вопросу людям будет что сказать.


В общем использую ML для нахождения закономерностей в осмысленных признаках — так можно кратко описать мой подход). Так вот часто наблюдаю такие эффекты и не сформировал пока четкой позиции по их интерпретации, возможно, кто-то в эту сторону уже копал и как-то дальше продвинуться, буду рад почитать какие-то инсайты или просто рассуждения на эту тему. Добро пожаловать в комментарии опять.


Суть явления: всегда оцениваю зависимость между метрикой качества сигналов и вероятностью, выдаваемой моделью по сигналу. Хорошие признаки хорошая модель построит монотонно растущую зависимость. Может быть хаос вместо монотонного роста — значит модель не вывезла — или модель не алё, либо признаковое описание не але, либо слишком много признаков для такого кол-ва данных и т.д. Но часто даже если видно, что модель нащупала смысл в данных, начиная с какой-то вероятности наблюдаются разные явления.

( Читать дальше )

Какие бывают интересные таргеты для ML моделей применительно к трейдингу, товарищи?

Есть у меня подозрения, что ничего мне тут не напишете), но вдруг где-нибудь в комментариях засияет лампочка интересной идеи.


О чем речь: если натягивать ML на рынок можно задачу для ML модели/моделей сводить к разным формам. Форма в данном случае — это условно ответы на вопросы — что есть единичный объект данных (например, одна свеча), что есть признаковое описание, что есть цель.


Самые очевидный в лоб target — цена, приращение цены, направление приращения цены, т.е. регрессия, регрессия, бинарная классификация. Уверен, что можно придумать, много других интересных шаблонов, где не свеча объект не приращение таргет и т.д. Немного пофантазировал, но чутка сложно — видимо, усиленной умственной деятельностью в этом направлении уже загнал мозг в колею, выбраться — небанальная задача.

Дай, думаю, погуглю что-нить. Половина статей — прогнозируют цену — это по-моему вообще ни в какие ворота, любой трейдер скажет, что это бред. Рисуют график OOS, где фактическая цена прет вверх, а предикт цены вообще своей жизнью живет и чем дальше горизонт тем он больше своей жизнью живет. 

( Читать дальше )

Алго: конкуренция сигналов в борьбе за деньги.

Расшифрую название:

Речь о том, что некоторые стратегии генерируют сигналы (купить открыть, продать закрыть, купить закрыть, продать открыть), но не все сигналы достаточно хороши и не все достаточно хороши для данного момента. А деньги получает сигнал, который достаточно хорош, который не достаточно хорош – так и остается просто сигналом, не превращается в ордер.

 

А теперь подробней про зачем это:

У меня сейчас попроще все реализовано, но всегда смотришь в будущее чтоб что-то улучшить. Конкурировать за деньги сигналы могут по-разному – могут совсем глобально – когда есть только сущность сигнала и деньги, и не важно что за стратегии и т.д., лучшие сигналы получают деньги, худшие сосут… лапу. Такой вид конкуренции чуть более революционен и имеет некоторые нюансы, поэтому пока останется за скобками (в частности риск вмешаться в диверсификацию, которая обеспечивается разнообразием стратегий). В данном посте речь о конкуренции за деньги в пределах одной стратегии.



( Читать дальше )

Сегодня че-то много о нейросетях (НС)

    • 09 марта 2021, 16:04
    • |
    • 3Qu
  • Еще
Основной вопрос — может ли НС, и вообще методы МО, прогнозировать рынок?
Зададим более простой вопрос — можно ли НС обучить выполнять оператор if()… else? Ответ очевиден — конечно можно.
А обучить выполнению группы таких операторов? — Не вопрос, конечно можно.
Т.е., НС можно обучить практически любой логике. Вроде, сомнений не вызывает.

Теперь у нас есть заведомо работоспособная прибыльная торговая система (ТС), принимающая решения о покупке/продаже на основе некоторых данных, констант и логики. Решение — это своего рода прогноз. Решение: покупать — это прогноз роста цены актива, продавать — прогноз падения цены.

Итак, если ТС построена на логике, а НС можно успешно обучить любой логике, то НС можно обучить логике нашей прибыльной ТС. А так как решение ТС — это прогнозирование рынка, то НС и другие методы МО без всяких сомнений могут прогнозировать рынок.
Вот, мы с вами все и доказали:
НС и другие методы МО без всяких сомнений могут прогнозировать рынок.


Дарю идею для околорыночного стартапа.

Идея:

Раскрутка околорыночников на смарт-лабе, ну или кого угодно на смарт-лабе.


Суть:

Парсим все посты за все время, вытаскиваем признаковое описание — ну там — длина заголовка, наличие капса в заголовке, ключевые слова, можно заморочиться на NLP (которое не программирование) что-то построить. Таргет у нас кол-во лайков, комментов, звездочек. Обучаем ML модель. Вытаскиваем и нее закономерности, все, у нас есть инструкция как писать выходящие в топ посты и быстро раскрутиться. Дальше можно нанять пару копирайтеров чтобы писали посты по этим инструкциям.

По аналогичной сцене можно вычленить алгоритмы написания провокационных комментариев под постами.

После первых раундов привлечения инвестиций уже можно расширяться, заключать договора с писателями смартлаба, чтобы по вайт-лейблу писали посты для заказчиков.

При дальнейшем расширении с применением нейросетей обучаемся создавать максимально продающие обучающие курсы. Чувак в галстуке на главной странице лендинга? Или девушка с глубоким декольте? Пачка рублей или долларов? — Нейросеть выдаст четкий рецепт лучших обучающих курсов. 

( Читать дальше )

CNN и финансовые TimeSeries

Есть такая CNN, сверточная сеть то бишь. На вход ей подаются картинки, на которых она учится отличать собачек от кошечек.  Меня это, относительно применения на фондовой бирже всегда привлекало.  

Сначала определимся какие рисунки подносим CNN. В качестве рисунков мы можем подать:

  1. Сырые ряды: цены, обьемы, индикаторы
  2. Индикаторы. То есть для каждого значения подсчитать набор тех.индикаторов и красиво оформить их в матрицу. Ведь что такое рисунок? Это всего лишь набор пикселей, каждый пиксель это значение какого то техиндикатора, чем он больше тем пиксель темней. Тут есть даже практическая реализация которой я частично и воспользовался. https://github.com/nayash/stock_cnn_blog_pub
  3. Представить сырые временные ряды в другой системе координат. Например GramianAngularField, где как пишут авторы больше информации. Так блин и пишут. Набиваете в гугле GramianAngularField и выпадает куча ссылок, но мне лично больше понравилась работа иранских товарищей https://arxiv.org/pdf/1810.08923.pdf


( Читать дальше )

Архитектура, при которой стратегия упаковывается в файл. Algo-only.

Придумал интересный подход. Мож кого натолкнет на интересные идеи какие-то.

 

Сейчас начал торговать ML модели. С практической стороны с моделями какая сложность – там есть процесс предобработки данных – генерация признаков в основном (если с точки зрения трейдинговых данных заходить), поэтому нельзя просто сохранить модель, в другом месте загрузить и она будет работать, надо сохранить, загрузить, предобработать исходные данные к тому виду, к которому приучена модель и только тогда она будет работать. К счастью тонна сопутствующих трудозатрат убирается такой классной штукой как пайплайн – сейчас моя модель это 2 пайплайна – один для предобработки данных, другой для предикта (сама модель). Т.е. я где-то что-то рисечу, дальше автоматика упаковывает в пайплайны (2 на модель, как сказал). Все, могу кинуть эти 2 файла в папку с моделями, откуда их забирает торгующий блок и, собственно, отторговывает. Красота. Всякие мета-данные – тикер там, время удержания позиции и прочие мета-логики упаковываю или в сам пайплайн или в название файла. Красота.



( Читать дальше )

Что я понял, обучая модели.

Вернее так: что я увидел, обучая модели. Всякие подобные темы любят поднимать трейдеры, они отлично располагают для пространных рассуждений о рынке и жизни, а я это, можно сказать, увидел наглядно. В общем, наблюдения не что-то гениальное, мной открытое, не грааль, но я это наблюдаю.

 

Что я делаю:

Играюсь с моделями ML, играюсь гипер-параметрами – параметрами самих моделей непосредственно и моими какими-то входящими параметрами. Смотрю как меняются результаты в зависимости от этих параметров.

 

Что я увидел:

  1. Где-то закономерностей объективно больше, где-то объективно меньше. Если прочесываешь график моделями (с разными параметрами) по мат. ожиданию OOS результатов совокупности моделей и по их распределению видно, что из каких-то графиков закономерности извлекаются на ура, а из каких-то со скрипом. В данном случае график это пересечение по тикер-TF-временной отрезок. Да даже если брать только тикер, некоторые, что называется, палку воткни, она зацветёт, а в некоторых надо очень постараться, чтобы нащупать нормальные закономерности.
  2. Похоже, действительно легче прогнозировать на короткие интервалы. Но эта закономерность выглядит не так, как её обычно преподносят. Обычно в ходу какая-то такая версия: чем ближе, тем легче, типа на минуты легче, чем на часы и т.д. Я бы сказал, что подтверждение находит скорее следующее: чем больше отношение горизонта прогноза к длине промежутка времени, данные из которого непосредственно участвуют в прогнозе. Ну т.е. если ты принимаешь решение по 50 свечам, то на 2*50 можно прогнозировать с большей точностью (winrate), чем на 10*50 и т.д. При этом в другом контексте, например, если ты ушел на TF выше, ты эти 10*50 сможешь спрогнозировать уже с хорошей точностью.
  3. Объективно раньше было зарабатывать легче. По ошибке из большого промежутка времени сначала какое-то время брал для обучения данные не самые свежие, а самые древние и удивлялся очень приличным результатам моделей, на свежих данных моделям можно сказать драматически сложнее извлекать закономерности.

Про AI и кибернетику в прогнозировании рынка

 

«Буржуазная печать широко разрекламировала новую науку — кибернетику. Эта модная лжетеория, выдвинутая группкой американских «учёных», претендует на решение всех стержневых научных проблем и на спасение человечества от всех социальных бедствий. Кибернетическое поветрие пошло по разнообразным отраслям знания: физиологии, психологии, социологии, психиатрии, лингвистике и др. По утверждению кибернетиков, поводом к созданию их лженауки послужило сходство между мозгом человека и современными сложными машинами.»

— Ярошевский М. Кибернетика — «наука» мракобесов. — Литературная газета. — 5 апреля 1952. — № 42(2915). — С. 4.

Самое поразительное, что американские ученые претендовали на применимость методов ко всему чему угодно кроме экономики, а наши дебилы отрицали применимость механистического подхода тоже ко всему чему угодно, кроме экономики. Это было 70 лет назад и сейчас повторяется то же самое. Куча дурачков пытается загрузить в AI минутные бары и родить волшебный алгоритм предсказания рынка. Тогда как крупнейшие американские корпорации, владеющие львиной долей прав и патентов по всем этим технологиям, даже собственные экономические процессы не отдают в управление AI и продолжают платить даже микро менеджерам, не говоря уже о предсказании трендов в глобальном масштабе. История таки реально ничему не учит.



Про AI и кибернетику в прогнозировании рынка




Вечер ML на SL: нейронка для RI

    • 12 ноября 2019, 21:23
    • |
    • dt0wer
  • Еще
Пост навеян сообщением коллеги по опасному бизнесу, который бьётся с RF, ну я наконец-то допилил свою нейронку. Тренировалась она на 5-минутках в RI, картинка с результатом тренировок в настоящий момент получается следующая:
Вечер ML на SL: нейронка для RI
Если грубо, то каппа это показатель, который можно трактовать как преимущество прогнозной модели в сравнении с тупым рандомом. F1 это мера, которая определяет, насколько точна модель (отсутствие ложных предсказаний) и одновременно насколько она чувствительна (кол-во пропущенных мячей). Полученные по ним значения 0.924 и >0.9 соответственно, это совершенно запредельная точность «на бумаге».
Что касается confusion matrix, то её можно трактовать как соотношение предсказаний и реальных значений. Как видно, тут тоже всё вроде бы ок, ни один шорт как лонг не был классифицирован и наоборот.

Погонял сейчас на вечёрке, но, как и следовало ожидать, на реальных биржевых данных всё оказалось далеко не так радужно:

( Читать дальше )

....все тэги
UPDONW
Новый дизайн