Постов с тегом "Нейросети": 84

Нейросети


Эволюционирующий ИИ

Чуть больше недели назад выступил на AllDerivatives. Рассказывал о моем личном опыте работы с эволюционирующим ИИ и о попытках применения в торговле. Материала засунул, как сейчас понимаю, избыточно много, в результате выступление получилось слегка скомканным, затянутым и поверхностным, но на удивление, люди, присутствовавшие на выступлении говорят, что получилось интересно.

Во-первых, не ждите глубоких секретов, не ждите граалей. Более того, было больше всего про биологию, меньше про программную реализацию и совсем чуть-чуть про трейдинг.

Во-вторых, это не те дроиды, которых вы ищите это совсем не то, что мы используем, во всяком случае на чужих деньгах в реальной торговле.

Но рассказывал я о том, что реально делал в разное время на протяжении многих лет, что меня давно очень интересует и в чем, смею надеяться, чуть-чуть понимаю ;)


Презу на экране видно плохо, но она есть по ссылке в описании.


Сегодня че-то много о нейросетях (НС)

    • 09 марта 2021, 16:04
    • |
    • 3Qu
  • Еще
Основной вопрос — может ли НС, и вообще методы МО, прогнозировать рынок?
Зададим более простой вопрос — можно ли НС обучить выполнять оператор if()… else? Ответ очевиден — конечно можно.
А обучить выполнению группы таких операторов? — Не вопрос, конечно можно.
Т.е., НС можно обучить практически любой логике. Вроде, сомнений не вызывает.

Теперь у нас есть заведомо работоспособная прибыльная торговая система (ТС), принимающая решения о покупке/продаже на основе некоторых данных, констант и логики. Решение — это своего рода прогноз. Решение: покупать — это прогноз роста цены актива, продавать — прогноз падения цены.

Итак, если ТС построена на логике, а НС можно успешно обучить любой логике, то НС можно обучить логике нашей прибыльной ТС. А так как решение ТС — это прогнозирование рынка, то НС и другие методы МО без всяких сомнений могут прогнозировать рынок.
Вот, мы с вами все и доказали:
НС и другие методы МО без всяких сомнений могут прогнозировать рынок.


ВВЕДЕНИЕ В КОГНИТИВНЫЕ НЕЙРОНАУКИ. Глава 3. Нейроны и связи между ними.

ВВЕДЕНИЕ В КОГНИТИВНЫЕ НЕЙРОНАУКИ. Из учебника МОЗГ. ПОЗНАНИЕ. РАЗУМ.
Электронная книга https://t.me/kudaidem/1879



( Читать дальше )

Паттерны на 60 минутках

На 15 минутках вроде была парочка интересных паттернов, но рассудив что на 60 минутках их будет еще больше, пошел тудысь. Вообще, завозился с этими паттернами, хотя казалось используя питон, да еще и при готовой библиотеке — знай только на разны таймфреймах загоняй котировки в цикле и смотри результат. Вот с оценкой результатов и возникли проблемы. Какие критерии взять? В общем все свелось к ручному просмотру результатов применения тех или иных паттернов. Так что в качеств нейросети работал самая что ни на есть нейросеть-человеческий мозг. Стремился я к стабильности по годам и симметрии.
Отобрал я те что получше и решил прикинуть насколько они вообще годятся для реальной торговли. И тут оказалось что они часто пересекаются с теми системами что я уже использую, и если убрать дни когда я и так в рынке, то для оставшихся дней результаты использования паттернов скромны. Так что по второму циклу я запустил тестирование паттернов для периодов когда мои системы были пассивны. И оказалось что если раньше вполне такими рабочими на 60 минутках казались пара десятков, то сейчас речь идет о 5-6, да и их результаты… ну такие. 

( Читать дальше )

Мои "значки на танчиках"

Лет 12 назад, когда я впервые ковырял тему нейросетей на фондовой бирже, прочитал как кто то облапошился обучая нейросеть распознавать танчики. Нет, сеть результат показала, но как оказалось на картинке с танчиками был какой то значок, а где танчиков не было, значка не было и нейросеть научилась распознавать не танчики, а наличие отсутствие вот этого значка. Запомнилось мне это наверно, потому что это было единственное, что я тогда понял о нейросетях. 
И вот теперь я поймал свои «значки», когда пытался предсказать динамику, на основе CNN+вейвлетпреобразований. Тут подробней. Нет я не заглядывал в будущее, и не так знак поставил где то. Я не стал нормализовывать цены, ибо считал что для CNN не важно все это, картинки они ведь и в Африке картинки, и вот так выглядит картинка вейвлетпробразования для ВТБ с ее копеечными ценами за акцию и Норникель, с его десятками тысячами рублей за акцию:
Мои "значки на танчиках"

( Читать дальше )

Дарю идею для околорыночного стартапа.

Идея:

Раскрутка околорыночников на смарт-лабе, ну или кого угодно на смарт-лабе.


Суть:

Парсим все посты за все время, вытаскиваем признаковое описание — ну там — длина заголовка, наличие капса в заголовке, ключевые слова, можно заморочиться на NLP (которое не программирование) что-то построить. Таргет у нас кол-во лайков, комментов, звездочек. Обучаем ML модель. Вытаскиваем и нее закономерности, все, у нас есть инструкция как писать выходящие в топ посты и быстро раскрутиться. Дальше можно нанять пару копирайтеров чтобы писали посты по этим инструкциям.

По аналогичной сцене можно вычленить алгоритмы написания провокационных комментариев под постами.

После первых раундов привлечения инвестиций уже можно расширяться, заключать договора с писателями смартлаба, чтобы по вайт-лейблу писали посты для заказчиков.

При дальнейшем расширении с применением нейросетей обучаемся создавать максимально продающие обучающие курсы. Чувак в галстуке на главной странице лендинга? Или девушка с глубоким декольте? Пачка рублей или долларов? — Нейросеть выдаст четкий рецепт лучших обучающих курсов. 

( Читать дальше )

CNN+wavelet = blue stocks forecast

После использования вейвлетов для классификации, я конечно сразу попробовал оценить ценность вейвлет для прогнозирования, но тестирование мягко говоря затянулось. Эпох я прогонял много, 600, а одна эпоха это минута. И оставляя нейросеть на ночь я забывал, то одно, то другое. Затем я стал пробовать разные learning rate, датасеты, архитектуры и обнаружилось что тот самый позитивный первоначальный результат (в виде 55% accuracy на валидации и over +75% на тесте) исчез, сеть не могла зацепить ничего, даже на тесте. В пятницу я решил в последний раз прогнать сеть и уже с 50 эпохи сеть начала уверенно обучаться. Обьяснение тому что на том же наборе данных, одна и та же сеть, то обучается, то необучается, у меня одно — каждый раз нейросеть начинает блуждать по гиперплоскости функции ошибки с разных мест, и при одном наборе весов застревает в зоне локальных минимумов, которые чуть-чуть лучше 50%, не в силах перескочить в область более низких минимумов. 
Данные все те же — голубые, отечественные. Тестирую на недельках, прогноз на недельку вперед. 

( Читать дальше )

CNN+wavelet

Займемся бессмыслицей. Никакого прогнозирования, просто попробуем методами вейвлет преобразований и CNN ответить на вопрос — есть или нет разница в цикличности при росте фишки и падении? Эллиот чертил 3 волны вверх и 2 вниз. Давайте почертим и мы.
Данные я взял недельные, от понедельника до пятницы, но с разбивкой по 15 минуткам, итого ряд в 175 элементов. Судя по прошлым результатам, мизерная длина, и никакой цикличности там нет. Но...«а вдруг?!». Ну а разбивка недельная, в надежде уловить недельную цикличность, все таки понедельник это «день тяжелый», пятница это «тяпницы», четверг это маленькая пятница. В общем каждый день недели уникален и помню какие то корреляции/антикорреляции даже были, вроде пятница и понедельник шли вразрез, а четверг и пятница шли вместе. Впрочем точно не помню.
Каждому ряду в 175 отчетов я присвоил лейбл (1 рост, 0 падение). Ряд прогнал через вейлет преобразование, получив квадратную картинку. Все это добро загнал в CNN и стал ждать чего нейросеть намутит. В теории, после вейвлет преобразования, на полученной картинке, не должно быть никакого намека на то росла фишка или нет. Следы наличия тренда присутствуют, но какого именно не указывается. Хотя это не точно. А вот точно что должны быть следы цикличности, и если при росте и падении цикличность разная то точность классификации должна быть больше 0,5… Хотя это не точно.  Ну нам жалко чтоли, попробовать? Пуская нейросетка крутит колесико. Крутило колесико нейросеть долго....:

CNN+wavelet



( Читать дальше )

CNN и финансовые TimeSeries

Есть такая CNN, сверточная сеть то бишь. На вход ей подаются картинки, на которых она учится отличать собачек от кошечек.  Меня это, относительно применения на фондовой бирже всегда привлекало.  

Сначала определимся какие рисунки подносим CNN. В качестве рисунков мы можем подать:

  1. Сырые ряды: цены, обьемы, индикаторы
  2. Индикаторы. То есть для каждого значения подсчитать набор тех.индикаторов и красиво оформить их в матрицу. Ведь что такое рисунок? Это всего лишь набор пикселей, каждый пиксель это значение какого то техиндикатора, чем он больше тем пиксель темней. Тут есть даже практическая реализация которой я частично и воспользовался. https://github.com/nayash/stock_cnn_blog_pub
  3. Представить сырые временные ряды в другой системе координат. Например GramianAngularField, где как пишут авторы больше информации. Так блин и пишут. Набиваете в гугле GramianAngularField и выпадает куча ссылок, но мне лично больше понравилась работа иранских товарищей https://arxiv.org/pdf/1810.08923.pdf


( Читать дальше )

Мои итоги июля 2020: +6.28%

    • 01 августа 2020, 09:41
    • |
    • П М
  • Еще
Мои итоги июля 2020: +6.28%

Основные решения были приняты ещё в июне. Робот максимально упростился. Денег ему выдано мало: 10%, но сняты все тормоза и фильтры, чтобы избежать мучавших меня пропусков хороших движений. Выключил всё нейро. Оставил просто статистику.
Остальное в облигах.

Весь июль болел от коронавируса, поэтому ничего и не думал. Выздоровел. Дальнейших планов пока нет. По стратегии задача дождаться краха. 
Просто ждать и наблюдать, организовывая денежный поток и собирая сбережения. Вложенное не трогать, новое направлять по ситуации.
Банковские депозиты упали до 3+%, что какбы намекает.
На какие-то рисковые эксперименты, вроде опционов, пока что-то и не тянет.
В такие моменты обычно начинаю заниматься технической частью, что-то ускоряю, что-то оптимизирую. Но даже в этом сейчас нет необходимости.
Всё выглядит достаточно готовым. 
Есть некоторое чувство, что тема для меня исчерпана.

....все тэги
UPDONW
Новый дизайн