Блог им. 3Qu

Все надоело или Deep Lerning (Глубокое Обучение).

    • 29 апреля 2023, 23:09
    • |
    • 3Qu
  • Еще
Что-то скучно, в самом деле, -
Думал Мао с Ляо Бянем.
 © В.Высоцкий

Последние, этак, лет десять, все мои торговые системы (ТС) похожи как близнецы-братья, с некоторыми вариациями. Открываешь котировки на истории, смотришь их параметры, заполняешь шаблон ТС, немного настраиваешь параметры, без всяких оптимизаторов, вручную, и получаешь стратегию уже готовую к применению. Можно даже контрольные тесты не проводить, и так ясно, что будет работать.
Так, недавно сделал стратегию для Binance, фьючерса BTCBUSD. История, всего 3 месяца. Проверил на истории за год — все работает, с теми же, примерно, результатами. Показывал ранее где-то в комментариях.
С Binance совсем другие проблемы, не технического плана, и стратегия так и повисла в воздухе до лучших времен. А с МОЕХ я ушел уже больше года назад — че-то, как-то, кисло там все. Уже после 14-го года стало кисло, а сейчас тем более.
В общем, скучно стало, в самом деле, в течение 10-лет заниматься почти одним и тем же. Время есть, все равно на рынке не функционирую, почему бы не заняться чем-нибудь существенно новым. В тоже время, с новыми идеями тоже плохо. И тут я вспомнил свои эксперименты с машинным обучением где-то 5-ти летней давности, где  с помощью нейросети предсказывались  котировки на 5 минут вперед. Вполне успешный эксперимент.
Все надоело или Deep Lerning (Глубокое Обучение).
По х — прогноз на 5 минут, по У — реальное значение цены.
Тогда этот эксперимент так и закончился экспериментом и никуда далее не пошел — не было надобности. Сейчас же все существенно поменялось — в широком доступе появились новые, оч продвинутые системы машинного обучения (МО), компьютеры стали много мощнее и быстрее, да, просто возможностей стало много больше. Отчего бы не попробовать, — пусть МО само ищет «закономерности» в истории инструментов. Найдет — хорошо. Не найдет — не догоню, так согреюсь. Да, и интересно, в конце концов.
Вначале хотел делать на старом и хорошо знакомом пакете scikit-learn, но подумав, решил — новое, так новое, пусть, уж, все будет новое. Сейчас наиболее распространенный и применяемый пакет МО — TensorFlow от Google и включенный в него пакет МО Keras. Вся эта хрень настолько продвинута, что без бутылки не разберешься. Не, че-то простенькое можно и сходу сделать, но что и как делать со всей этой радостью, вообще непонятно. Пришлось к бутылке приобретать книгу - Франсуа Шолле, Глубокое обучение на Python, Второе международное издание. Франсуа Шолле — это автор Keras. Информация из первых рук, так сказать.
Первые 100 страниц уже освоил — там ничего нового для тех, кто уже имел дело с нейросетями. Хотя, новое немного есть — показано как работать с некоторыми базовыми элементами Keras, пока без подробностей.
В общем, начал искать новые идеи для построения торговых систем в машинном обучении. Особых надежд не возлагаю, но вдруг что-то в голову придет, да и новая информация никогда не помешает.
★5
40 комментариев
Раньше параметры подгонял человек, теперь нейроночка
avatar
Бро!

Не нужно путать пруху с собственной гениальностью.

То, что ты юзаешь, это простые линейные алго в маркетной модели исполнения. Лет 15 назад они работали на форексе, лет 5 назад — на крипте.

Ты просто поймал период, когда они работали на росс. рынке (я с него ушел в 2012) — и решил, что ты познал дзен.
В реалии все эти алго стремятся к состоянию, когда прибыль на сделку становится меньше спреда. Ты уже поймал начало этого процесса на ФОРТС и на Бинансе.

Дальше будет только хуже. И в работу вступает совсем другая математика. А свои наработки можешь сохранить для истории.
Как тестовые — они да, годятся.
Как боевые — нет. На сегодня это детский сад.

С уважением
avatar
Мальчик buybuy, полная ерунда. Для начала, ты представления не имеешь о стратегиях, которыми я занимаюсь.)
Я о твоих тоже. То, что ты здесь, на СЛ, пишешь, серьезно можно не воспринимать.
avatar
3Qu, я не прошу воспринимать серьезно то, что я пишу

Что касается тебя, бро, то твои стратегии можно реконструировать
1. Из твоих рассуждений о фильтрации
2. Из твоих примеров (2-я линейная производная)

С уважением
avatar
Мальчик buybuy, ты в этом вообще не разбираешься.)) Тебя в ВУЗе этому не учили, а это целая отдельная область. Ты ей не владеешь.

Рассуждай токмо о том, о чем понятия твои тебе сие дозволяют. Так: не зная законов языка ирокезского, можешь ли ты делать такое суждение по сему предмету, которое не было бы неосновательно и глупо? ©
avatar
3Qu, я чистые математик

Поэтому
1. Меня в университете учили тому, чему тебя не учили точно
2. А главное — научили учиться
3. После этого в ВПК я учился примерно тому, что и ты (явно не идентичному, но математика работы БЧ и систем самонаведения вплотную связана с разнообразнейшей обработкой сигналов)
4. В связи с этим немного умею читать между строк

С уважением
avatar
Мальчик buybuy, ну, и молодец.)
1. Меня в университете учили тому, чему тебя не учили точно
Ну, и че? Банальность. На разных специальностях разные программы.
avatar
Мальчик buybuy, а какая математика вступает там в работу, если не секрет?
avatar
Kot_Begemot, Вы про что конкретно?

А то мы тут много уже чего понаписали )))

С уважением
avatar

Мальчик buybuy, 

То, что ты юзаешь, это простые линейные алго [...] Дальше будет только хуже. И в работу вступает совсем другая математика. А свои наработки можешь сохранить для истории.

Про это. 

 

avatar
Kot_Begemot, ну, это длинная тема

Все мы, и я, и уважаемый 3Qu, и еще 100500 человек начинали с линейных стационарных индикаторов — ТС принимает решение в зависимости от знака взвешенной линейной комбинации приращений цен.

Это разумно, т.к. так значительно проще считать.

На молодых рынках такие системы сразу приводят к хорошему профиту (FX до 2000, крипта до 2018, судя по экспериментам 3Qu и ФОРТС до 2020 примерно).

В дальнейшем системы тоже работают, но профит на сделку стремится к спреду и даже становится меньше него, так что смысл в эксплуатации таких систем постепенно пропадает.

Один из способов борьбы — переход на работу лимитными ордерами. К сожалению, лимитная эквити зависит нелинейно (полиномиально) от массива значений ВСЕХ предыдущих индикаторов, что приводит к нетривиальной и очень задумчивой математике...

С уважением

Мальчик buybuy, хм, спасибо, я в эту сторону как-то не думал... 

avatar
Мальчик buybuy, 
зависит нелинейно (полиномиально) от массива значений ВСЕХ предыдущих индикаторов, что приводит к нетривиальной и очень задумчивой математике...
В этом ключе ни хрена там ни от чего не зависит.)) Особенно от истории, особенно от длинной истории. Какая тебе разница на историю СБ, кроме статистики этого блуждания. Все только здесь и сейчас, на остальное можно наплевать и забыть.
avatar
И да )))

Оптимальный (в среднеквадратичном) прогноз будущей цены имеет очень опосредованное отношение к оптимальной (в части заработка) торговой системе.

Это простое математическое рассуждение.
Жаль, что немногие это понимают...

С уважением
avatar
sclearn это по сути разные статистики. там нет нейросетей.
а tensorflow это нейросети.
avatar
Mityan, 
там нет нейросетей.
Есть. Посмотрите внимательней. MLP и SVM, уж, точно.)
avatar
3Qu, SVM это не нейросеть, а MLP — ну, ок, можно считать — простейшая полносвязная нейросеть.
Но, конечно, если уж хочется использовать нейросети — то лучше все-таки взять другую библиотеку.
avatar
Mityan, 
SVM это не нейросеть,
Это вопрос терминологии.) В литературе по НС SVM рассматривается именно как подмножество НС. Собственно, и ничем не отличается, кроме отсутствия функции активации.
avatar
я так понял тут первое и второе место в Форбсе спорят?;)
А по теме на Keras строил сеть для предсказывания курса битка правда для дневок.Что то конечно есть, но не скажу что грааль граальный, может дальше надо крутить, но для себя пока смысла не вижу ибо чуть интереснее вещи есть(лично для меня) не связанные с МL и сетями.
Может когда совсем скучно станет или долгие зимние вечера придут, то опять буду ковыряться)Вообще конечно тема сеток и ML очень интересна.
avatar
matroskin, тут спорят? О чем?
avatar
Вот показываете нам тут красивые графики всё, а как спросишь, так ничего из этого не торгуется… То ли жалко такие красивые системы рыночной грязью пачкать, то ли чего 
avatar
где тут базис а где надстройка?
avatar
Да вся ента алготорговля, шляпа!!!
Попробуйте алгоритм на новости, на графиках и обычные регрессионные ARIMA и Prophet работает, а вот на новостях там более точные прогнозы можно получить
avatar
Konstantin Ignatev, для интрадея новостей не напасесся.))
avatar
3Qu, внутри дня как раз больше новостные импульсы цену двигают, а для новостей есть библиотеки для rss фидеров
Может у вас бектестер кривой? А то подозрительно, стратегии легко лепятся, везде работают, а отовсюду ушел ) Где логика?
avatar
Roman Ivanov, я не использую оптимизатор, в топике это написано. А почему ушел с МОЕХ — об этом я уже писал, целый топик был.
avatar
3Qu, имел в виду бектестер.
avatar
Roman Ivanov, а это оч сложно? Всего лишь цикл while(), в котором работает стратегия, и ничего более.)
avatar
3Qu, все можно испоганить, взять хотя бы MT3, там придумали какой-то там «возновой алгоритм» можелирования страт и он иногда выдавал что попало. Можно издержки не учитывать или неверно учитывать. Мало ли.
avatar
Roman Ivanov, МТ, это вообще отдельная песня.)
avatar
Пришлось к бутылке приобретать книгу - Франсуа Шолле, Глубокое обучение на Python, Второе международное издание. Франсуа Шолле — это автор Keras. Информация из первых рук, так сказать.

В моем случае это была бутылка, дубль Шолле — " Глубокое обучение на R" и карточка Nvidia GTX 1060.
Но видимо придется окончательно переползать на Python.
Кстати, для Keras есть отличная документация на русском:
ru-keras.com/home/

avatar
Но видимо придется окончательно переползать на Python.
R мне не понравился сразу и резко. Завязал с ним очень быстро.
Вот Python зашел сразу. Уже лет 5 или 7 на нем сижу. Оч рекомендую.
Имхо, начинать лучше с Anaconda — все включено и ничего не надо настраивать. Сейчас уже сижу на чистом Python от производителя.
Кстати, для Keras есть отличная документация на русском:
ru-keras.com/home/
Для Keras и на английском (https://keras.io/) ничего, но это скорее справочник.
ru-keras.com/home/  — спасибо. Насколько отличная пока не понял, но то, что пойдет — это точно.
avatar
Для начала наверное пойдет. Только надо иметь ввиду, что ресурс, который на этом пиарится (Университет искусственного интеллекта) сильно смахивает на махровых инфоцыган. И на мой взгляд Keras и Tensorflow штуки хорошие, но слишком универсальные. Для решения конкретной проблемы лучше использовать что-то более специально для этого заточенное.
avatar
Synthetic, да, мутный университет какой-то. Однако, материал по Керас есть, может и пригодится.
Что касается универсальности, это и хорошо. Книгу почитал немного, возможности и перспективы оч неплохие. Уже хочу попробовать пару фишек — с уточнением стопа и вторую, с уменьшением количества убыточных сделок в уже имеющейся ТС. Мож что получится.
avatar
Keras то довольно простой, сложно это если писать на Tensorflow.
А Keras как раз обертка над эти чтобы просто было писать на питоне
avatar

теги блога 3Qu

....все тэги



UPDONW
Новый дизайн