Блог им. Replikant_mih

Натягиваю ML поверх паттернов.

Текущее экспериментальное направление рисеча в алго – графические паттерны. Формализовал и алгоритмизировал выявление нескольких паттернов. Они в таком сыром виде работают, но не космос. Чтобы было космосее формализовал и алгоритмизировал выделение фичей (они же параметры, они же метрики, свойства – как хотите) паттерна. Ну т.е. паттерн-то он паттерн, но конкретные матчи (кейсы) они же все разные, а чем они разные? – Вот в частности значениями этих фичей. По сути, я ушел на следующий уровень абстракции (сам паттерн – первый уровень, его характеристики – второй). Ну и чтобы работать со свойствами паттерна было удобней традиционно поверх небольшим слоем размазал ML.

 

 

Текущие сложности в этом направлении:

— В моей формализации долго (относительно) ищутся паттерны на окне (зависит от размера окна), поэтому, в частности, насобирать большую выборку для ML долго, а на небольшой, например, много фичей паттерна сразу не оценишь на профпригодность. Для торговли скорости приемлемые если не слишком малые ТФ и не слишком много тикеров одновременно.

 

 

Флоу в целом у меня отлажен, так что то, что здесь паттерны и ML не мешает запустить экспериментальную стратегию на бою. Пока предварительно получается несколько улучшить эффективность относительно сырых паттернов, но более стратегически – сейчас накапливаю датасет для полноценного обучения моделей.

 

 

Пост не преследует целей поведать грааль, максимум – расшевелить воображение, простимулировать творческие рисеч-способности.

★2
99 комментариев
А расскажите лучше как вы паттерны выделяете?… Я к сожалению так и не закончил разбивку датесета, даже подумывал индусам заплатить… но появились другие более важные дела, так что весь рисерч… как немцы говорят… ауф айс гелегт… )
avatar
CloseToAlgoTrading, Речь про разметку руками? У меня алгоритмизирована разметка + в моем подходе разные ключевые точки паттерна размечаются, поэтому фичи выделять проще (ну и в принципе из-за этого это возможно).
avatar
Replikant_mih, Да, про разметку руками, с автоматической конечно лучше, но автоматическая часто пропускает, то что можно отнести к одной группе или кластеру паттернов. 
А есть статистика по выборке, какой результат хорошо выбранных паттернов, пропущенных и ошибочно выбранных? 
Мне просто интересно, никаких идей украсть не хочу, но Вы вроде этой фобией не страдаете ;)
avatar

CloseToAlgoTrading, Ну вот если пользоваться подходом, описываемым RTT, будут пропуски точно, а будет ли лишнее — тут уже как опишешь, ты, условно, переходишь на описание логики, оперируя экстремумами, на этом уровне задаешь как должен выглядеть паттерн и много ли будет лишнего находиться.

Мой подход исключает пропуски (расплачиваюсь медленной скоростью). А вот с лишними я борюсь с помощью ML — если какой-то паттерн плох, «не красив» — модель наоборот должна его увидеть, а дальше пусть сама учится тому «что такое хорошо, а что такое плохо».

 

Ручная разметка — это прилично другой подход, конечно. Были такие мысли, чтобы потом в какую-нить нейросеть со сверточными слоями закинуть, но это сильно другое — это направление ещё не трогал.

avatar
Replikant_mih, научить алгоритм свечному анализу не возможно.Это может только глаз человека. Слишком много переменных.Но главные переменные есть. Это правила волнового анализа и свечного анализа.
avatar
Replikant_mih, ручная разметка при наличии ручного опыта — вполне здравый путь. Полезно помнить, что подобными поисками занимается уйма конкурентов, включая хорошо оплачиваемых.
avatar
старый трейдер, Здравый, только нужно понимать, зачем тебе это нужно? Потому что гемор знатный, поэтому нужно осознавать ожидаемый выхлоп и он должен быть хорошим.
avatar
CloseToAlgoTrading, вы же серьезный ML специалист, неужто без ручной разбивки датасета не обойтись???
Алексей Никитин, Поделитесь своим подходом в общих чертах?
avatar
Алексей Никитин, :) на самом деле я очень серьезный специалист но совершенно в другой области. А МЛ и ДЛ это мое хобби домашнее. 
Я как то тут уже писал, ручная разбивка нужна для нахождения паттернов на графике, т.е. это распознование объекта. Можно конечно выделять объекты на графике автоматически, и даже проводить разметку контрольными точками для подготовки датасета, но можно все это сделать и вручную.
:) долго… муторно… зато исключает ошибки разметки, но это только если самому делать. Если нанять индусов, то придется потом все перепроверять.  
avatar
CloseToAlgoTrading, ручками и без роботов все супер точно разбивается на паттерны. И цели в будущее по цене и времени тоже ручками рисуются без проблем.
Всё сначала делается ручками, а уже потом, если ест навык, кодится в роботе. Хотя при должном умении, робот уже не нужен.
avatar
CloseToAlgoTrading,  как по мне, так ручная разбивка данных нужна только для того чтобы устроить обучение с учителем ))))
Алексей Никитин, так и есть, в чем юмор то? большинство методов мл это обучение с учителем. Или как вы хотели?
Конечно можно идти путем кластеризации или что то типа уменьшения размерности для выбора фич, а уж потом это все в алгоритм обучения с подкреплением пытаться привязать… но пока что такой подход как то не очень работает.. 
avatar
RTT, Можете пояснить что есть «малое в большом» и «связка паттернов»?
avatar
Replikant_mih, ты чо его убил?(((
avatar
открытый безидейщик, Кого?)
avatar
Replikant_mih, RTT)

… а, не шевелится! мне показалось))
avatar
открытый безидейщик, Да, всё нормально).
avatar
Replikant_mih, из 4х малых фракталов получаем 1 большой, в 2 раза больший по амплитуде и 4 раза по времени.
avatar
Replikant_mih, 
«малое в большом» и «связка паттернов»?





avatar
RTT, «Ты делаешь какую-то херню, но что именно не так и как надо я не скажу» — не очень конструктивно)).
avatar
Как разметить тейк при паттерне? Чему равер тейкпрофит если патерн найден?
avatar
aea_neon, Ну, паттерн это обычный сигнал на вход, вернее даже можно исходить из подхода, что паттерн это состояние поискать сигнала (считай, фильтр), а выход — разный можно смотреть — удерживать n свечей, например, паттерн занимает 25 свечей, держим 25/2 свечей и кроем после этого, или берем какую-то характеристику паттерна из из нее простой формулой выводим размер тейка (ну чтобы волу учесть) и т.д., хочешь трейлингом ведёшь — нет каких-то ограничений — это обычный вход, обычный сигнал.
avatar

Тема интересная, сам этим путем иду. Результатов запредельных нет, но модель в плюсе при наличии тренда на рынке.

Могу сделать вывод, что на трендовом рынке любая трендовая система будет зарабатывать 

avatar
Bearminator, Да, это точка притяжения, определенно)) — делаешь разное, а получаешь одно и то же)) — средние результаты на хорошем рынке, не очень результаты на плохом), а дальше надо уже очень стараться)).
avatar

Replikant_mih, ну да.

Вообще интересно использование машинного обучения. Я как-то все руками прогоняю на истории.))

Будет круто, если у тебя получится все автоматизировать. 

Ты все еще на WLD делаешь или уже ушел на другую платформу?

avatar
Bearminator, Ну для «прогоняю руками на истории» осталась своя ниша — если не можешь формализовать /не формализуемо ну и если торговать так же руками планируешь, то рисеч только так. 

Я на mt5 + Python и Quik + Python. Python — в смысле мои какие-то поделки/скрипты на питоне.
avatar
Replikant_mih, цена = времени (1 бар = 1 пипсу прошлого движения), время = цене (1 пипс коррекции = 1 бару предыдущего движения), время = времени (самое прикольное на тренде, вверх 20 баров, и вниз 20 баров, цена осталась на месте)!
Есть еще и другие мат пропорции паттернов, заранее ищутся в бесплатной программе Ганзилла (Артема Калашникова).
avatar
aea_neon, я конечно намекну, но вы этот ответ не увидите (я у вас в ЧС). Орел же свинье не товарищ, вот и летите от нужной инфы подальше!
Тейк профит равен градусам третьего движения, относительно стартовой точки (угла) всего движения. А это как правило один единственный вариант. Т.е. цена всегда приходит в одну определённую точку по цене и времени…
avatar
RTT, Глянул этот индикатор в общих чертах. Ну просто паттерн, тем более какой-то стандартный, вряд ли много эджа несёт в себе. Ну т.е. формализация поиска это уже серьезный шаг, но не весь путь. Ну и искать на основе подхода а-ля зигзаг — не идеальный вариант, хотя по скорости он у моего выигрывает (вернее у меня оба реализованы, но использую именно альтернативный).
avatar
RTT, 
Дало это хоть кому  — ПРЕИМУЩЕСТВО?

НЕТ!


У вас очень громкие заявления, очень безапелляционные, слишком обобщенно.

 

Во-первых, откуда я знаю, кому это что дало и кому не дало и уж точно не могу знать, дало ли хоть кому-то. Но вы, видимо, знаете)). 

Во-вторых, к чему мне эта информация? — Дало, не дало. Меня интересует только то, даст ли это что-то мне и если даст, то что. Это и есть цель моего рисеча. Остальное — пустое.

avatar
Replikant_mih, верно.Путь у каждого свой. Цель — читать график как книгу.Лет 20 придется потратить. ВА (волны)+ СА(свечи) + ФА(фракталы).
avatar
RTT, Спасибо, почитаю.

По поводу «однозначно» — в вероятностной вселенной очень мало что однозначно).
avatar
Replikant_mih, лучше не читайте. Или читайте как возможность геометрически выразить тренд разными индикаторами. Т.е. любой индюк, это наглядный визуялизатор тренда. Для облегчения принятия решения о входе в рынок (это если вы не смогли все это в голую математику перевести).
avatar
Matrica, Ну я без фанатизма, там чисто повдохновляться — вдруг какой инсайт будет интересный).
avatar
Replikant_mih, любой форум, это просто скопище неоформленных идей, среди которого найдется свой алмаз! Путь к успешному тредерству как у червячков, сначала перелопачваем кучу чужого навоза, находим свои алмазы и строим СВОЮ успешную ТС!
avatar
Matrica, любителей Ганна 1 на 100.Ганн про силу чисел (уровней), дат календаря (сила времени), цикличность.Но про главное -форму у Ганна нет.Это только в свечном анализе  утренняя звезда, повешенный, памятник и тд.
Что касается темы поста -паттерны? Точное слово- фракталы… типа Билла В. из 5 свечей.Они быват 2х типов.Усиливающие (до 9 шага )и разворачивающие(ослабляющие )тренд. Про тренд у Ганна есть, но очень замаскировано… как в прочем и все его методы.Мораль -Ганн не обязателен, но интересен .
Вот грааль от Ганна  (НЧквадрат — НЧквадрат(-1))\8. В нем сила чисел.
avatar
ezomm, Ганн такое ерундой как свечной анализ не занимался, ему это было не нужно. Числа и углы более точный инструмент. Иначе Гусев бы уже был миллиардером, после написания своей книги по СА. А он за 500 рублей у себя на канале прогнозы предлагает купить!
avatar
Matrica, Свечному 300 лет.Ганну просто не хватило времени понять его.Все свои правила Эллиот взял у Свечного А. Ганн увлекался цикличными товарами.Это формы -треугольник, квадрат, пятиугольник и шестиугольник, работающие в квадрате 9. Это все циклы.Деление уровней на 8 и 3 тоже циклы, но цены.График крестики -нолики и есть Ганн… с углом 45 гр кстати для тренда.
avatar
ezomm, 
А. Ганн увлекался цикличными товарами.Это формы -треугольник, квадрат, пятиугольник и шестиугольник, работающте в квадрате 9.
Любой актив цикличен, акции, товары, облигации фьючерсы, валюты, крипта… Везде одно и то же. Одни и те же пропорции.
avatar
Matrica, не вспоминай Палыча в суе.Когда я захожу к нему в вебинар он закрывает его.О таких людях надо скорбеть… и я снимаю шляпу.
Свечной я понял после 15 лет ФА, ТА и ВА. Это очень не просто видеть волны внутри свечей ( фракталов )  и понимать работу объема в каждой из свечей.
avatar
RTT, Не, я, конечно, тоже размечаю какие-то области как «здесь рыбы нет», но я очень редко категоричен — тем более ты же не знаешь, на что способен человек, ты можешь не найти рыбу, а другой найдет.
avatar
RTT, не NEO  а NEN. Дядька кстати весьма отзывчивый был, пока силы были. Писал бесплатные индкюи по заказу, две мои версии бесплатно написанные им, уже давно по инету гуляют и имеют неплохие отзывы.
avatar
RTT, Костик, публично поторгуй две недели, хотя бы на демке! 
Тебе твои косяки припомнить, или сам угомонишься?
avatar
RTT, перефразирую немного
Replikant_mih, если мне хватает ТУПОСТИ, почеркать очевидные паттерны, от мастеров ТА (Гартли, Песавенто, Карни), если мне хватает МАЛОУМИЯ, на публичный сливной батл, тем более публичную сливную торговлю, значит у меня есть все основания говорить то, что я думаю!
Дураки думать не умеют…
avatar
готов проверить код формализации )
avatar
Андрей К, Там достигнут предел физических возможностей языка)). Там много итерирования всякого просто. Потом может на фрилансе закажу чтоб на С++ переписали.
avatar
Replikant_mih, может на Rust? Сейчас модно
avatar
Roman Ivanov, Ну, мне надо не модно, а быстро) и чтоб из питона можно было вызывать.
avatar
Replikant_mih, вроде как все эти свойства в наличии
avatar
Roman Ivanov, Ну просто модность не дает мне каких-то преимуществ, а вот учить новый язык и т.д. — неудобство ненужное.
avatar

Replikant_mih, «15 июня 2021 г. Rust получил статус «самого любимого языка программирования» в шестой раз подряд»

может тоже попрет

avatar
Replikant_mih 
Пост не преследует целей поведать грааль, максимум – расшевелить воображение, простимулировать творческие рисеч-способности.
Не сочтите за хамство, простимулируйте себя руками (все что вы вбиваете в робота, пройдитесь сами на истории), сэкономите массу времени и сил, когда увидите кучу нестыковок.
Эх, нынешние Айтишники… Не чета вы старым зубрам 80-90-х годов. Вот те реально знали, чего они хотели найти и автоматизировать!
Какой красивый, логичный и ОПТИМАЛЬНЫЙ код выходил из тех рук…
avatar
Matrica, Я активно торгую руками, так что на графики смотрю очень часто. Так что у меня с этим всё норм.
avatar

Replikant_mih, ну если руками, значит уже нашли все математические закономерности в паттернах, пора автоматизировать! :)
Я вот не шкодю, не обучен таким наукам, поэтому экселька для расчетов, старый индикатр для мт4, и Ганзилла как подсказка будущих уровней.
Хотя ту же Ганзиллу как не фиг делать можно прикрутить к любому терминалу. Опыт уже имеется.

avatar
К сожалению, пустое все это. На mql5 ML уже лет, этак, 10 обсуждают. Пока, вроде, все по нулям.
К сожалению, не знаю, не могу сказать, а что же не пустое.
Лишь, замечу, «паттерны» (не оч понимаю что это такое) для обучения должна выделять само ML, т.к. в выборке для обучения должны присутствовать как правильные, так и неправильные ответы в пропорциях, в которых они встречаются в реальности.
avatar
3Qu, на форумах обсуждают наверняка с большой текучкой кадров. И каждые 2-3 года все по новой начинают, не передавая знания друг другу )

а в трейдинге зачастую, включая и эту задачу, чтобы довести до логического конца, нужно взять задачу и пилить ее нон стоп, с небольшими перерывами.
avatar
Андрей К, эт не знаю, захожу на МКЛ оч изредка, пролистываю неск последних страниц — вижу, пока тишина. Но, вроде, там более-менее постоянный состав.
Я пока на МЛ научился делать только обучаемую логику ТС, но смысла ее реального применения не вижу. Надо подтягивать к ТС Python, в общем ресурсов много, выигрыша с обычной логикой особо нет. Зачем платить больше, если результат одинаковый. ©
avatar

3Qu, Может это какой-то эволюционный сбой у меня, но мне как-то по барабану, что там на mql5 обсуждают + не думаю, что прям так достоверно можно выявить по видимым признакам, получается ли у кого-то, насколько хорошо, какова доля тех, у кого получается и т.д.

 

Лишь, замечу, «паттерны» (не оч понимаю что это такое) для обучения должна выделять само ML, т.к. в выборке для обучения должны присутствовать как правильные, так и неправильные ответы в пропорциях, в которых они встречаются в реальности.

 

Ну это только один из множества вариантов. ML — это разные типы моделей (например, есть обучение без правильных ответов), разные признаковые описания, совершенно разные таргеты, по-разному можно квантовать данные, в разных разрезах и под разными углами смотреть на данные и т.д.

avatar
Представим, что мы хотим создать волшебный алгоритм который анализирует 100 акций на мосбирже, с целью впрыгнуть всем капиталом в одну бумагу, получить 20-30 % профита и выйти.
Допустим, выход тупой, по прибыли  и времени.
А вход? Подумайте, у вас сотня бумаг, допустим дневки, с какой то историей, допустим 30 дней, да возьмем все это за 5 лет для теста.
Итого на входе имеем массив 100х30х5лет
И как вы такой массив вручную предложите размечать? Ну только если действительно индусами.

Алексей Никитин, дневки это вообще просто даже руками. Уж молчу про недельки и месяца. Даже на м5 можно руками, а можно индикатором. Всё равно внутри дня от силы 2-3 входа дают.Обычно 1.





avatar
Matrica, слишком много лишних линий. в ВА есть пару формул(граалей)  и они очень полезные  .1- глубина откатов цены 2+4 = 100%. Количество волн(перемен) в импульсе (тренде) .   Это  5 +4N где N = 0,1,2,3 и тд
Твои коробки работают при средних равных объемах.А на нижнем графике 3я волна изменила целевой вектор от 1я волны уменьшив средний объем. Мораль -коробка Ганна работает только от 1я и 2й волн с не измененным вектором цели 3й волны.Иначе перерисовывай коробку от новой 1й. цель 4й =1.17376
avatar
ezomm, как это работает ???
Алексей Никитин, целевой вектор проходит через середину коррекции и дает 4-6 целей 3й волны Эллиота.Из них время целей только 3. Вообще важнее считать не цели цены, а цели времени тк их меньше.Но проблема в объеме.Объем сжимает и растягивает время. Иначе как считать по 1й и 2й волнам не получится.Это 1й фрактал в танце цены.
avatar
ezomm, всё очень сложно. У меня третье движение автоматом приходит в определенную точку.



avatar
Matrica, в валютах на порядок сложнее чем в акциях. У 3й волны и 5 и 6 целей, но по времени в 2 раза меньше, чем по цене .



avatar
ezomm, цель всегда одна! Модель заканчивается в строго определенных точках.
avatar
Matrica, ничего строгого в торговле нет.Есть только приближения к расчетам. Советую почитать книгу Патрик Микула -...5 новых техник Эндрюса.
avatar
ezomm, зачем читать того, кто не разобрался в математике движения?
avatar
Matrica, В этой книге нет буков, а только графики. За 27 лет торговли я ставлю ее на 2 место после Глена Нили -Мастерство анализа волн Эллиота .
Тебе советую быть скромнее.Математика не всем дана.Тем более не нам с тобой.Я уже дал оценку Ганну, коробки которого ты так рекламируешь.А я сам рисую свои коробки.Они лучше, чем у Ганна.
Кстати движение делают не цифры, а люди своими деньгами и активами.Числа Ганна только вероятные уровни. На 1м месте форма свечей (волн Эла), а не углы ганна.Вместо углов отлично работают средние(Билла В ) и Ишимоку.
avatar
ezomm, мы уже пробовали, мой прогноз и твой. Мой победил. Зачем начинать всё заново?
P.S. — я и Костю Бабочку та же ловил, его прогноз и мой. И цена шла куда я и указывал. Всё в реале.
avatar
ezomm, я по Ганну заранее знаю ценовые уровни, где развернется цена (в коррекции погрешность не более 1-3 пипсов). По ВА сможешь такое озвучить?
avatar
Matrica, ты может и знашь, но твои коробки идеально чистые и без буквы пояснений . 
Я озвучиваю в чате Нефтянников у Раиля.
⭐️ НЕФТЬ торговля интрадей — Клуб Нефтяников 29.08.2022 (smart-lab.ru)

avatar
ezomm, ну могу по нефти на м5 нарисовать, мне не сложно. Синий и красный уровни взяты из цены лоу.

Снова треть диапазона…
avatar
Matrica, как вы  это рисуете ?

Алексей Никитин, 
Matrica, как вы  это рисуете ?
Бесплатным индикатором для МТ4.
avatar
ezomm, едем по нефти дальше… Как ловить конец корректоза показывать не буду. Катим вверх, всё тот же заранее выставленный трендовый угол. И вы будете утверждать что ВА вам даст все это заранее?
avatar
ezomm, посчитал уровни по нефти от коррекции.


avatar
Matrica, игры с уровнями у меня в прошлом . Фибо работает. Лучше расскажи про перекрытия и чередование формы.
avatar
ezomm, ну вот снова ваш прогноз о перелоу не оправдался… Мы еще коррекцию правильную не сделали. Не решайте за цену, как она должна себя вести, смотрите где она будет в правильное время!



avatar
Matrica, перелоу это детский сад.Правильно -5я волна не пошла вниз.
avatar
Ребята кто знает в ML и Quik (QLUA)
напишите мне — есть подозрение на грааль, но надо анализировать данные (не по истории а онлайн, а датасайнтистам подавай эксель готовый). Работу готов оплатить.
тг @wave_catcher
Спасибо

Replikant_Mih, хотел в личку написать но не получилось.
avatar
рекогнишен, локалфючматчинг,retrieval,anomalyДетекшн,similarity, ts+indctrs-> 2d image + cnn, etc.
из опыта — грааль вы через сетку не найдете)
если просто для скила и академического интереса — одно, но для реальной торговли — ниочем. успехов)
avatar
reserved, Какую сетку?) Нейросеть что ли? Я не использую. Да и грааль мне не нужен. Обычные рабочие модели, стратегии собираю.
avatar
вы же про мль пишите? — это как минимум сетка, даже под капотом фреймворка котрый юзаете. да и вообще весь этот мл — это переумножение матрицы обычное)
обычная рабочая стратегия — это кроссмувинги и не нужно никаких мль. но такую модель нужно грамотно оптимизировать в реалтайме по движению рынка.
avatar
если вы хотите заняться поиском патернов по изображению(timeseries) — то лучший способ это делать через anomalyDetection. гляньте на Гите там полно репозиториев
avatar

reserved, Мм, anomaly detection — любопытно, поизучаю, спасибо. 

avatar
 фьючматчинг так же себя хорошо показывает
это пример на парах офисных изображений, но никто не мешает подставить график😀
avatar
@Replikant_mih , посту не хватает картинки… пример распознавания паттерна или эквити какой-нибудь модели. Вообще огонь было бы ;-)
avatar
yurikon, буду стараться)
avatar

теги блога Replikant_mih

....все тэги



UPDONW
Новый дизайн