Блог им. silentium

Не нравятся нейронные сети? Вы просто не умеете их готовить. Рецепт.

                                                               
Не нравятся нейронные сети? Вы просто не умеете их готовить. Рецепт. 
                                                                                                                                                                Silentium est aurum

                                                                Молчи, пока ты не в состоянии сказать нечто такое, что полезнее твоего молчания.                                                                                                                                                                                         (кто-то умный сказал)

Что берем? Да все, что есть в нашем трейдерском запасе. Прежде всего, рыночные данные из тиковых файлов по выбранному инструменту. Добавляем всякие вкусности – объемы, ATR-ы, МА-шки, уровни, индикаторы разные… В общем то, на что смотрим в своей реальной ручной торговле (при условии, что торговая система имеется). Желательно, конечно, добавить какие-нибудь свои «секретные» ингредиенты. Не забываем, что качество продуктов влияет на вкус блюда. Все, что выбрали для входов НС, нужно хорошенько очистить и отмыть от своих субъективных представлений о рыночных зависимостях – исходные продукты должны быть чистыми!

Далее – нормализуем данные, которые будем подавать на входы НС (приводим к значениям от -1 до 1). Тут все понятно — ингредиенты в хорошем блюде должны быть однородны. Так что шинкуем, господа!

Итак, входы готовы. Начинаем формировать у сети правильное представление о результате – учим сеть правильным ответам – «покупать» или «продавать». Тут совсем понятно – ПРАВИЛЬНО – это когда ПРИБЫЛЬНО. Конечно, вручную сделки в количестве 10-20 тысяч штук сформировать невозможно. Используем чудо-машину на основе генетического алгоритма. Эта техника создаст множество нейронных сетей на наших данных. В процессе обучения сети сами разложат содержимое входов по формам. Сети сами решат, что более важно, а что менее для нашего блюда. Им просто не нужны те закономерности, которые выделяем мы — они найдут свои.

Генетический алгоритм выберет лучших из лучших и будет «смешивать» и «скрещивать» их, проверяя результаты работы каждой новой сети методом скользящего контроля (кросс-валидация), пока параметры будут улучшаться.

Когда процесс завершен, кажется, что наше блюдо готово. Но не торопитесь кушать сами и предлагать другим – надо про(дегустировать)тестировать наше блюдо на независимых исторических данных. Мы для этого используем наш тестер, где роботы тестируются на  тиковых данных и можно проанализировать основные показатели работы – прибыль, просадку, фактор восстановления, матожидание сделки и дня и прочее…
Не нравятся нейронные сети? Вы просто не умеете их готовить. Рецепт.

По этим параметрам можно сделать вывод о съедобности полученного продукта.

Поскольку мы с вами знаем, что тесты – это далеко не реальность, мы добавили возможность запустить робота в режиме эмуляции торгов. Сверив сделки в режиме эмуляции со сделками в тестере за период – приходим к выводу, что все работает корректно. И все. Запускаем реальные торги. Едим с аппетитом и предлагаем всем!

 Оказалось, что мало создать работающую стратегию. Надо еще и дать ей работать! Но это уже другая история. Об этом в топике «Нейронные сети. Послевкусие. Мифы, заблуждения, ошибки, косяки. Первые 15 месяцев эксплуатации бота на нейронных сетях»

Мы – реалисты. Рано или поздно, наше блюдо перестанет быть свежим и вкусным. Поэтому мы следим за основными показателями, чтобы своевременно исключить его из нашего меню… И продолжаем готовить новые. Об этом, если будет интересно – в следующих топиках.

 

★24
236 комментариев
"Silentium est aurum!" - молчание золото. Это любимая поговорка гопников 90-х. А в ранг крылатого выражения ввела инквизиция.
Самокритичный трейдер, специалист по гопникам (-:
Александр Смольский, В натуре....
А я вот что то не помню чтобы в 90-е гопники на латыни разговаривали)))
Иван Петров, я из 90-х. Поговорим? на латыни?..
avatar
silentium, Судя по профилю Вы из 80-х
Без обид))))
Иван Петров, какие обиды?.. Бизнес-то рос в 90-х… Там и латыни научились.
avatar
silentium, тут много кто из 90-ых и чё? (-;
silentium, С входными  данными все  понятно, тут все  очень и  очень просто, собрал данные,  нормализовал подал,  готово!
А что с самой  сетью,  топологий  тьма, ну  жа  это  не  беда.
Главная  проблема  это  то чему  ее  учить.  Вот  про обучение  если можно подробнее
Алексей Никитин, я уже пообещала сделать статью о том, что и как  использовали мы. Более подробно и серьезно. Не до кодов, конечно.
avatar
silentium, Спасибо, попробую к  своему  TWIME прикрутить что нибудь нейросетевое -)))
Эмуляция торгов и реальные торги — не одно и тоже хотя бы потому, что структура и параметры случайного процесса цен закрытия, например, в эмуляции жёстко задана, и нейронная сеть под неё хорошо подстраивается. А в реальном рынке это далеко не так. Если хотите нормальную проверку делать — делайте форвард-тестинг.
Бобровский Дмитрий, эмуляция торгов у нас — подключение к квику в реальном времени, с заблокированной возможностью выставлять ордера. То есть сделки бот генерирует и показывает, но приказы в рынок не уходят. Сделано для того, чтобы сравнить с тестером. Действительно ли бот совершал бы эти сделки в реале? Был такой вариант, что из-за ошибки в коде бот просто «видел будущее»... 
avatar
silentium, тогда говорите, что используете форвард-тестинг, т.к. эмуляция торгов подразумевает именно генерацию данных.
Бобровский Дмитрий, еще раз — у нас эмуляция не предполагает никакой генерации данных. Бот подключается к квику и берет тиковые данные в онлайн режиме. Сигналы есть, сделки показываются, но не исполняются. Мы как бы используем бота в режиме советника. Когда день закончен и тиковый файл записан — бот прогоняется на тестере на этом же файле. Сделки сравниваются.
avatar
silentium, блин, ну я и говорю, что у Вас всё честнее — вы именно форвард-тестинг используете, хотя называете это эмуляцией.)))
Бобровский Дмитрий, я так понимаю, что они используют и то, и другое. Мы, кстати, тоже. 
Параллельная с реальной торговлей торговля «бумажная» — нормальный инструмент контроля. 
avatar
Насчет «замесить кашу» не стану спорить, можно и так.
Но почему именно нейронные сети должны её разгребать, да еще без участия человеческих нейронов, непонятно.
Тема, мягко говоря, почти не раскрыта.
avatar
SergeyJu, Так я вообще не знаю пока, надо ли это аудитории СЛ. Это первый опыт
avatar
silentium, аудитории смартика это точно не надо. Но несколько прОцентов интересующихся тут есть. Хорошо, что есть рубрика алготрейдинг, можно отслеживать за общим потоком мути стоящие сообщения.
avatar
SergeyJu, я поставила метку Алготрейдинг, но в раздел почему-то не попала. Может кто подскажет, как это сделать или уже поздно?
avatar
silentium, Аудитория желает разоблачения!
В каких программах, как это делать — все по шагам...
Короче, инстаграмм неинтересен, а интересен рецепт конкретный чтобы самому покушать :)
avatar
Quant-Invest, это только начало, надеюсь. У нас сайт есть, но он исключительно для продаж сделан, хотя там и раскрыты вопросы технологии. Планирую на СЛ публиковать некоторые статьи. Но надо как-то попасть в раздел Алготрейдинг. Смысл писать — не только аудиторию найти, но и сотрудничество.
avatar
silentium, если статья по теме — она туда автоматом попадает.
За этим следят специально обученные автоматы, как я понял :)
Сотрудничать — всегда готовы.
avatar
silentium, 

Вот так выглядит у меня ваш сайт.
Вы туда что, пару нейронных сетей прикрутили? :)
avatar
Quant-Invest, прикольно. Только что по ссылке из профиля своего зашла — нормально работает. У Вас не Опера часом? Были случаи…
avatar
Quant-Invest, делаем в MathLab. Тестер, естественно, своего производства.
avatar
Quant-Invest, Это вообще, феномен какой-то, примета времени, как это объяснить, я хз. Человек пишет простыню текста, которую академик за*тся разгребать, при этом в программировании полный ноль, спрашивается, зачем это все этому человеку? В данном случае, тут конечно надо сделать скидку на то что это женщина, может просто нужно внимание + пиар сайта-лохотрона, но это уже стало массовым явлением, раковая опухоль. Спрашивается, чего добиваются _все_эти_люди_?:)

Собственно, страшно не то, что это все появляется, страшно то, что это хавают:)
Quant-Invest, Поставьте нейрошелл и кушайте))).
Даже техподдержка будет.

Даже аддоны уже готовые и тд и тп)))
Иван Петров, так дорого же…
avatar
Quant-Invest, Если все было бы так просто — все уже были бы миллионерами…
avatar
silentium, да в жизни вообще все просто — для тех кто умеет...
А кто не умеет, тот и молотком по пальцу, и НС по депозиту :)
avatar
Quant-Invest, Вы что, уже прочитали мою следующую статью?
avatar
silentium, а если скажу «да» — Вы поверите?
avatar
Quant-Invest, Вы влезли в мой комп? Эту статью пока читал только мой сын. Но Вы — не он. Точно.
avatar
Quant-Invest, Бесплатно, есть куча материала и ломаных версий -народ русскоязычный старался, пять лет над сетями кропел)))
Иван Петров, У меня последний робот в реале рубит полпроцента в день в валюте, без всякихНС. И таких наработок еще недоделанных до фига. Боюсь, руки не дойдут до НС, тем более что пока не видел чтобы они больше доходность показывали на значимом промежутке.
avatar
Quant-Invest, Нейросети опасны тем что не понятно чему они научились и как они торгуют.

Зато безуслвоно у них всегда хорошие тесты в прошлом)))
Иван Петров, это логично — мы выбираем их по тестам. Дальше — следи, чтобы реальная работа по показателям не отклонялась от тестовых.

avatar
Quant-Invest, а если я Вам скажу, что и сама руками делаю как план 1% в день на фьюче РТС — поверите, или скажете, что «женщина» или типа «иди… те вязать и кулинарить»? Только это недолговечно — такая вот работа. Сегодня, например, весь день отвечаю в блоге. Уже минус. Есть еще куча причин, по которым нет возможности посидеть за монитором. Так пусть бот работает — он железный. Он мне письма пишет: «Обработана транзакция по позициям… Прибыль с начала дня по портфелю...» Вежливый. А промежуток значимый — это какой? Первая версия проработала почти год. Правда, первый пик профита был через 6 месяцев, потом была просадка и повторение пика на 10 месяце. На 11 мы его заменили. Ничего, что за первые 6 месяцев +100% получилось? На выключении результат был хуже, но тоже достойный плюс. Так почему этим не заниматься? Надо только понимать, что это не вечный двигатель. Вы же машину покупаете — есть срок гарантии, а потом в нее по-любому надо вкладывать или менять, так? Я это понимаю.
avatar
silentium, почему не поверить? Поверю. Сам по этим же причинам перешел к роботостроению. Не царское это дело, в монитор пялиться :)
Но тут возникает вопрос — почем вы продаете своих роботов и зачем?
avatar
Иван Петров, Есть еще нейроскальп))
avatar
Dio, А разве он не был похоронен?
Иван Петров, кем? у меня до сих пор где-то лежит, с тех самых пор, когда был достаточно серьезно погружен в нейронные сети. Эту программу покупал в одной московской конторе (кажется, Тора ее название было) в начале нулевых…
avatar
Dio, Вроде как год или два тому назад читал что ее перестали поддерживать (саму прогу)
Иван Петров, понятно.. 
avatar
silentium, на самом деле надо, только не это. Сколько я не читаю подобной чепухи, везде наблюдается одна и та же тенденция. Люди с ходу начинают лезть в дебри, чтобы никто не понял, что он сам ничего не понимает.

Каюсь, я сколько раз не начинал читать про нейронные сети, всегда бросал. Неочевиден профит, непонятны самые основы, разбираться лень. 

Вот Вы, например, спец по нейросетям, можете внятно сформулировать основное свойство этой парадигмы? Чем нейросетевой подход отличается от других подходов? Для каких задач он подходит?
sortarray sortarray, я тоже в самообучение никак вникнуть не могу. Даже не знаю с какой стороны подойти.
avatar
Андрей К, лучше всего — со стороны учебника. Самого простого и тонкого, какой можно найти. Вот пример.
www.ozon.ru/context/detail/id/4521007/

avatar
SergeyJu, спасибо

avatar
silentium, конечно надо!!! вы на  каких программах это все делаете?
avatar
SMA, я отвечала уже выше. MatLab.
avatar
silentium, а что за программа EVA?
avatar
Dio, это наши «одиночки»… Первые хорошие сети.
avatar
silentium, Поддерживаю продолжение банкета!!! Вспомнил универ и диплом)) +++!!!
avatar
SergeyJu, Да они раскроют.)) Предоставят кривую эквити. К сожалению, всё, что видел по торговле нейронными сетями, показывало пологое снижение эквити…
Бобровский Дмитрий, можно и кривую. Только за период работы в реале уже 3 генерация работает. На картинке из тестера — ее данные. О реале — в следующей статье.
avatar
silentium, тогда поздравляю с граалем. Не, серьёзно, молодцы. Единственное, что смущает — соотношение профитных и убыточных сделок. А в целом — норм.
Бобровский Дмитрий, прикольно, я такой показатель ВООБЩЕ не рассчитываю уже много лет. За ненадобностью. 
avatar
SergeyJu, Меня больше всего интересует макс.просадка. От нее все риски считаются. Это на начальном этапе. Потом, конечно ФВ. Ну и скользящее по сделкам. Выравниваем просадку использованием портфеля разнохарактерных сетей. Профит- средний по портфелю, а просадка ниже средней получается. 
avatar
silentium, контроль рисков — это, безусловно, важнейшее дело. А что такое ФВ?
avatar
SergeyJu, ФВ-фактор восстановления. Отношение текущей прибыли к максимальной просадке. Мне нравится, когда этот показатель растет плавно. Ну и здорово понимать, что за период у тебя прибыль в несколько раз превышает макс.просадку.
avatar
silentium, какое минимальное значение фв для вас приемлемо?
Алексей Андросов, о каком сроке речь? За год — в районе 15-20 показатель должен быть.
avatar
silentium, у меня мтс по портфелю показывает 19 за 4 года. НО это при торговле одним контрактом. Привязываю размер позы к депо и все ломается. Скажите мне че нить, я начинающий, не шарю))

Алексей Андросов, попробую. Задавайте вопросы в личку.
avatar
Алексей Андросов, уменьшить размер позы. 
avatar
silentium, я верно понимаю, что за год Вы ожидаете заработать сумму в 15-20 раз больше максимальной просадки?
Имхо, это нереально круто. 
avatar
SergeyJu, Не все так красиво. Я подготовила статью о реальной торговле за эти 15+1 месяцев, только побаиваюсь выкладывать… Закидают же…
avatar
silentium, а что такое тогда текущая прибыль?
Прибыль за период — понимаю, текущая просадка — понимаю. Сам считаю её от ранее достигнутого абсолютного максимума эквити. 
CVar — понимаю. 
А все эти метастоковские штучки, проде процента прибыльных сделок и ФВ — не использую. 
avatar
SergeyJu, график профита представляете? на нем есть пики и впадины, да? Самое большое расстояние между пиком и впадиной — максимальная просадка. Текущая прибыль — значение профита на сегодняшний день. Мы прекращаем использовать сеть, как правило, раньше, чем она достигает максимальной просадки, которая была на тестовом периоде. Но при расчете рисков используем именно это значение. Поэтому важно понимать, во сколько раз ты больше заработал, чем можешь просесть. Если я непонятно объясняю — сори, и интернет Вам в помощь.
avatar
silentium, если у меня система со средним доходом, условно, 30% годовых исследуется на протяжении 10, условно, лет, я не понимаю, как использовать озвученный Вами показатель. 
Обычно я просто делю среднегодовой доход на какую-то меру риска. Хоть бы и ДД, но это не лучший вариант.
avatar
SergeyJu, я использую риск 10% на начальный капитал. Чтобы максимальная просадка не составила больше 10% от стартового капитала (вдруг сразу в начале работы попадешь на максимум просадки?). Исходя из этого определяем сумму, необходимую для торговли 1 контрактом. Она намного превышает ГО. Это не значит, что деньги лежат у брокера «мертвым грузом». Они могут быть, например, на депозите в надежном банке. Расчет прибыли тогда по формуле: (365*прибыль в пунктах на 1 контракт*выбранный уровень риска)/(количество календарных дней за период*максимальная просадка). По-моему, Вы написали то же самое. Только у меня просадка в расчете используется не фактическая за период, а максимальная на тестах. Она, как правило, меньше максимальной на тестах. Но мы же ее не знаем в начале пути. Поэтому при выборе рисков опираемся на тестовое значение.
avatar
silentium, я использую в расчете не календарные дни, а торговые. И потом, если торгуется портфель систем, расчет риска должен быть совместный, а не поотдельности. Или Вы даете каждой систем стартовый капитал и потом уже не перераспределяете, заработал — увеличил экспозицию риска, потерял — ушел в отстойник.
avatar
SergeyJu, Используем в расчете календарные дни, так как позиционируем своих ботов, как альтернативу депозитам в банках. Там же % годовых — иначе, как сравнивать. В портфель набираем сети, близкие по профиту, но отличающиеся по времени просадок. Максимальная просадка считается по портфелю. Риски на начальном этапе определяются по этим данным. Тестер позволяет анализировать работу каждой сети в портфеле отдельно. Так следим за эффективностью каждой сети. Те, что отклоняются от тестовых значений, меняются. Так же при создании новых сетей — аутсайдеры меняются на новые. Но не выбрасываются. Следим за ними еще некоторое время.
avatar
SergeyJu,
текущая просадка — понимаю. Сам считаю её от ранее достигнутого абсолютного максимума эквити.
Если это выразить не в процентах, а как отношение, получится Фактор Восстановления :)
Добро пожаловать на темную сторону :)
avatar
Quant-Invest, без формулы — не понимаю.
avatar
silentium, Странно… сеть тренируют на макс прибыль, а на минимальную просадку тренеровка не эффективна.

Никакие МА-шки в сеть и близко не берутся, а вот те индикаторы что представляют данные -1 +1 как раз берутся.


Иван Петров, сеть у нас тренируется на максимально точную классификацию рыночной ситуации — для шортов или лонгов. А вот ГА при отборе уже делает комплексную оценку, где учитывается и прибыль, и просадки, и ровность эквити, и др. Там довольно сложная функция оценки.
avatar
silentium, то есть у Вас многофакторная оптимизация?
Интересно, Вы её сводите к однофакторной весами, или отсекаете по каждому критерию худшее, или какой-то третий вариант.
avatar
SergeyJu, да, сводим к одной оценке, но не весами. Там более сложная нелинейная формула.
avatar
silentium, anngroup — это Вы?

avatar
SergeyJu, да. Это имя под новый проект.
avatar
Иван Петров, про МА-шки ниже ответила. ВСЕ данные нормализуются.
avatar
Бобровский Дмитрий, вообще не грааль. Постоянный поиск и работа. Ничто не вечно.
avatar
silentium, а никто и не говорит, что Грааль — это результат.))) Это скорее процесс.)))
Бобровский Дмитрий, Абсолютно с Вами согласна, коллега. Вот когда это понимаешь — тогда полный грааль…
avatar
silentium, вот это верно. 
А Вы представляете компанию или не оформленную юридически группу единомышленников?
avatar
SergeyJu, в рамках этого проекта — пока группа единомышленников. Только запустили сайт и прочее. Боты работают в реале с 2015 года. Компания тоже имеется. Но это не совсем ее профиль. Если получится — продолжим в рамках компании.
avatar
silentium, под такие стратегии в индустрии денег не дают, но на свои вполне можно, желаю удачи! было бы интересно ознакомиться подробнее…
avatar
sheffield, Да предлагают денег, но трудно объяснить тем, кто предлагает, ЧТО это такое. И почему профит не прямой восходящей линией на графике… Если интересно — зайдите на сайт. Только сделайте скидку на то, что он продажный. А то на СЛ прямо сразу требуют коды представить…
avatar
Бобровский Дмитрий, если интересна кривая профита и прочее — можно на сайте у нас посмотреть.
avatar
silentium, хм, впечатляет…
Как человек угробивший 4-е года на грааль на базе НС говорю вам бросайте это занятие, ибо на обычных скользяшках системы работают не хуже, а пока будете года 3-и изучать, то еще и лучше.
Молодой поэт Таджикский, как человек, убивший на МТС-ки 3 года, говорю Вам — НС это передовая технология. Биржа — это борьба идей и технологий. Для маленьких людей. Таких, как я. Создаваемые системы не вечны, но мы же можем это как-то контролировать. Портфель стратегий нам в помощь.
avatar
silentium, Биткойн или рипл вот передовая технология.

И там без всяких сетей-заработок.

Что касается сетей, Варды все правильно говорят, работает только в очень ограниченных областях финансовых рынков
Молодой поэт Таджикский, Вы не можете поручиться в том, кто-то другой не преуспеет в том, в чем вас постигла неудача.
Но по поводу НС мое мнение совпадает с Вашим. Это не наш метод. 
avatar
SergeyJu, Неудача меня не постигла, просто пока реально поймешь, что как подавать, отсекать, обучать, переобучать, менять конфигурацию… то сам уже будешь лучше любой сетки видеть рынок..., а учитывая «проклятие размерности» и попадание в «нужную» область обучения которая отличает уровень шума от уровня полезного сигнала-это бесконечный компромисс от которого можно сойти с ума! Эффективность НС только на уровне HFT можно оправдать, остальное всё Сизифов труд.Сам долгие годы защищал НС и пришел к неутешительным выводам, что вместо того чтобы научиться понимать рынок пытался всё решить с помощью мощного матинструмента, который за меня будет всё решать, а я как гениальный пацанчик в Голливудских фильмах буду потягивать коктейль на пляже-не выходит ни фига! Трейдинг -это не только математика, это компромисс между чутьем, математикой и психологией.
Молодой поэт Таджикский, именно так.
avatar
Молодой поэт Таджикский, золотые слова. Про компромисс. Я люблю работать руками. Только время, здоровье и жизнь — жаль тратить на это, а не на саму жизнь! Поэтому — алгоритмизация. За сетками тоже присмотр нужен — они ж как дети… капризничают, вырастают, уходят иногда…
avatar
Молодой поэт Таджикский, Поддерживаю коллега, тем более что чел собирает сетку на индикаторах!!!

На индикаторах сетку нормальную не соберешь
Иван Петров, у нас сейчас 364 входа, индикаторов там едва ли 10% наберется. Можно использовать любые данные, приведя их в диапазон -1;1
avatar
Иван Петров, и если Вы думаете, что мы просто взяли типовые индикаторы из торговых терминалов — это не так.
avatar
silentium, Ну ну… я уже запасся поп корном и с нетерпением жду развития этого сюжета))))

А фраза-да
Иван Петров, я сообщу Вам лично о выходе следующей статьи, да? Вы, видимо, компетентный человек. Мне интересно Ваше мнение.
avatar
silentium, Да я отошел от нейросетей… но на самом деле материалла по ним и стратегий -тонны.

Платишь 3 штуки зелени и у тебя будет и программа и поддержка и все все все
Иван Петров, ну вот, и Вы начинаете переползать на мою сторону баррикад?.. Я не агитирую никого на самом деле. Если Вам повезло построить доходную МТС-ку — флаг Вам в руки. Мы перепробовали много, благо тестер позволяет прогнать что угодно на любом доступном историческом периоде. Обычно Мастер просто говорил: буду рад тебя разочаровать поскорее… Кодил идею и прогонял на тестере. Даже пытались инвертировать сделки в особо устойчиво минусующих стратегиях… Это при том, что на первый взгляд все стратегии были такимиии прибыльными. Человеческий глаз выделяет то, что хочет. Мы придумываем закономерности, но по сути не можем собрать в кучку и формализовать все те факторы, которые повлияли на наше решение в рынке… Поэтому мы сделали выбор в пользу НС.
avatar
Кстати, бывают такие алгоритмы, когда тест необходим только в реале и эмуляция не поможет, потому что именно сделки алгоритма могут поменять ход движения цены в реальных условиях.
avatar
Андрей К, в первую очередь это проблема ёмкости системы. 
avatar
Андрей К, зря я использовала слово «эмуляция», видимо… Мы работаем пока только на высоколиквидном инструменте — фьюче на РТС. Для других тикеров боты пока тестируются. Принятие решения — каждые 5 минут. Но это не значит, что сделки совершаются каждые 5 минут. Проскальзывание учитывается при отборе сетей в виде штрафа на сделку. Объемы делятся пропорционально на все сети в портфеле. Не можем мы повлиять на рынок своими сделками.
avatar
Я, честно говоря, на вскидку даже не понимаю принципиального отличия нейросетей от ООП. У вас есть нейроны — это объекты с состоянием, есть некоторое состояние системы во времени, есть изменение этого состоояния, есть взаимодействие этих объектов. Чем не ООП? Может это вообще ограниченная версия ООП, и не более того?
sortarray sortarray, когда дилетант начинает рассуждать о том, в чем он не разбирается, ему не стыдно. Он просто не понимает меры своего незнания. 
Зачем Вам эффект Даннинга-Крюгера в собственном исполнении?
ru.wikipedia.org/wiki/%D0%AD%D1%84%D1%84%D0%B5%D0%BA%D1%82_%D0%94%D0%B0%D0%BD%D0%BD%D0%B8%D0%BD%D0%B3%D0%B0_%E2%80%94_%D0%9A%D1%80%D1%8E%D0%B3%D0%B5%D1%80%D0%B0

avatar
SergeyJu, ссылка на эффект данинга-крюгера — это то же самое, что роспись в собственной несостоятельности, дежурный отмаз.
sortarray sortarray, на выбор десятки учебников. Если недостаточно трудолюбивы, чтобы освоить хотя бы оглавление, неча выражать свои «мысли» по поводу их содержимого.
avatar
SergeyJu, Как жаль что я Вас об этом не спросил, что мне читать, а что нет. Пока я вижу только одно — то что не Вы не автор топика не могут ответить за слова. Возникает резонный вопрос, а есть ли они эти нейросети, как отдельное явление?
sortarray sortarray, возникает резонный вопрос, Вы вообще понимаете, что пишете, или во всех затронутых Вами темах демонстрируете эффект ДК, получая  дежурную «отмазку» от случайно прочитавших Вас профессионалов.
avatar
SergeyJu, Да, я понимаю, а Вы? По Вашим словам этого пока не заметно, Вы увиливаете от конкретики
sortarray sortarray, ссылка на САМЫЙ ПРОСТОЙ УЧЕБНИК ИЗ ТЕХ ЧТО Я ЧИТАЛ — что может быть конкретнее? 
Вы написали кучу дилетантских вопросов, которые говорят только об одном, работать не желаете, а флудить — всегда пожалуйста.
avatar
SergeyJu, Все что угодно будет конкретней. Ваши мысли по поводу, если они есть. Любой школьник может найти в гугле какой-нибудь учебник по нейросетям, по соответствующему запросу, и кинуть на него ссылку, так обычно и делают мамкины аналитеги всех мастей, некомпетентное быдло,  это не есть конкретика.
sortarray sortarray, я занимаюсь прикладной математикой не один десяток лет и учить невежд и неучей не подписывался. Это не только долгий и тяжелый труд, но, в первую очередь труд неблагодарный.
avatar
SergeyJu, А математик корчит из себя программиста? С этого надо было и начинать. Отдыхай, лошара, и впредь не суйся туда, где большие дяди разговативают.
SergeyJu, спасибо, коллега. Я не против общаться со всеми. Но я не могу переписывать учебники на СЛ. Кто хочет — тот может прочитать сам. Кто не хочет учебника — есть ВИКИПЕДИЯ. Там все в сжатом виде. А если какой-то текст на 90% непонятен, то пробелы в знаниях либо нужно заполнять, либо бросать на… этот предмет.
avatar
silentium, Это дежурный отмаз. Вы не можете поддержать тему которую сами же инициировали. Тогда какова была реальная цель данного поста? Показать что Вы в чем то разбираетесь? Создать имидж?
sortarray sortarray, цель поста — рассказать сообществу, что у нас получилось. Да — привлечь внимание. Найти собеседников, знающих больше.
avatar
sortarray sortarray, и еще один ответ от нашего Мастера:

«Нейронные сети реализуются на матричных операциях. Для прохода слоя нейронов сети прямого распространения необходимо всего две матричные операции — умножение и пороговая функция от результата. К примеру, что бы просчитать результат НС с одним скрытым слоем из 50 (да хоть из 1000) нейронов необходимо всего 4 матричные операции — умножение, гипертангенс, умножение, и функция выхода.
Где здесь ООП? Где объекты? Где состояния???
Генетический алгоритм используется для подбора гиперпараметров при обучении.»

avatar
silentium, скажу Вам честно, мне не особенно интересен этот разговор. Я уже вижу, что Ваш реальный уровень в теме близок к нулю, и Вы действуете по принципу «чем заумней тем лучше». Вам бы лучше что нибудь про вязание и кулинарию постить:)
sortarray sortarray, Вас так оскорбляет, что я — женщина? И Вы влезли со своим «мужским разговором» в женский чат?  Ничего, что в названии топика слово «рецепт»? Или Вас так задело, что у кого-то получилось?
avatar
silentium, Я сначала не заметил что Вы женщина, извините. Но то что Вы участвуете в лохотроне Вас не красит, однако.
sortarray sortarray, я не участвую в лохотроне. Если Вас жизнь как-то обидела таким участием — не стоит всех подозревать. Построение таких систем требует уйму времени, и человеческого, и машинного. Это нормально, что хочется на этом зарабатывать. Зачем тогда это делается? И нормально — понимать, что процесс этот непрерывный, и нельзя остановиться. И нормально — искать людей, знающих больше тебя, или имеющих больший опыт. Это позволяет сэкономить жизненное время. Так я, ища для себя, могу стать таким источником для других. Что в этом меня не красит?
avatar
silentium, Я смотрю на вещи трезво. Вы пиарите какой то сомнительный ресурс всеми доступными, и не вполне чистоплотными средствами. Если ресурс нуждается в таком пиаре, значит он заинтересован либо в инвестициях, либо в ином притоке средств, при этом никаких вменяемых инструментров он, очевидно(хотя бы даже по этому посту) не имеет, вся ставка делается на «волшебные» сети. Выводы напрашиваются сами собой.

А люди знающие «больше вашего Мастера» — это любой программист, кто написал что-нибудь сложней хелловорда, долго искать не надо, надо просто платить и организовывать цикл разработки. Очевидно, что «мастеру» вовсе не это надо.
sortarray sortarray, а я вот, не зная Вас и Вашего уровня подготовки все-таки не могу хамить, оскорблять и обвинять. Воспитание, извините. Вы не пришли сюда общаться, вы пришли обвинять и обличать. Вам по другому адресу. Тем более, что сами сказали, что с женщинами не о чем говорить. Переходите в свою песочницу, к мужчинам. Неконструктивные беседы вести — зря потерянное время. Всего хорошего.
avatar
silentium, я пришел изначально чтобы почерпнуть для себя что-то интересное. А хамства с моей стороны не было по отношению к вам, во всяком случае с того момента когда я узнал, что Вы женщина.
silentium, А сколько у вас слоев(не считая вход\выход) и какой тип НС? Какова сложность системы?
avatar
Quant-Invest, 

Тут все достаточно типично.
Обычная полносвязная нейронная сеть прямого распространения. Число слоев и нейронов в разных версиях разное. В текущей — один скрытый слой, 74 нейрона.

avatar
sortarray sortarray, вы просто на вскидку не понимаете что такое ООП, а что такое нейронная сеть. Ваш пост соседствует по смыслу с утверждением подобного рода: я на вскидку не понимаю разницы между конверным производством и автомобилем.
avatar
stitrace, на вскидку я могу с таким же успехом утверждать, что Вы не знаете что такое программирование. Ваша ассоциация с автомобилем если не дебильна, то упорота. Если Вам реально есть что сказать, то говорите по существу, в противном случае, лучше молчите.
sortarray sortarray, поскольку я ничего не понимаю в ООП, вот вам привет от нашего Мастера: нейроны не имеют состояния. А количество связей между нейронами даже для несложной сети может измерятся десятками, и даже сотнями тысяч. У нейрона есть входы, и есть выход, как правило, с пороговой функцией. Но внутреннего состояния нет." Наверное, Вы, как знаток и ООП и нейронных сетей, сможете это понять.
avatar
silentium, в таком случае, это вообще какая то оторванная от реальности модель. В реальной нейросети нейроны различаются как раз по состоянию возбуждения. А количество связей, собственно, значения не имеет, какая разница, сколько связей, если речь о модели?
silentium, ну, веса — то есть. Они и составляют, по преимуществу «память» НС.
avatar
SergeyJu, все правильно. Есть веса, есть архитектура сети. Но я не предполагала, что это станет предметом обсуждения в таком несерьезном топике.
avatar
silentium, 
Есть веса,

Что такое веса?
есть архитектура сети

Архитектура своим наличием должна как то породить состояние, которого нет? LOL
несерьезном топике.

А, оказывается это было не серьезно, а Вы еще и женщина. Вопросов больше нет, предупреждать надо.
SergeyJu, 
веса — то есть

Что такое веса?
silentium, в последних разработках (LSTM) нейроны имеют память, и количество связей в обычных DL nets уже исчисляется 10^9
avatar
 Покажите код. Только не синтетику, не какое-то библиотечное говно, типа createNetwork(bla-bla-bla), а какой-то пример, который показывает изнутри, как это работает. Покажите, например, как мы можем выявлять произвольные закономерности чередования символов в строке.
я правильно понимаю, что под ООП вы понимаете объектно ориентированное программирование?
avatar
Андрей К, Ух ты, а кто-то под этим понимает что-то другое? Само сабой:)
sortarray sortarray, тогда не пойму как понимать ООП = нейросеть.
avatar
Андрей К, Ну я же выше описал. Нейрон объект, который имеет состояние, получает сообщения от других объектов. У меня тогда встречный вопрос: а в чем отличие:)?
sortarray sortarray, а нейро объекты разве не пишутся на основе объектов опп и потом обучаются?
ооп в данном случае лишь инструмент реализации и инструмент представления.
avatar
Андрей К, Я не знаю, я как раз и хочу это выяснить. Меня тоже интересует обучение, я хочу понять, как происходит это на низком уровне.

Где вообще та грань между обучением и не обучением? Является ли, например, кеширование частным случаем?
sortarray sortarray, мне чуть выше книгу порекомендовали. Полистайте, интересно.
avatar
Андрей К, В книгах обычно приходится разгребать кучу хлама, _их_очень_важную_терминологию_, и тп, а хотелось бы понять саму суть:)
Андрей К, чисто теоретически, можно и в кодах писать, и на «чистом» Си, в рамках Карниган-Ричи. Было время, так все и писали. ООП облегчает труд, но новой сущности в процесс программирования не привносит. 
avatar
SergeyJu, Наконец то Вы выдали немножко конкретики, и мы сразу же увидели Ваш реальный уровень, точней реальный уровень вашей безграмотности в вопросе. Вы реализуете абстракцию нейрона, это уже означает, что Вы порождаете новую сущность. Что значит не привносит? Нахрена тогда нужна эта модель вычислений, если она не предполагает под собой никакой реализации. Если Вы реализуете модель, значит Вы должны реализовать среду, которая, блеать, позволяет Вам проектировать в терминах этой модели, и, в то же время, забыть о деталях этой реализации.
sortarray sortarray, нейрон не имеет состояния. см.выше
avatar
silentium, Я не совсем понимаю. Реальный мозг имеет память. Памяти не может быть без состояния. Какая к чертям это тогда нейросеть? Почему _это_ так назвали?
silentium, И как в таком случае система вообще может обучаться, если она не может запомнить предыдущих случаев?
sortarray sortarray, я так понимаю, задача построения сети, подразумевает под собой некое построение графов. На третьем курсе программистов обучают дискретной математике, там очень все схоже (исходя из того, что я успел полистать из книги)
avatar
Андрей К, ну так ведь нейронная сеть сама по себе представляет собой, как я подозреваю, граф, вершинами которого являются сами нейроны. И что из этого? Вы построили сеть, но ведь дальше то она должна как то обучаться? Обучение предполагает память. Например, при бектрекинге Вы должны запомнить, что результат предыдущего перебора провалился, нужно знать, что вы уже ходили по этой дороге, чтобы больше не возвращаться туда.
silentium, и вот вы, например, пишите
Используем чудо-машину на основе генетического алгоритма. 

генетические алгоритмы значит, часть реализации нейросети? В таком случае, опять же, как могут быть мутации без состояния, Вы не могли бы пояснить?
silentium, у меня несколько вопросов, если позволите:
1. Что анализируется в последней колонке на скриншоте (0 профит..., 5 профит..., 10 профит… и т.д.)?
2. Вы пишите, что ничего не понимаете в ООП. При этом, на скриншоте явно самописная программа, которая с вероятностью процентов эдак 90 написана объектно-ориентированном языке. Какова ВАША роль в данном проекте НС?
3. Как уже некоторые тут писали, хотелось бы увидеть что-то более конкретное, в плане реализации механизмов, вместо скриншота «черного ящика». Планируете чем-то подобным поделиться с читателями? Если «да», то когда и где?
avatar
Prophetic, 

1 — это статистика профита по часу (по 5тиминуткам), делалось не для НС, пользы не принесла
2 — ну да, программа написана на С++, понятно что с применением ООП
3 — что-то можно рассказать, но понятно, что не все, только в общих чертах. Детали, секреты, ноу-хау, понятно, что никто не расскажет. И не в рамках данного блога. Неожиданно много слов получилось. Ну и неприлично же общаться с женщиной по вопросам программирования — придется отвлечь кодера от его работы. Задавайте вопросы в личку, если действительно интересно. Если будет тема для общего обсуждения — вынесем в блог.

avatar
silentium, Для «лички» рейтинга маловато (почти не пишу, в основном читаю)
Вы так и не ответили на вопрос о Вашей роли в данном проекте. ;)
Но если желаете оставить это в секрете, я настаивать не буду.
Скажу сразу — у меня весьма скептическое отношение к НС (применительно к биржевой торговле). Когда-то пытался начать изучать, но до программирования даже простейших нейронов так и не дошел.
Что касается раскрытия темы, то вполне очевидно, что определенные «секреты» Вы раскрывать не будете и не должны.
Однако, увидеть некоторые «детали» реализации НС хотелось бы, в противном случае (в моем восприятии) текущий топик существенного интереса не будет представлять.
Да, наверное для этого придется привлечь кодеров, т.к. для интересующихся этой темой, но не имеющих достаточного опыта в практической реализации НС, основной интерес представляют варианты реализации отдельных механизмов работы НС, пусть и в упрощенных вариантах, просто для того, чтобы понять с чего начать и как конкретно реализовать отдельные этапы построения НС.
Например:
— на вход нейрона необходимо подать преобразованные данные о параметрах свечи => пример преобразования. Ведь наверняка кроме текущей реализации, которую Вы не хотите раскрывать, были и простейшие варианты, которые были отметены, но для других они могут оказаться полезными в качестве точки отсчета
— программный код реализации простейшего нейрона (не вашего конечно, а сильно упрощенного, но применимого к теме биржевой торговли)
— методы корректировки весов на связях между нейронами, в процессе обучения (хотя, допускаю, что без раскрытия «секретных» данных может и не получиться) и т.д. и т.п.

На самом деле все зависит от того, с какой целью был создан данный топик (все написанное далее ни в коем случае не воспринимать как оскорбление, т.к. это не является моим личным мнением о Вас):
— хотите похвастаться, что у Вас получается зарабатывать с помощью алгоритма на базе НС? ОК, похвастались. Мы за Вас рады и теперь благополучно можем забыть.
— хотите привлечь единомышленников в вашу команду? Хорошо, «затравку» бросили, теперь дело за конкретикой.
— Хотите чтобы тема НС (в интересующей нас области) не канула в лету, и развивалась? ОК, покажите другим что это не так сложно как кажется, когда читаешь только теорию, и не понимаешь как превратить это в практику.
— хотите чтобы другие поделились своими идеями? Я сильно сомневаюсь, что на данном ресурсе есть достаточно людей, которые разбираются в данной теме. Возможно, имеет смысл искать таких на других ресурсах, или вернуться к предыдущему пункту и дождаться появления обратной связи.

Лично для меня эта тема интересна пока только в качестве факультатива, для собственного развития и выработки свежих идей. изобретать велосипеды не очень люблю, а вот развить какую-нибудь идею до чего-то интересного — это вариант, но если начинать «с нуля», то это тот же велосипед…
avatar
Prophetic, многое, о чем Вы спрашиваете, уже есть в сети. Если это для «факультатива», и для развития — попробую сделать статью с подборкой материалов, на которых мы основывались. Там есть примеры для фин.рынков. Ну и свое что-нибудь можно добавить. Я подумаю над этим.
avatar
Prophetic, до написания этого топика, я перечитала все, что было на СЛ о нейронных сетях. Как-то все возникало и исчезало… не думала, что это вызовет большой интерес. Видимо те, у кого получилось, молчат.
avatar
Развлекался с программистами показывая им сливающего советника на тесте и зарабатывающего на торгах при не меняющихся настройках. Они бедняжки чуть ли не каждый символ кода со всех сторон пересматривали, пока не поняли что я понимаю что и на какой рынок надо ставить:)
НАБОР БУКФ
avatar
У-у, как все запущено! Чудо-машина явно не
по принцу Парето работает…
avatar
Я знаю как минимум один алгоритм HFT, который показывает весьма неплохие результаты (ну те самые тысячи процентов с 50к депозита в месяц) и работает на нейронных сетях на срочке, так что если, кого то заинтересовала тема с НС, то вот вам ещё один аргумент в пользу их использования.
avatar
stitrace, спасибо. Когда есть такие примеры — мотивирует продолжать. Но у нас, конечно, не тысячи процентов. Все скромно.
avatar
silentium, я имею ввиду тысячи процентов с 50к, HFT это, тысячи сделок за сессию, проблемы с ликвидностью, бешеные комиссии и прочее. Но ребята там живут с него и весьма неплохо зарабатывают (по меркам обычных трудяг и 99% местного планктона, который ООП от НС не отличает). Правда это данные на момент начала 15-го года, не знаю как они сейчас.
avatar
stitrace, да вроде нет бешенных комиссий. Да большие, но не бешенные =)
avatar
Андрей К, это вы как HFT уже привыкли, для среднестатистического посетителя смарталаба комиссия в 50 тысяч рублей за торговую сессию может казаться бешеной)
avatar
stitrace, как часто надо сети пересчитывать?

avatar
ПBМ, я к сожалению, понятия не имею, я весьма поверхностно был знаком с их системой.
avatar
Молчи, пока ты не в состоянии сказать нечто такое, что полезнее твоего молчания.                                                                       
Хорошо сказано.
avatar
Все кто начал испоьзовать нейросети в 2006 году (был их бум среди трейдеров) не дожили и до 2010 года (не говоря уж о заработке)

Просто тут эта тема так «хорошо пошла», потому что на рынке редко остаются «старожилы)»))
Иван Петров, возможно, они решили, что один раз разработали одну сетку и она будет на них всю жизнь работать… Это не так. Я ради интереса гоняю сетки на тестере с 2008 года. Хоть это не имеет значения.
avatar
silentium, То есть будучи «в теме» с 2008 года, Вы как бы не в теме, за ту тему где и как эти сетки гонялись?
… как то настораживает… то есть никакого дополнительного материала Вы не читали, за развитием сетей не смотрели?


Иван Петров, нет, конечно. Я в рынке с 2011 года самостоятельно, без помощи «инвест-компаний». Тот взгляд совсем иной. А все «последние известия» сводятся к нытью, что ничего не работает, все плохо, и бегите отсюда… Хотелось проверить. Главное, в других отраслях нейросети успешно применяются, а на ФР — ни-ни! А зачем тогда «у них» в банках нейросетевики сидят? А может мне просто повезло найти хорошего кодера…
avatar
silentium, В банках то как раз все правильно нейросетевики сидят.

Нейросеть, как  хороший калькулятор, чтобы в уме не считать, но не более того…
Иван Петров, ну зря Вы так.
avatar
silentium, в нормальный банках они если и сидят, то скорее всего на скоринге, кредитный риск считают для массового клиента. Навскидку, это более простая задача, но, я полагаю, более важная. 
Что до квантов в инвестбанках… наврядли большинство из них занимается именно направленной торговлей на бирже. Там масса всяких других затей, начиная от фронтраннинга клиентов и заканчивая всякими форвардами и внебиржевыми опционами.
Наконец, на НС свет клином не сошелся, есть и другие методы в области ИИ.

avatar
Иван Петров, Ой, а я про «в теме» не поняла Вас. Я ж имела в виду 90-е как начало самостоятельной трудовой деятельности. Компания-то моя с 1992 года рождения. А рынок — это позже. Может даже слишком поздно. Поэтому хочется сразу всего самого передового…
avatar
silentium, Короче от реального бизнеса к иллюзиям…
Иван Петров, тема не для широких масс
avatar
nbvehrfr, Как раз таки -для широких.

Она по сути своей не сложнее испольсования скользящих средних.

Просто надо терминал поновее, там и техподдержка к нему прилагается
Иван Петров, чтобы обучать с более менее нормальной скоростью нужно железа тысяч на 5-6k$, это для широких масс?
avatar
nbvehrfr, очень близко к реальности. Машинки заняты расчетами.
avatar
nbvehrfr, Это если Вы там все 10 нейронов включите и более… а этого совсем не нужно, Вы же на переоптимизацию нарветесь.

Иван Петров, 10? несколько тысяч в каждом слое не хотите? плюс экстратор фич перед сеткой. чтобы не было оверфиттинга все используют дропаут, а с 10 вы ничего не увидите
avatar
Подписался, ждем теперь конкретики)
avatar
gry, убедили. Постараемся к понедельнику что-то типа ответов на технические вопросы по теме НС сделать. Конечно, из нашего опыта. На абсолютность не претендуем. Но работает же.
avatar
silentium, 
1. без регуляризации (сорри если неправильно перевел термин) будет обычный галимый оверфиттинг, добавьте дропаут 0.5 и L2 и посмотрите на результат.
2. использовать обычную многослойку для таймсерис моветон, есть RNN, LSTM или самый свежак Grid LSTM
avatar
nbvehrfr, таймсерии в обычном варианте не используем, Dropout для нас устаревшая технология, мы используем Dropconnect :)) Спасибо, конечно, за Ваши подсказки!
avatar
silentium, btw, вы не смотрели в сторону reinforcement learning? допустим обучить сеть торговать внутри дня смоделировав действия трейдера интрадейщика
avatar
nbvehrfr,  да, мы смотрим в сторону reinforcement learning

Это как раз то, чем Мастер сейчас занимается

avatar
silentium, Мастер?
avatar
nbvehrfr, да. МАСТЕР.
avatar
silentium, PhD?
avatar
nbvehrfr, а такой статус обязательно нужен?
avatar
silentium, вопросом на вопрос :)
нет не нужен, но хотя бы masters in math для интуитивного понимания nn
avatar
silentium, dropout хорошая техника, активно используемая в deep learning, чтобы сразу исключить подстройку — из сети случайным образом исключаются нейроны в каждом батче свои, так вы гарантируете что сеть устойчива к частичной потере внутренних связей и отражает более общие закономерности обучающей выборки  
avatar
silentium, так если таймсерис не используете тогда просто даете моментальный снимок текущей ситуации по разных разрезах?
не пробовали искать паттерны на чартах с помощью cnn?
avatar
nbvehrfr, по сверточным сетям тоже есть конкретные идеи, просто нет возможности исследовать все сразу.
avatar

Добавляем всякие вкусности – объемы, ATR-ы, МА-шки, уровни, индикаторы разные…

Объемы еще понятно, а все остальное — и так производные от цены. Но нигде не доказано, что нельзя, значит можно ;)
В целом — интересно, «но денег не дам!» ©
Причина проста — даже прогнозируемость «лонг-шорт» будет в районе 50:50. А про размер движений и говорить нечего, но скажу: ноль!
Но это все — только мое скромное мнение.
За пост + огромный плюс.
----------------
Публикуйте несколько месяцев на каждый торговый день прогнозы «покупать» или «продавать», тут, на smart-lab.
Результат будет, однозначно!
 

avatar
XXM, не могу прогнозов делать каждый день. Я в следующих постах покажу картинку и расскажу, как это работает. Это работает только внутри дня. Разные сети имеют разное количество сделок в день. Это никак не может быть прогнозом. Я вообще ПРОТИВ прогнозов всяческих. Ну кроме таких, как в фильме «Big Short». Ну так после этого фильма и аналитики наши — не аналитики вовсе. Сори, никого не хочу обидеть.
avatar
XXM, а сделки мы на сайте планировали публиковать. Но я не пойму, кому это интересно.
avatar
Я вообще ПРОТИВ прогнозов всяческих.

Слив засчитан ;)

Ибо сказано:«Способности нейронной сети к прогнозированию напрямую следуют из её способности к обобщению и выделению скрытых зависимостей между входными и выходными данными. После обучения сеть способна предсказать будущее значение некой последовательности на основе нескольких предыдущих значений и (или) каких-то существующих в настоящий момент факторов. Следует отметить, что прогнозирование возможно только тогда, когда предыдущие изменения действительно в какой-то степени предопределяют будущие. Например, прогнозирование котировок акций на основе котировок за прошлую неделю может оказаться успешным (а может и не оказаться), тогда как прогнозирование результатов завтрашней лотереи на основе данных за последние 50 лет почти наверняка не даст никаких результатов.»

сделки мы на сайте планировали публиковать.

Увы, это тоже как-то не совсем то. Их можно нарисовать.

Но я не пойму, кому это интересно.

Об этом надо было подумать раньше, до этого вашего поста.
А сейчас, увы, поздно.
Это интересно многим ;)

avatar
XXM, я ответила на предложение делать прогноз в начале дня — шорт или лонг. Это невозможно, как невозможно сказать, сколько сегодня будет сделок, какими они будут, от каких уровней будут входы и где будут перевороты (реверс). Мне лично не интересно читать чужие прогнозы, я не занимаюсь анализом чужих сделок. Я предпочитаю увидеть сформированные данные по периоду и сделать выводы о прибыльности и устойчивости той или иной системы. По поводу «нарисовать» сделки — планировали на сайте в реальном времени вести трансляцию сделок. Просто транслировать экран бота онлайн. Нам предлагали такое сделать, только мы не поняли, зачем это нужно. Пользователи имеют этот экран перед собой. В чате люди иногда сверяют позиции (бывает, что кто-то некорректно тиковые файлы записал, например). Другим это зачем? Повторять некоторые сделки — глупо. Они как профитные, так и убыточные бывают. Использовать как советника — тоже не вариант. Его или запускать в работу или нет. 
avatar
silentium, вы можете вести трансляцию ТСЛАБ, которая показывает результирующий график эквити. Сразу скажу, что в вашу систему не верю, мусор на входе = мусор на выходе, слишком много переменных. Выглядит как подгонка под историю, без проверок вне выборки. Еще и продаёте системы, сами не зарабатываете на рынке!
avatar
EY, Спасибо и Вам. Сами — зарабатываем. Причем ведем своих ботов до результата. Еще немало средств нужно на разработки. Мы не используем ТСЛаб, поэтому трансляцию там вести не сможем. 
avatar
XXM, можно построить сеть не прогностическую, а реактивную, которая будет реагировать на текущую ситуацию (с накоплением информации о прошлом в памяти) отдавая приказы на покупку/продажи либо оставаясь вне рынка
avatar
Ясно, спасибо.
Тоже когда-то баловался НС.
Introduction to Neural Networks for C#, Jeff Heaton, и все такое прочее.
Толку — ноль. Не годятся они для совершения сделок на финансовых рынках в общепринятом смысле. 

Другое дело — HFT, в этом Молодой поэт Таджикский, думаю, прав — там идут процессы на квантовом уровне, и применение НС может быть оправдано. И, скорее всего, они там применяются уже давно. Но и тут результаты вряд ли сильно ушли от 51:49.

В любом случае — желаю успехов!



avatar
XXM, конечно, понимаю, что это скорее мой промах, и выводов тут никаких сделать не выйдет, но пару лет назад я пытался машинным обучением предсказывать рынок на пару десятков секунд вперед на основе индикаторов, построенных на ордерлоге и стакане, и оно вроде даже что-то угадывало, но о хотя бы отбитии биржевой комиссии, конечно, речь не шла.

К стати, вопрос к топикстартеру, у них есть какой-то опыт в анализе микроструктуры рынка с помощью нейросетей?
avatar
Lafert, 

Вот ответ от нашего Мастера: «Может, в статье опишу, как в матлабе сделать сеть, которая будет „что-то угадывать“ - 
свои первые простейшие эксперименты.
Но от этого до реальной прибыли далеко как до Луны». Только это не нужно здесь. А кому нужно, тот в сети найдет такие примеры..

avatar
Уже поздно. День у нее был непростой.
avatar
XXM, это правда. Спасибо за понимание. Не ожидала такого количества комментариев. Тяжелый день. Спасибо всем! Готовим следующий топик.
avatar
В таком виде применять  НС — значит не понимать механизмы функционирования рынка. В общем —  артель «Напрасный труд».
Кан Делябр, может Вы знаете того, кто знает «механизмы функционирования рынка»? Разве ОН поделится своими знаниями и поможет нам зарабатывать? Разве Вы не знаете, что на рынке можно зарабатывать, не понимая «механизмов функционирования рынка». A(rtifical)N(eural)N(etwork)Group — мы называемся. Хороших всем выходных!
 
avatar
Асилил все каменты!))))

С нетерпением жду следующей статьи!
НеГрустин, обязательно! Спасибо!
avatar
Автор, Вы молодец. Отличная статья!  Жаль, что алгоритмам и квантам на СЛ очень мало уделяется внимания(          
avatar
chizhan, Спасибо! Попробую продолжить. Может те, кто делают, предпочитают молчать? Я тоже так поступала.
avatar

Тему уже поднимали, например тут: http://smart-lab.ru/blog/288428.php
Просили «писать только по делу», брали «в дело только опытных.»
Никогда не оскудеет тема поиска чудо-аппарата (черного ящика), когда ему на вход подаются текущие котировки, а на выходе — готовое решение: лонг/шорт/курить_бамбук.
avatar
XXM, Спасибо Вам за комментарии — действительно интересные мысли говорите (я Вас и раньше читала). Я перечитала все, что было с тегом «Нейронные сети» на СЛ, прежде чем написать. Видела, как быстро пропадает интерес к теме, но все же рискнула — и не жалею. Обсуждение было, я увидела, что мы не одиноки в этом направлении. Мы обязательно продолжим публиковать материалы — и по реальному использованию, и по технологии создания. И даже если один человек найдется, кто подтолкнет к чему-то новому — это отличный результат дня, проведенного в чате, чтобы не считать его потерянным. Иллюзий не питаю, второй год юзаю наших ботов в реале, вижу, что с ними происходит, знаю, какие шаги предпринимать как фин.управляющий. По первой специальности — системотехник, люблю создавать, тестировать и анализировать системы. Технологий создания НС неопробованных еще много. Граалей не ищу — их просто нет для маленьких людей в рынке. Воспринимаю это как автоматизацию своей торговли. При хорошо просчитанных рисках такой способ получения пассивного дохода в сочетании с самообразованием считаю вполне хорошим делом для моей жизни.
avatar
silentium, скажите, пожалуйста: пробовали ли Вы создавать нейросети при помощи инструмента WealthLabNeuro-Lab? Если да — возможно, он Вам не понравился, и поэтому Вы предпочли разработать свой собственный инструмент?
avatar
Valery Kh, на мой вопрос, почему мы используем MatLab, а не WLNL, наш Мастер ответил так: «Такие вещи трудно сравнивать. Ну, например, можно сравнить самокат и завод по производству автомобилей?» 

Матлаб — это удобная среда, где можно быстро попробовать любую идею, если умеешь программировать. Большинство новых научных разработок в области алгоритмов НС в первую очередь реализуют на Матлабе. (Это не касается пакета Neural Network Toolbox, который идет в комплекте с Матлабом — он весьма отстает от жизни).
В последнее время конкуренцию Матлабу составляет язык Python. Для него есть огромное количество библиотек для математических и матричных вычислений. Его активно использует и развивает Гугл, в том числе и для разработок в области НС. А НС Гугл занимается весьма активно (распознавание речи в андроиде, поиск по картинкам, распознавание образов, и многое другое). https://ru.wikipedia.org/wiki/MATLAB

avatar

silentium, да, действительно — у Python есть свой NeuroLab: pythonhosted.org/neurolab/

Там пишут, что его интерфейс похож на матлабовский NNT. Как насчет функционала — пока не знаю.

avatar
Valery Kh, дело в том, что наш Мастер предпочитает писать свои коды, а не пользоваться готовыми инструментами. Индикаторы тоже свои все.
avatar
silentium, согласен с Вами. Свои индикаторы зачастую бывают лучше традиционных.
avatar

silentium, 

Я вот подумал, что г-н sortarray, как ни странно, кое в чем был прав )) А именно: сети типа RNN/LSTM все-таки имеют состояние (память), и в этом смысле напоминают мне конечные детерминированные автоматы.

Я помню, Вы говорили, что не используете time series, и в то же время у Вас есть идеи относительно CNN. Мне в плане сверточных сетей приходит в голову лишь нечто вроде анализа японских свечных паттернов (типа двух взлетевших черных ворон). Мне кажется, если рассматривать движение цены во времени, то больше подходит как раз концепция RNN, чем CNN. Интересно узнать Ваше мнение.

И еще вопрос: если у Вас 364 входа и 1 скрытый слой из 74 нейронов (а выход, вероятно, 1?) – правильно ли я понимаю, что dropconnect Вы используете на полносвязной матрице 364*74?

avatar
Valery Kh, 

Насчет RNN — я не знаю серьезных применений этого типа сетей, каких-либо исследований, результатов, развития их. В отличии от CNN. Думаю, CNN способны гораздо на большее, чем просто находить свечные патерны. Они позволяют анализировать очень большой кусок истории без переобучения, благодаря своим разделяемым весам.
На второй вопрос — ответ да.

avatar
Valery Kh, забыла пометочку сделать — это ответ от Мастера.
avatar
silentium, спасибо за ответ — Вам и Мастеру ))
avatar
Valery Kh, Вам спасибо за качественный вопрос. Мы не претендуем на истину — это только наше мнение. Потому что именно таким путем у нас получился результат.
avatar

теги блога silentium

....все тэги



UPDONW
Новый дизайн