нейросеть

  Из тестов которые я привел в прошлых постах, следует что для задач с ограниченной выборкой и моим виденьем рынка, следует использовать GB, как наиболее эффективный инструмент, далее близко идет RF, а а где то далеко позади, глотая пыль плетется нейросеть. Также следует необходимость чистки от левых фичей. В чем вообще вопрос?! Лишние фичи это возможность инструментам ML найти черную кошку даже если ее там нет, особенно феерически это показала нейросеть, которая при относительно небольшом числе примеров откровенно творит (от слова тварь). Давайте попробуем зациклить чистку фичей и сделаем это системно. Системно это в частности избежать заглядывание в будущее а танцев с бубнами. Мои данные это около 50 тысяч дневок для наиболее ликвидных российских фишек с 2010 по апрель 2018 года (2008 год безудержного падения, 2009 год безудержного роста, поэтому все что до 2010 года оставил за бортом, как заведомо простые для извлечения профита годы), заглянуть на них в будущее это в частности использовать для прогноза движения цен в 2011 году данные о ценности фичей за все года. Мы так делать не будем. Мы представим что переместились в начале 2011 года и имеем только данные за 2010 год.  Для прогноза 2011 года используем данные о ценности фичей на тесте за 2010 год. Как используем? Да просто — из более чем трех десятков фичей используем только 5, 10, 20 наиболее информативных. Для прогноза 2012 года используем данные о ценности фичей на основе теста 2010-2011 годов итд. (Код разбухает, становится все менее читаемым, впору задумываться о ООП). После получения прогнозов, для удобство переведу их в столь любимое для трейдеров виде: профит на сделку, и сравню их с результатами если бы каждый раз использовались все доступные фичи. А их 34 штуки. Чистка фичей это будет во первых.
  Во вторых попробую улучшить результат за счет скалерновской VotingClassifier, которая будет выводить нечто среднее из прогнозов RF и XGB.
  Приступим с первого пункта. 

( Читать дальше )

В прошлом тексте я пробовал «помочь», нейросете уменьшив число рандомных фичей. Сейчас попробую помочь увеличив число примеров. Может наша сверточная сеть покажет что то вменяемое если увеличить число примеров до миллиона? Это задача на моем компьютере требует совершенно других затрат времени, так что я вчера запустил машинку обучаться, а сам пошел спать. Обучался на 50 эпохах, увеличивая данные от 10 тысяч до 50 тысяч (увеличивая обьем на 10 тысяч), и от 100 тысяч до 900 тысяч (с шагом +100 тысяч).
  Результаты порадовали. Я не буду в 5 раз пересказывать логику «исследования», но убрав week=5 мы должны (ну как должны!? вообще то нам никто ничего не должен) получить равновероятный прогноз события 1 и события 0. Ниже на графике эту норму в 50% изображает серая линия. Красная это прогноз события=1, синяя событие=0, ось Х число примеров на обучающей выборке в тысячах. 

  
  И пусть девочка кинет в меня камне если тут нет сходимости. 

( Читать дальше )

Напомню был сгенерирован DateFrame со 100 бессмысленными фичами и одной осмысленной, для проверки могет ML или не могет. Как оказалось GradientalBoosting могет и еще как, RF могет, но хуже. Что покажут нейросети? Нейросетей много, архитектур много, настраивать их не просто, я предложил решить задачу нейросети со следующей архитектурой:

model = Sequential()
model.add(Convolution1D(input_shape = (101, 1),
nb_filter=16,
filter_length=4,
border_mode='same'))

model.add(BatchNormalization())
model.add(LeakyReLU())
model.add(Dropout(0.5))

model.add(Convolution1D(nb_filter=8,
filter_length=4,
border_mode='same'))

model.add(BatchNormalization())
model.add(LeakyReLU())
model.add(Dropout(0.5))
model.add(Flatten())
model.add(Dense(64))
model.add(BatchNormalization())
model.add(LeakyReLU())
model.add(Dense(2))
model.add(Activation('softmax'))

  Тут все как положено — сверточная нейросеть, модная функция активации ReLU, широкой рукой накиданные Dropoutы и BatchNormalization, несколько слоев чтобы похвастаться не просто об обучении, а о глубоком обучении. Обучал на 100, 500 и 1500 эпохах. При увеличении числа эпох росла accuracy на train и на test, далеко превосходя заложенную accuracy ряда. При попытках использовать обученную нейросетку для прогноз получался один большой пфук.
По табличке:

( Читать дальше )

Здравствуйте, дамы и господа!

Думаю, что всем хочется покупать финансовые инструменты подешевле, а продавать подороже. Реакция участников торгов на новости, как правило, непропорциональна и чрезмерна: пессимисты склонны недооценивать актив, а оптимисты, напротив, его переоценивают. В определении текущих «перекупленности» или «перепроданности» активов теханализ помогает мало. Предположим, что золото подорожало и его цена в USD на историческом максимуме. Означает ли это, что его цена «несправедливо» завышена? Совсем необязательно. Она может вырасти, например, если девальвировался доллар, и тогда самая высокая его цена остается справедливой и обоснованной. А если ВСЕ основные валюты постепенно теряют покупательскую способность? Тогда девальвация USD может быть незаметна, но цена золота (и многих других активов) «справедливо» вырастет из-за инфляции.

Несколько перефразируя Дядю Федора, можно сказать, что чтобы купить что-нибудь ненужное, инвесторам надо продать что-нибудь ненужное. Деньги «перетекают» из акций в золото и облигации, из драгметаллов в кеш, из одной валюты в другую (и обратно).  Поэтому для «справедливой» оценки актива его цену нужно сравнивать с ценами максимально широкого набора финансовых инструментов и построить математическую модель взаимных зависимостей их стоимости.

( Читать дальше )

Однажды великий гуру трейдинга и знаток анекдотов Александр Михайлович (который Герчик) в одном из своих семинаров рассказал про один случай, когда он пытался алгоритмизировать работу с уровнями и нанял целого математика, чтобы тот разработал мат.аппарат и запрограммировал сигналы для отбоя/пробоя. Целый математик бился над задачей как рыба об лед, но, видимо, математик он был так себе и поэтому задачу решить не смог.

Даже я, на тот момент имеющий в активе три класса церковно-приходской, долго недоумевал, как можно было не решить такую простейшую задачу. Это же легче легкого, думал я: хочешь запрограммировать горизонтальные уровни — тупо вбей в систему справочник круглых чисел, хочешь запрограммировать вершину параболы — пиши регрессию. И так далее.

Потом времена ушли далеко вперед и появился Искусственный Интеллект (ИИ), который легко решает эту задачу, даже без понимания, как оно должно работать.
Собственно, ИИ появился еще лет 50 назад. Но в те давние времена (уже почти былинные), когда и трава была зеленее и небо голубее, компьютерное железо было не способно решать задачи такого уровня. Сегодня ситуация изменилась.

( Читать дальше )

Amazon. Развод Безоса. Суд. Банкротство. Месть Трампа. Вместо ИИ Amazon — украинцы.  И конспект книги «Магазин Всего: Джефф Безос и эпоха Amazon»

Ссылка на книгу, аудиосаммари и конспект здесь t.me/kudaidem

Весь 2018 год превозносили  Джефа Безоса. Самая дорогая компания! Провидец! Наконец то стал прибыльным.

Только начался 2019 год, как супруги Безос решили развестись. Состояние супруга может уменьшиться в 2 раза.

( Читать дальше )

Всю жизнь был клиентом компании Алор Брокер, но так как я сторонник всеобщей диверсификации решил заключить ещё один брокерский договор.
Так как давно пользуюсь услугами сбербанка в качестве банка — решил открыть дополнительный брокерский счёт именно у них.
Торговать активно там не собираюсь — хотел перенести туда портфель облигаций (в основном ОФЗ).
При необходимости воспользоваться наличными должно быть достаточно удобно — продал ОФЗ через Сбербанк Инвестор и тут же перевёл через Сбербанк Онлайн на карточку. Процесс открытия брокерского счёта прошёл довольно гладко. Приложение на андроиде Сбербанк Инвестор тоже установил.
Но вот при возникновении небольшого вопроса решил созвониться со службой поддержки Сбербанка.
Время действия:
21 век.
19 ноября 2018 год,
время 12 часов 20 минут.
Телефон для связи красивый: 8 (800) 555-55-51

Вот что из этого вышло:

аудио звонка >>>


В 2016 году в октябре месяце читал, что СберБанк внедряет нейросеть для работы с клиентами
Буквально недавно была конференция Сбербанка по нейросетям…

( Читать дальше )

«Сила подсознания или Как изменить жизнь за 4 недели». Конспект книги. Часть I. Человек с точки зрения науки Глава 1. Квантовый человек (окончание) Начало https://smart-lab.ru/blog/421427.php

Бесконечное число вероятностей ждут своего наблюдателя

Физическая реальность существует лишь в форме чистого потенциала.

Если человеческий разум способен материализовать электрон, то теоретически он может материализовать любую вероятность.

Наблюдателю, дана способность силой мысли сгущать квантовое поле и из бессчётного множества субатомных волн вероятности формировать желаемые жизненные события. Правда, для этого требуется осознанное внимание, готовность добросовестно применять новые знания и ежедневно упражняться

Мы — разумная материя. Согласно квантовой модели, физическая Вселенная — это единое нематериальное информационное поле, в котором всё взаимосвязано и которое потенциально является всем, но фактически — ничем. Квантовая Вселенная просто поджидает наделённого сознанием наблюдателя (например, вас или меня), чей разум (который и есть энергия) окажет воздействие на энергию (потенциальную материю), сконцентрировав волны энергетических вероятностей в физическую материю.

( Читать дальше )

Часть I. Человек с точки зрения науки. Глава 1 Квантовый человек http://flibusta.is/b/353595/read

Джо Диспенза исследует энергетические аспекты реальности с чисто научной точки зрения и даёт читателю всё, что необходимо для осуществления серьёзных положительных изменений в жизни. Его выводы, подкреплённые данными нейронауки, ставят под сомнение наши представления о человеке и о границах его возможностей. С  помощью определённой последовательности медитаций можно сознательно изменить структуру нейронной сети и настроить свой мозг на радость и творчество.Корни прошлых неудач можно свести к одной глобальной ошибке: вы не были готовы жить с полным осознанием истины о том, что наши мысли обладают столь огромной силой, что буквально создают нашу реальность.

Чтобы изменить жизнь, нужно изменить представления о природе реальности

Декарт был сторонником механистической модели мира, согласно которой Вселенная подчиняется определённым законам. Анализируя же человеческую мысль, Декарт столкнулся с настоящей проблемой: в работе разума оказалось слишком много переменных, и её нельзя было свести к единым законам. Именно Декарт «виноват» в противопоставлении разума и материи.

( Читать дальше )

       Посчастливилось ознакомиться с учебным пособием наших харьковских учёных, имеющем отношение к автоматизированному трейдингу, советникам и торговым роботам.
        В связи с тем, что многие трейдеры годами ищут для своей торговли подобных «помощников» и «Святые Граали», решил написать рецензию на эту книгу, заодно окунувшись в кухню создания всевозможных Граалей. Ведь большинство трейдеров, убедившись в том, что очередной индикатор или советник пока ещё не «Святой Грааль», с надеждой продолжают свои поиски дальше. Благо, есть где и что искать. А также находится много помощников в этом деле. Но задумываются ли они над тем, кем и как создаются все эти бесчисленные претенденты в «Грааль». Откуда они берутся и зачем.

       ЧАСТЬ 1. Учёные и их научные исследования.
       В данного учебного пособия довольно представительный авторский коллектив, солидные рецензенты, серьёзные исследования… Рекомендовано Министерством образования и науки Украины.

( Читать дальше )