Песочница для роботов

Многие слышали про шахматную программу AlphaZero, которая научилась играть в шахматы, зная правила и играя сама с собой миллионы раз. Идея такой песочницы для роботов не новая. В простейшем виде это реализуется фитнес функцией, когда каждый робот получает оценку по какому-то критерию, например по профиту за период. Потом победители идут на второй круг, а побежденные выбывают. Для оценки по фитнес функции роботов не надо гонять против друг друга и сделать её не сложно. А вот чтобы стравливать роботов и выбирать сильнейших, тут надо придумывать песочницу.
С программисткой точки зрения задача интересная, но непонятная. Надо придумать как двигать цену, так чтобы она реагировала на роботов и чтобы результат эволюцией роботов в такой среде был бы полезен для работы в реальном рынке. Да, можно гонять роботов на истории, это готовая песочница. Максимально похожая на рынок. Но она никак не учитывает воздействия самого робота на этот рынок.
Гоняя роботов на истории, мы по сути выращиваем огромных травоядных динозавров. Им плохо живётся в реальной жизни, то холод, то засуха, то Трамп не в тему твитнет. Гоняя роботов против друг друга в динамической песочнице с обратной связью, можно вырастить хищников, а то и приматов, идея манит.
Какие пути я вижу? Начать со случайного блуждания, меняя вероятности выпадения событий в зависимости от числа поз в рынке. Результаты эволюцией роботов тестировать опять же на истории.
Может у кого есть статьи, книги, свои мысли на эту тему? Задача с практической точки зрения возможно и не самая полезная, интересная скорее с программисткой точки зрения — создание динамического мирка и приближение его к реальному.

эволюция решительные пеньки

П М

Москва

199

11 536

с 23 декабря 2013

74 Комментария

Igr
01 сентября 2019, 07:49
«воздействия самого робота на этот рынок»
если среднесрок и сумма не сотни лямов то думаю воздействием можно пренебречь
+7
iddqd3n
01 сентября 2019, 08:10
Не зная точных алгоритмов биржи и маркет-мейкеров по установлению цены, проще этим пренебречь.
+2
Захаров
01 сентября 2019, 08:26
В части Динозавров в корне не согласен, тк чем на больше промежутке исторических данных робот показывает стабильный результат, тем спокойней он будет жить и в реале (конечно все зависит от самого алгоритм, все что написал я, косается исключительно среднесрочной торговли)

+1
- П М
  01 сентября 2019, 08:45
  Захаров, ну в целом я согласен и с вами и с предыдущими двумя коментами, что можно и так — просто на истории.
  
  песочница — это такая большЕ академическая задачка для интереса. из которой потом наверняка может выйти что-то полезное. например станешь больше понимать тех самых маркет-мейкеров. а в идеале даже найдёшь одну две их или своих слабости.
  
  или поймёшь, почему цена так часто разворачивается на стопе, без разницы, будь то стоп человека или стоп робота.
  +2
Олег Ложкин
01 сентября 2019, 08:39
научи робота зарабатывать и уЗбогойся, у тех кого надо такие задачки давно уже решены на уровне который для обыкновенного участника Сматлабика не досягаем.
+1
- П М
  01 сентября 2019, 08:47
  Олег Ложкин, зарабатывать научил, осталось научить не сливать заработанное обратно :)
  +2
Пафос Респектыч
01 сентября 2019, 09:44
Этот подход для обучения/отбора рыночных роботов не работает. Данных мало.

Для того, чтобы сделать крутую генерилку данных, нужна модель рынка, а чтобы её построить, просто мало данных. Даже если взять минутки за 10 лет, это примерно как оценивать параметры популяции по выборке размера 1 процент от неё ) То есть остальные 99% ты так не нагенеришь, получится что-то совершенно непохожее, со всеми вытекающими.

В альфазеро данные генерятся тривиально, и то задача очень сложная на них обучиться, и в инженерном плане (нужен датацентр), и в научном.

Тут же уже на этапе генерации данных колоссальные проблемы.
+1
- П М
  01 сентября 2019, 11:08
  Пафос Респектыч, вот это похоже на правду. я правда не уверен что в шахматах всё в разы проще чем на рынке, но наверно да
  0
  - Пафос Респектыч
    01 сентября 2019, 11:32
    ПBМ, в шахматах запись партии проста и компактна, и кроме неё гарантированно ничего нет. На рынке — график это только график, к нему ещё в каждый момент времени прилагается весь мир вокруг. То есть можно сказать, что график — это запись реакций всей публики которая торгует этот инструмент на все события, которые с ней происходят, то есть «неизвестных неизвестных» просто масса разных
    0
Сергей Ю.
01 сентября 2019, 10:31
В игре где надо замки захватывать и строить… роботы друг против друга играли… Закончилось тем, что они просто поделили территорию и перестали нападать друг на друга..
Тут тоже в оконцовке самообучаемые роботы начнут зеркалить алгоритмы друг друга и каждый останется при своих… эффективный рынок…
Роботу жрать не надо, он профит может вечно ждать..
-----
На рынке терпеливый и расчетливый забирает деньги у азартных и эмоциональных, а таких большинство… Толпа гонит цену: то слишком высоко, то слишком низко..
Вот за счет перекосов и будет заработок…
+4
- П М
  01 сентября 2019, 11:25
  Сергей, можно в песочницу вставить какие-нибудь переодические дизастеры. типа утренних гэпов, смен волатильности и тп
  0
  - Сергей Ю.
    01 сентября 2019, 17:00
    ПBМ, будет затухание и снова система быстро придет в равновесное состояние…
    Да и откуда берутся гепы и повышенная вола? Это ж чисто психологическая реакция толпы на новость, отчет, или азарт…
    0
Логарифм Интегралыч
01 сентября 2019, 11:03
когда много систем
возникает лотерея:
угадай систему
0
Иван Егоров
01 сентября 2019, 11:12
Вам надо написать биржу, а Ваши роботы там будут просто игроками и будет один супербот, который будет а-ля маркет-мейкер, который поддерживает ликвидность
0
sortarray sortarray
01 сентября 2019, 11:45
как я слышал, эти шахматные проги работают засчет памяти, у них алгоритмы отличаются от мышления. Основа человеческого мышления в шахматах совершенно иная, человек не может видеть все варианты развития игры, он вместо этого пытается обобщать и искать инварианты, а так же использует тактиические фишки, как например, видя атаку на слона, он вместо защиты нападает на ферзя используя общий принцип атакующей защиты

А это в сущности то же самое что делает боксер или мечник
Шахматы не случайно в категории спорта. Спорт это искусство воина изначально
Это ныне он деградировал до британского спорта.
0
SergeyJu
01 сентября 2019, 11:54
Пытались моделировать. См. minority game
+1
- П М
  01 сентября 2019, 15:02
  SergeyJu, погуглил, нашел такое: http://aeguchi.hogsford.com/projects/minority-game-project
  
  там даже есть пример кода.
  забавные там выводы в конклюжене, что вобщем-то общение — это ключ.
  и ещё интересное хотя и не очень понятное
  - If honest ppl. are the minority, they win against the tricksters
  +1
sortarray sortarray
01 сентября 2019, 12:00
Гоняя роботов против друг друга в динамической песочнице с обратной связью, можно вырастить хищников, а то и приматов, идея манит.

Вот почему многие гуру говорят, что идея ООП провалилась? Во многом потому, что не в коня корм. Программисты носят гордые имена «архитекторов», а на деле постоянно путаются с разбиением на категории, не могут выстроить правильную иерархию.

Основа выделения общих сущностей в выявлении общих свойств по единому контексту.

Если вы говорите о разбиении по признаку поглощения пищи, у вас общий контект пища.
если вы разбиваете по признаку развития, у вас общий контекст развитие.
Это 2 разных категории, нельзя сказать логически «или травоядный или хищник или примат», это блеать как эйнштейн с его временно-гвоздевым континуумом:)

Вот потому и не любят множественное наследование. Оно естественным образом отражает природу, от чего бегут как от чумы в «математику»:)
0
Дмитрий Новиков
01 сентября 2019, 12:03
Задача интересная, но уже решенная. Действия однотипных роботов сформируют очень понятную вещь. Нормальное распределение приращений цены. Если вы обучите их боятся, то появится корреляция цены и волатильности (например) и т.д. Поэтому, лучше взять БА, снять с него параметры, и нагенерировать 1 мил движений. Метод Монте Карло, называется. А вот в него запустить вашего робота и проверить его эффективность.
+3
- sortarray sortarray
  01 сентября 2019, 12:05
  Дмитрий Новиков, а зачем вам монтекарло, рандом чем не устраивает?
  0
  - Дмитрий Новиков
    01 сентября 2019, 12:12
    sortarray sortarray, Потому что параметров больше чем -1:+1.
    0
    - sortarray sortarray
      01 сентября 2019, 12:23
      Дмитрий Новиков, простите меня за мою дремучесть:) Вы могли бы привести какой-нибудь пример задачи с рандомом, который бы не был при этом методом Монте-Карло?
      
      Под метдом Монте-Карло понимается численный метод решения
      математических задач при помощи моделирования случайных величин.
      0
      - Дмитрий Новиков
        01 сентября 2019, 12:29
        sortarray sortarray, $S_{t}=S_{0}\exp \left(\left(\mu -{\frac {\sigma ^{2}}{2}}\right)t+\sigma W_{t}\right),$ вот мы решаем вот такую хрень. Здесь рандом Wt. Его надо умножать на сигму. Соответственно нам надо сгенерировать сигму. Сигма имеет корреляцию с St и т.д.
        Посмотрите мои топики «основы» там популярно все расписано и сгенерировано в экселе.
        0
        sortarray sortarray
        01 сентября 2019, 12:30
        Дмитрий Новиков, я не понял, почему то что Вы привели это не монте-карло?
        0
        Дмитрий Новиков
        01 сентября 2019, 12:41
        sortarray sortarray, Ну эта функция которую вы будите интегрировать по Монтекарло. От 0 до T
        0
        sortarray sortarray
        01 сентября 2019, 12:44
        Дмитрий Новиков, монтекарло это любая функция использующая рандом, или нет?
        0
        Дмитрий Новиков
        01 сентября 2019, 12:52
        sortarray sortarray, Мы используем Wt. Это винеровский процесс. Рандомный (случайный) с оговоркой, что средние 0 а дисперисия 1. То есть -1 и +1. Рандомным может быть 1:0. Но у нас цена Бид и аск. Или на шаг вверх или вниз, при заключении сделки.
        0
- sortarray sortarray
  01 сентября 2019, 12:29
  Дмитрий Новиков, а под «обучить боятся» Вы что понимаете?
  
  К примеру, у нас есть крыса на металическом полу. Мы включаем звуковой сигнал, а затем пускаем по полу электрический ток. После нескольих разрядов крыса скорей всего начнет прыгать еще до того как разряд подается на пол, по звуку(то есть, наработан условный рефлекс). Мы это можем определить как то, что мы обучили крысу бояться звукового сигнала? Вы такой принцип имели в виду?
  0
  - Дмитрий Новиков
    01 сентября 2019, 12:37
    sortarray sortarray, Ну это такая очевидная штука. Потери воспринимаются больнее, чем недобор прибыли. Там логарифмическая зависимость. Поэтому рынки падают быстрее чем растут. Отсюда лонг и шорт. И распределение реального рынка получается логнормальным. Соответственно в алгоритм роботов должен быть зашит логарифм и корреляция.
    0
    - sortarray sortarray
      01 сентября 2019, 12:39
      Дмитрий Новиков, Я вас не об этом спрашивал. Принцип самого обучения каков? Такой как я описал с крысой или что-то другое?
      0
      - Дмитрий Новиков
        01 сентября 2019, 12:45
        sortarray sortarray, Другое. Сразу закладываем в робота, что терять плохо.
        0
        sortarray sortarray
        01 сентября 2019, 12:48
        Дмитрий Новиков, как закладываем? Как конфеты в коробку или как патроны в обойму?:)
        Ладно, проехали:)
        
        Знаете чем математик отличается от инженера? Разница в том, что математик это калькулятор отображающий, а инженер — это тот кто реализует этот калькулятор, он делает математиков отображающих с помошью молотка, пассатиж и других внешних устройств:)
        +1
        Дмитрий Новиков
        01 сентября 2019, 12:54
        sortarray sortarray, В формулу. Что бы инженер знал, через сколько сантиметров надо трубку загнуть, пассатижами.
        0
        sortarray sortarray
        01 сентября 2019, 12:59
        Дмитрий Новиков, Вы не поняли.
        Формула доярки насадить доильные агрегаты на сиски коров — вот это ваша подстановка в формулу. Она знает как это сделать.
        Задача инженера в том, чтобы продумать реализовать сам доильный аппарат.
        Если инженер говорит что-то вроде «подставить в формулу» или «насадить колпачки на вымя», значит это, мягко говоря, инженер с математикой головного мозга
        0
        Дмитрий Новиков
        01 сентября 2019, 13:05
        sortarray sortarray, Тут я логику рассуждений потерял.
        0
        sortarray sortarray
        01 сентября 2019, 13:04
        Дмитрий Новиков, Это я к тому, что Вы заявляете «обучение», но тщательно избегаете вопросов реализации этого обучения. Нет, обучение робота не сводится к «подстановке».
        0
        Дмитрий Новиков
        01 сентября 2019, 13:07
        sortarray sortarray, Понял. Я имел ввиду не обучение, типа нейронной сети, а программирование определенных параметров.
        0
sortarray sortarray
01 сентября 2019, 12:09
В простейшем виде это реализуется фитнес функцией, когда каждый робот получает оценку по какому-то критерию, например по профиту за период. Потом победители идут на второй круг, а побежденные выбывают. Для оценки по фитнес функции роботов не надо гонять против друг друга и сделать её не сложно. А вот чтобы стравливать роботов и выбирать сильнейших, тут надо придумывать песочницу.

Я что-то не понял чем одно от другого отличается? Если роботы нацелены на какое то конкретное общее действие они и так соревнуются, вам остается только подсчет запилить
0
- П М
  01 сентября 2019, 14:47
  sortarray sortarray, разница в том, в какой среде соревнуются роботы. об этом весь пост. с точки зрения выбора лучшего никакой существенной проблемы нет.
  0
  - sortarray sortarray
    01 сентября 2019, 14:50
    ПBМ, пусть есть петя и вася, они собирают клубнику, вася набрал ведро, а петя полведра за то же время. Что сюда нужно добавить, чтобы это соответствовало Вашей концепции?
    0
    - П М
      01 сентября 2019, 16:58
      sortarray sortarray, генератор клубничных полян, реагирующий на сбор клубники.
      0
      - sortarray sortarray
        01 сентября 2019, 17:03
        ПBМ, ну, и в чем проблема? Я же вам говорю, одно от другого отличается только подсчетом результатов
        Другое дело вопрос стимула и обучаемости
        0
        П М
        01 сентября 2019, 17:47
        sortarray sortarray, а я говорю вам, что подсчёт результатов ничем не отличается.
        0
Cristopher Robin
01 сентября 2019, 17:14
Есть такая штука в термодинамике — закон неубывания энтропии. Суть в том, что в изолированной системе (которую вы как раз и предлагаете), энтропия может только наростать. То есть, никаких регулярностей и никаких распознаваемых структур в вашей песочнице не будет.
+1
- Дмитрий Новиков
  01 сентября 2019, 17:59
  Cristopher Robin, Формула Фокер-Планка. Структура очень даже конкретная.
  0
  - Cristopher Robin
    01 сентября 2019, 20:37
    Дмитрий Новиков, любопытнвая штука. Столько всего готового существует, интересно есть кто-то, кто с этим всерьез разбирется?
    0
    - Дмитрий Новиков
      01 сентября 2019, 23:55
      Cristopher Robin, Конечно. Для начала посмотрите это:https://www.lektorium.tv/speaker/3058
      
      0
- П М
  02 сентября 2019, 07:11
  Cristopher Robin, честно, в науках давно ослаб, если вообще когда-то был силён (ну были пятёрки по матану, была и незаслуженная тройка по общей физике, хотя я готовился на пять, и была заслуженная тройка по терверу, там я «уже всё»)
  
  я настолько возвысился удалился от науки, что мне реально тяжело понять определение вероятности, из учебника. или определение энтропии из википедии. что это вообще такое на словах? ок, на словах это типа порядок вещей, порядок — типа как мы видим как они должны быть. но как это нормально пояснить — непонятно. все эти изначальные определения похожи на мухлёжку, типа да ладно, это итак всё ясно едем дальше. а как дальше ехать если не ясно в самом начале вообще.
  потом, когда ты принимаешь это как данность, становится проще конечно. но всегда есть ощущение, что тебя обманули в самом начале. хотя потом вроде всё честно.
  
  с филосовской точки зрения, вот нам говорят что система стремится к увеличению энтропии. замкнутая, ок. при этом, очевидно, что человек стремиться окружающую среду упорядочить, подвергнуть уменьшению энтропии.
  а природа вокруг якобы против.
  так ли это? ведь у муравьёв — свой порядок. у пчёл — свой порядок. у всех, свой порядок и свои законы. все живут на самом деле, пытаясь упорядочить мир вокруг себя. просто люди в большей степени.
  а все вместе — мы же и есть природа. и есть система.
  получается явное противоречие — система стремится к повышению энтропии, при этом составляющие части — к уменьшению энтропии.
  тут явно что-то не так.
  либо а) торчат ушки креацианизма. и я очень допускаю что так и есть
  б) неверен или ок, не полон сам второй закон термодинамики, а может и ещё глубже — абсолютно профанское само понятие энтропии.
  
  нагуглил на хабре статью по энтропии, читать всё пока не стал — позже. но там связывают физическую и информационную (что тоже по идее не верно),
  что чем меньше нам известно о системе — тем больше энтропия.
  ок, ну тогда как в замкнутой системе с течением времени нам может быть всё меньше известно о системе? тут явно какая-то ошибка.
  0
Антон Денисков (Fry)
01 сентября 2019, 17:36
Среда изначально нейтральна. Как только кто-то делает действие, у системы появляется интерес. Баланс системы становится не нулевой. И цена смещается против внешнего участника. Если внешние участники сделали две противоположные сделки с одинаковым объёмом, то система снова сбалансирована. Но заработала на комисах и разнице цен во временном промежутке до балансирования.

Лично я так представляю себе «кукла» в глобальном смысле слова.
+2
- Виталий Зотов
  01 сентября 2019, 21:22
  Fry (Антон), А почему начально баланс нулевой? Ведь что то надо продать, а откуда это взялось? Баланс должен быть +. Это же не математика. Чтобы продать кому-то ненужное надо сначала у кого-то купить ненужное или сделать. В реальности система никак не нейтральна.
  0
  - Антон Денисков (Fry)
    01 сентября 2019, 22:42
    Виталий Зотов, это чистая математика. Реальные активы — капля в море. Основная масса трейдов — это деривативы (коэффициенты по обе стороны от =).
    0
    - Виталий Зотов
      02 сентября 2019, 09:16
      Fry (Антон), нет. Срочка тоже самое. Вы покупаете у брокера или биржи… Значит он это уже гдето взял и вам продал. Тут нейтральностью и не пахнет. В корне неправильно рассуждаете.
      0
      - Антон Денисков (Fry)
        02 сентября 2019, 19:06
        Виталий Зотов, какое-то у нас разное представление о срочке.
        На бирже я покупаю/породаю не у биржи и не у брокера, это не форекс-кухня.
        На срочке всегда есть 2 контрагента в сделке (обычно с промежуточными звеньями, но в конечном счёте нас двое).
        0
        Виталий Зотов
        02 сентября 2019, 19:44
        Fry (Антон), С чего начинается срочка? Биржа продает вам контракт. Именно биржа. Потом люди могут торговать между собой. Именно биржа определяет Сколько контрактов существует суммарно. Купите контрактов на триллион, как пример, Не выйдет. Количество контрактов лимитировано. Иначе нет торговли. Просто идет покупка. В чем смысл? В ограниченном количестве предложения. Поэтому никак не нейтральна система, ., В ней уже заложен товар или контракты изначально…
        0
  - П М
    02 сентября 2019, 07:17
    Виталий Зотов, на работу кто-то сходил, денежку получил, принёс на рынок. положил брокеру, под обеспечение получил заёмные акции, с плечом, обязательством отдать в будущем проценты за пользование.
    полученные акции продал, открыв шорт.
    0
    - Виталий Зотов
      02 сентября 2019, 09:18
      ПBМ, нет. Вы себя то послушайте. Слово Получил означает, что чтото уже было и вам это дали. Где нулевая позиция?
      0
      - П М
        02 сентября 2019, 09:21
        Виталий Зотов, вам шашечки или ехать?
        в терминах рынка, никто не приходит на рынок без денег.
        или у вас никогда не было счёта у брокера?
        нет денег — нет счёта. нет торговли.
        о какой нулевой позиции речь? назовите эту позицию с деньгами — плюс.
        но на ней нет контрактов. и значит она не влияет на цену. она — ноль.
        0
        Виталий Зотов
        02 сентября 2019, 14:56
        ПBМ, Вы о чем говорите вообще?
        вот что я обсуждал
        Среда изначально нейтральна. Как только кто-то делает действие, у системы появляется интерес. Баланс системы становится не нулевой.
        причем тут ваша или чья-то позиция?
        среда не нейтральна. В нее уже изначально заложили или акции или контракты, а вы их покупаете, а уж потом продаете.
        а значит у системы интерес в вас есть изначально, а не когда вы делаете шаг.
        И это очень важно, это основа. Потому что именно это двигает цену — ОГРАНИЧЕННОЕ КОЛИЧЕСТВО ИЗНАЧАЛЬНОГО ТОВАРА. Всякие байки про спрос \предложение. Если товара хватит на всех, то цена не сдвинется ни на шаг.
        А вы мне тут про шашечки...
        Я понял, что вы ничерта не понимаете сами еще. А уже язвить изволите.
        0
        П М
        02 сентября 2019, 15:27
        Виталий Зотов, ясно, удачи.
        0
        Антон Денисков (Fry)
        02 сентября 2019, 19:09
        Виталий Зотов, в том-то и дело, что «или контракты» в ней не заложены. Изначально ОИ по всей срочке = 0 и на момент экспирации будет =0.
        0
        Виталий Зотов
        02 сентября 2019, 19:49
        Fry (Антон), в теории два человека заключили контракт. Но такого давно нет на бирже. Это внебиржевые сделки. А на бирже вы заключаете стандартизированный контракт с биржей., а не с контрагентом. Тем более, если фьюч не поставочныц.
        0
meat
01 сентября 2019, 19:03
а для чего эти роботы нужны будут? где применяться и какая конечная цель?
0
- П М
  02 сентября 2019, 07:15
  meat, для торговли конечно.
  обоснование: ограниченность исходных данных, построение живой но обобщающей модели. не всеобъемлющей, а достаточной для целей создания более приспособленных к реальности роботов. чем те, которые создаются подгонкой по истории.
  
  грубо говоря, каждый создаёт роботов любыми доступными путями. многими путями. захотелось попробовать ещё один. может он что-то даст.
  0
  - meat
    02 сентября 2019, 16:40
    ПBМ, а какой тип робота? hft? направленная торговля по сигналам, в основе которого лежит некое прогнозирование? вот это поясни
    
    если hft — то тестирование на истории не нужно
    0
Андрей К
01 сентября 2019, 22:58
Почитал комменты. Опять прибалдел. Все таки насколько трейдинг бывает сложным.
+2
- Виталий Зотов
  02 сентября 2019, 14:58
  Андрей К, он не сложный. Просто многие очень любят усложнять. Искать на небе, хотя все ценное лежит на земле.
  Не могут смирится с возможностью поражения и пытаются соломки подстелить везде, куда ступают. Гарантия им нужна. Без нее ни шагу.
  Гарантировано мы все умрем, остальное вилами по воде.
  Все просто. Пытайтесь и будь, что будет.
  Провалы могут вести к победам, а победы к провалам.
  Надо просто иметь смелость действовать, а не страховаться.
  0