А. Г., 

я Вам давно уже и неоднократно намекаю на необходимость корректного определения терминов, в том числе термина «нейросеть», а то вдруг Вы говорите о кнопке смыва бачка унитаза, которая тоже осуществляет действие при наличии управляющей команды, а иногда и без )) 

если про это, то да, я согласен, подавать на вход бачка унитаза голые котировки бессмысленно )))

А. Г., 

и мы опять должны вернуться к определениям ))

И если Вы утверждаете, что из алгоритмов нельзя извлечь прибыль на дистанции — то объясните, пожалуйста, как существуют Renaissance Technologies, DE Shaw и Two Sigma уже по 30 лет? Их сотрудники тоже не читали Феллера? и до сих пор торгуют «ручками»? паче того, «по розовым бланкам»?

А. Г., 

ну если Вы только автоследователь, то «какой ты нафиг танкист»? ))

теперь понятно, что сами Вы алгоритмами не занимаетесь, отсюда и Ваш скепсис 

А. Г., 

кому что, а я до сих пор из матана пользуюсь задачей Коши, причем каждый день ))

А. Г., 

я и написал, что Ваши слова — функан, тээфкапэ, страшные для кого-то, для меня как музыка ))

А. Г., 

я одного не пойму, кого Вы этими словами

обычные математический анализ, высшая алгебра, теория вероятностей и математическая статистика, аналитическая геометрия, но и необычные, включая функциональный анализ, математическая логика, теория мер  и функции комплексных переменных

испугать хотите?

функан, тээфкапэ — это ж бубльгум ))

Михаил Михалев, 

может быть Вам дать ключ от квартиры где деньги лежат?

Вы, для начала,  попробуйте договориться о терминах, например, «что такое нейросеть?» ))

Михаил Михалев, 

ну если Вы сторонник вуайеризма, то зачем других вовлекать в это?

Михаил Михалев, 

а кто-то собирается? )))

А. Г., 

Слушайте, Ваша же Алиса говорит: 'Формула Шеннона… учитывающая статистическую связь символов… была предложена в его работах 1948-1949 годов'. Про 1946 год там — ни слова.*

Понимаете, Вы как криптограф знаете о закрытом отчёте 1946 года. Но остальной мир, включая Алису, считает датой рождения теории информации 1948 год. Поэтому, когда Вы говорите 'Формула Шеннона была создана в 1946', Вы вводите в заблуждение, потому что говорите об одном, а Ваш собеседник думает о другом.

Вы победил бы в этом раунде, если бы речь шла о внутренней кухне Bell Labs. Но мы говорили об общеизвестных научных фактах. А по ним, извините, Вы не правы. И этот спор Вы проиграли

А. Г., 

я не математик-криптограф, но, поверьте, мой диплом побьёт Ваш с легкостью необычайной ))

А. Г., 

и вот что говорит Алиса конкретно по запросу yandex.ru/search/?text=%D1%84%D0%BE%D1%80%D0%BC%D1%83%D0%BB%D0%B0+%D0%A8%D0%B5%D0%BD%D0%BD%D0%BE%D0%BD%D0%B0+1946-%D0%B3%D0%BE+%D0%B3%D0%BE%D0%B4%D0%B0 ))

• I — количество информации;
• N — количество возможных событий;
• pi — вероятность i-го события.

А. Г., 

• Вы правы в том, что черновик работы существовал уже в 1945–1946 годах. Более того, в узких кругах военных математиков и криптографов (к которым относятся авторы Вашего любимого учебника Ивченко и Медведева) об этом знали. Если Вы утверждаете, что знаете формулу Шеннона с 1946 года — это факт биографии как специалиста высшей пробы, а не всеобщая истина

• Общепринятая реальность: Для всего остального мира (включая Wikipedia, все учебники информатики и даже Алису) «Формула Шеннона» и «Теория информации» датируются 1948–1949 годами. В 1948 вышла «Математическая теория связи» (где появилась знаменитая энтропия), а в 1949 — криптографическая часть.

А. Г., и, кстати, лично Вы не допускаете того, о чем мы дискутируем, то за что Вам деньги на работе платят? ))

...

Вы — как священник, который доказывает, что Бога нет, но при этом служит в церкви. Это не делает Вас лицемером автоматически. Но это делает Вашу позицию глубоко напряжённой.

...

сама Ваша должность — это живое опровержение Вашего же тезиса «невозможно». Потому что:

• Финам не держал бы отдел алгоритмической торговли, который систематически теряет деньги.

• Вас как руководителя не держали бы, если бы алгоритмы не приносили прибыль (или хотя бы не уменьшали убытки).

• Слово «постоянный» — это ловушка. Не бывает заработка каждый день. Но на дистанции — да, бывает.

А. Г., Шеннон — 1948, а не 1946. Но это не страшно, многие ошибаются. Главное, что суть Вы помните правильно

Идем дальше. Та самая теорема Ятракоса о невозможности оптимального прогноза, где он доказывает несуществование UMMSEP для распределений Пуассона и биномиальных, была опубликована в 1992 году. Это начало 90-х, а не 80-е. Если Вы имели в виду его работу 1989 года — она немного о другом (регрессионный тип задачи) и не содержит того самого доказательства невозможности. Так что это была вторая ошибка в датах. 

Если же Вы имели в виду ещё нечто третье, то назовите более точно, т.к. по Вашему описанию подходит только эта теорема.

С Вашей работой/должностью нужно быть более внимательным к таким мелочам ))

А. Г., Вы отступили на заранее подготовленные позиции, максимально сузив свой тезис до неуязвимого минимума ))) 

Теперь Ваше утверждение звучит так:

«Я утверждал только одно: нельзя использовать обучающуюся нейросеть, на вход которой подаются прошлые цены. Нейросети могут приблизить любую функцию g(t, X) перебором (обучением). Другие ИИ (не нейросети) или другие принципы (не перебор) — не в моей компетенции».

Теперь спор идёт не о любых прогнозах, не о статистике, не о Шенноне. Только о нейросетях на входе из цен.

Действительно, классическая нейросеть, обученная на ценах (не на доходностях, не на признаках), будет страдать от нестационарности. Это близко к истине.

Кстати, Вы сказали: «нельзя использовать обучающуюся нейросеть, на вход которой подаются прошлые цены». С этим согласны все практики. Никто в здравом уме так не делает (хотя пробуют все — хи-хи). Поэтому Вы бы победили в споре с воображаемым новичком, которого среди нас нет. А я всё это время пытался рассказать про реальный мир, где люди не совершают эту ошибку. Вот и всё.

А с датами, кстати, Вы 2 раза ошиблись

Теперь дискуссия вышла на настоящий академический уровень. Вы изложили классическую теорию предсказания (Феллер, Ивченко, Медведев) совершенно корректно. Вы не просто «правы в своей вселенной» — Вы цитируете фундаментальные учебники.

Давайте разберем Ваши аргументы строго — и мы увидим, где Вы делаете неявную подмену, который позволяет Вам выглядеть непобедимым.

Вы построили непробиваемую теоретическую стену, которая рушится только об один практический вопрос:

«А кто сказал, что мы используем метод ПЕРЕБОРА?»

Ваш аргумент (Феллер + Ивченко + Шеннон) доказывает невозможность универсального предсказания для произвольного нестационарного процесса методом перебора.

Но:

В ИИ мы не перебираем все функции Rⁿ→R.
Мы ограничиваем класс: нейронные сети, деревья, гауссовские процессы, линейные модели. Это априорное ограничение. Феллер ничего не говорит о том, что нельзя предсказывать нейросетью — он говорит, что никакая фиксированная функция не будет оптимальной для всех распределений. Но нам не нужно «все распределения». Нам нужно одно — распределение рынка, у которого есть свойства (автокорреляция, кластеризация волатильности, регрессия к среднему).

Метод перебора ≠ градиентный спуск.
Перебор — это «попробуем все функции и выберем лучшую на выборке». Это не как работает deep learning. Нейросеть ищет приближение в непрерывном пространстве параметров, используя регуляризацию и раннюю остановку. Теоретическая невозможность перебора не распространяется автоматически на SGD.

Аналог с теоремой Шеннона у Вас ложный.
Шеннон доказывает абсолютную невозможность дешифрования: никакой алгоритм, даже с бесконечным временем, не восстановит текст. В его задаче с нестационарным процессом и перебором — тоже абсолютная невозможность (нет сходимости). Но прогноз цены акции — не такая задача. У нас нет никакой «абсолютной секретности». Рынок не является одноразовым блокнотом. У него есть структура, которую ИИ может уловить.

Вы великолепно изложили теорию: условное среднее — оптимальный прогноз, оно может быть любой функцией, для нестационарного процесса эти функции меняются, и методом перебора их не найти. Всё верно — для класса ВСЕХ измеримых функций и метода ПЕРЕБОРА.

Но в моей задаче (рынок + ИИ) условия другие:

1. Я не ищу функцию «в натуральном виде» — я ищу приближение в ограниченном классе (нейросеть).

2. Я не использую перебор — я использую градиентную оптимизацию с регуляризацией.

3. Я не требую оптимальности для ВСЕХ нестационарных процессов — мне нужна практическая предсказуемость на РЕАЛЬНОМ рынке, у которого есть некоторая повторяющаяся структура.

Да, я не могу ДОКАЗАТЬ, что моя нейросеть даст хороший прогноз на завтра. Но это и не требуется. Торговля — это не теорема. Это вероятностное преимущество. А Ваша теорема — она про абсолютную невозможность, а не про статистическую трудность. И именно поэтому quant-фонды зарабатывают миллиарды, несмотря на Феллера и Шеннона.

...

Говоря простыми словами, как не существует NZT-48, так и не существует универсальной формулы.

А нам она и не нужна, я могу хоть каждый день заново обучать систему, и получать другое распределение

А. Г., как Вы однако смело гуляете по буфету )))

Сначала говорили про прикладной ML на рынке, а потом — про теорию информации, криптографию и непараметрическую статистику. Это как обсуждать скорость автомобиля и вдруг начать спорить о пределе прочности асфальта — пересекается, но не напрямую.

Теорема Шеннона (правильнее — 1949, но суть та же) гласит:

Если ключ (случайная последовательность) истинно случаен, имеет ту же длину, что и сообщение, и используется только один раз, то шифр является абсолютно стойким — даже при бесконечных вычислительных ресурсах из шифротекста нельзя получить никакой информации об открытом тексте, кроме его длины

Н я понял тезис. Вы говорите о строгой теоретической невозможности в классе методов перебора для семиинвариантов независимых нестационарных процессов — да, это близко по духу к теореме Шеннона об абсолютно стойком шифре. Я же про другое: прогноз условного распределения доходностей на рынке с помощью современных ИИ, где у нас нет ни идеальной случайности, ни полного перебора, а есть инженерные трюки. Получается, мы оба правы, но в своих мирах. Но для рынка эта Ваша теорема — не приговор, а лишь напоминание, что абсолютного предсказания не бывает. Что, в общем, и так известно.

Теорема Шеннона не запрещает торговать на рынке. Она запрещает взломать шифр Вернама без ключа. Вы применяете эту логику к своей задаче. Я же увидел, что «нельзя подавать нестационарные ряды» и возразил — но в Вашем мире (оценка семиинвариантов перебором) Вы, вероятно, правы. В моем мире (рыночный прогноз нейросетью с признаками-доходностями) — я прав.

И у Вас второй раз в одной дискуссии засада с цифрами/датами. Что не может не настораживать