" Покамест балуюсь интрадеем в газе,"- да ты оказывается извращенец и мазохист?)))

DrManhattan, «У хуситов этого нет.» -что за бредятина?)))Они что на ослах и повозках передвигаются7

А. Г., Если на вход многослойного перцептрона (MLP) подать те же самые изображения цифр (например, из классического датасета MNIST, созданного в 1998 году), то на самом входе архитектурно не изменится ничего. Однако процесс обучения, скорость и итоговое качество распознавания изменятся кардинально.  Вот ключевые фундаментальные изменения по сравнению с 1990-ми годами:  1. Революция в функциях активации

• Было в 90-е: Использовались сигмоида (σsigma𝜎) или гиперболический тангенс (tanht a n h𝑡𝑎𝑛ℎ). Приводили к проблеме затухания градиентов (vanishing gradients). Из-за этого сети глубже 2–3 слоев физически не могли обучиться.  
• Стало сейчас: Стандартом стала функция ReLU (Rectified Linear Unit) и ее модификации. Она имеет постоянный градиент для положительных значений, что устранило проблему затухания и позволило легко обучать глубокие сети.  

2. Масштабируемость и аппаратное обеспечение

• Было в 90-е: Обучение происходило исключительно на CPU. Процесс занимал часы или дни даже для простых сетей с тысячами параметров.
• Стало сейчас: Обучение перенесено на GPU/TPU (массивно-параллельные вычисления). Та же сеть для распознавания цифр обучается за несколько секунд, что позволяет мгновенно экспериментировать с архитектурой.  

3. Продвинутые методы оптимизации

• Было в 90-е: Использовался классический градиентный спуск (SGD) с постоянным шагом обучения (learning rate). Сети часто застревали в локальных минимумах или обучались крайне медленно.  
• Стало сейчас: Применяются адаптивные оптимизаторы, такие как Adam, RMSprop, Adagrad. Они динамически подстраивают шаг обучения для каждого веса индивидуально, обеспечивая кратно более быструю и стабильную сходимость.  

4. Решение проблемы переобучения (Регуляризация)

• Было в 90-е: Мощные сети быстро «зазубривали» обучающую выборку (overfitting) и плохо распознавали новые рукописные цифры. Методы регуляризации были примитивными (L1/L2).  
• Стало сейчас: Появился Dropout (случайное отключение нейронов в процессе обучения), который заставляет сеть строить устойчивые внутренние взаимосвязи, а также Batch Normalization (нормализация данных между слоями), которая стабилизирует и ускоряет процесс.  

5. Инициализация весов

• Было в 90-е: Веса инициализировались случайными (часто слишком большими или малыми) числами, что приводило к моментальному взрыву или затуханию сигналов на старте.  
• Стало сейчас: Используются строгие математические подходы — инициализация Xavier (Glorot) или He. Они рассчитывают начальный разброс весов на основе количества входов и выходов слоя, гарантируя, что сигнал пройдет сквозь всю сеть.    

Сравнительный итог

Параметр	Подход 1990-х годов	Современный подход
Активация	Сигмоида /tanht a n h𝑡𝑎𝑛ℎ	ReLU / Leaky ReLU
Оптимизатор	Ванильный SGD	Adam / AdamW
Регуляризация	Weight Decay (L2)	Dropout + Batch Normalization
Инициализация весов	Случайная (близкая к нулю)	He / Xavier
Время обучения (MNIST)	Часы	Секунды
Точность на тесте	~96-98% (для чистых MLP)	>99% (близко к идеалу)

Главный вывод: На тех же самых данных современный MLP обучится в тысячи раз быстрее, будет значительно глубже (больше скрытых слоев) и покажет высший уровень точности, практически исключающий ошибки распознавания, которые были нормой в 90-х.   

А. Г., «Да рыночные цены с другими параметрами онлайн торгов на бирже и тогда можно было подать на вход нейросети для обучения хоть онлайн. Ничего не делая с датасетами.»- что то не понял Вашу мысль.

А. Г., «что принципиально изменилось в алгоритмах обучения нейросетей»- а Вы думаете, что ничего не меняется? Вот Вам ответ от простенького ИИ -
— В основе обучения нейросетей по-прежнему лежит классический алгоритм обратного распространения ошибки (Backpropagation) и градиентный спуск. Однако за последние годы подходы к его реализации, подготовке данных и архитектурным трюкам изменились кардинально. [1, 2]Главный сдвиг произошел в переходе от ручного контроля и жесткой разметки к полной автономности, масштабируемости и многоэтапному «рассуждению».Основные принципиальные изменения в процессах и алгоритмах обучения:1. Доминирование самообучения (Self-Supervised Learning)Раньше для качественного обучения требовались гигантские базы данных, размеченные людьми вручную (Supervised Learning). Сегодня модели обучаются на неразмеченных текстах, коде или изображениях. [1, 2]

• Как это работает: Алгоритм сам маскирует (прячет) часть слова или картинки и пытается ее предсказать, генерируя псевдометки. Это позволило использовать для обучения триллионы токенов со всего Интернета. [1, 2]

2. Смена парадигмы RLHF на DPO и ИИ-критиковОбучение с подкреплением на основе отзывов людей (RLHF), сделавшее популярным первые версии ChatGPT, требовало сложного и нестабильного алгоритма PPO (Proximal Policy Optimization) и сотен оценщиков-людей.

• Что изменилось: Появился алгоритм DPO (Direct Preference Optimization), который оптимизирует модель напрямую на парах ответов «хороший/плохой» без промежуточной сети поощрения.
• Кроме того, людей-оценщиков заменили сами нейросети (RLAIF — Reinforcement Learning from AI Feedback), что удешевило и ускорило финальное «выравнивание» (alignment) моделей.

3. Алгоритмы «рассуждения» во время вывода (Compute-at-Test-Time)Раньше фокус был на том, чтобы заложить максимум знаний в веса сети на этапе обучения. Современный тренд — перенос вычислительной сложности на этап ответа.

• Такие модели, как OpenAI o1, используют алгоритм MCTS (поиск в дереве Монте-Карло) и скрытую цепочку рассуждений (Chain of Thought). Модель перед выдачей ответа генерирует десятки внутренних вариантов, критикует сама себя, исправляет ошибки и выбирает лучший путь решения.

4. Экстремальная оптимизация памяти и точности (Mixed Precision & Sparsity)Обучать современные модели с миллиардами параметров в классическом формате FP32 стало экономически невозможно. [1]

• Квантование и смешанная точность: Алгоритмы перешли на форматы FP16, BF16 и даже INT8/FP4. Сеть обучается или дообучается на сниженной точности без потери качества, что экономит память GPU в разы. [1]
• Разреженность (Sparsity): Применяются алгоритмы блочной разреженности и архитектуры MoE (Mixture of Experts). Вместо активации всей нейросети для каждого слова алгоритм выбирает и обучает лишь малую долю «экспертов» (подсетей), сохраняя общую колоссальную емкость модели. [1]

5. Федеративное и децентрализованное обучение (Federated Learning)Из-за законов о конфиденциальности данных алгоритмы эволюционировали в сторону распределенных вычислений. [1, 2]

• Модели теперь могут обучаться на децентрализованных данных (например, на тысячах смартфонов или медицинских серверов). Устройства рассчитывают локальные градиенты и передают на центральный сервер только изменения весов, а не сами личные данные пользователей. Новейшие алгоритмы оптимизируют эту коммуникацию, чтобы преодолеть задержки сети.  [1, 2]

Summary: Сравнение подходов

Критерий	Как было раньше	Как это работает сейчас
Подготовка данных	Тщательная разметка датасетов людьми.	Автоматическое самообучение (Masked LM, Next Token Prediction).
Выравнивание (Alignment)	Субъективные оценки людей через PPO.	Прямая оптимизация (DPO) и оценка силами других ИИ (RLAIF).
Ресурсоемкость	Полносвязные тяжелые вычисления в высокой точности.	Смешанная точность, архитектуры MoE, разреженные веса.
Логика работы	Моментальный интуитивный ответ (System 1).	Пошаговое планирование, самопроверка и поиск решений (System 2).

Ну и каждый  очередной «успех» нейросетей в тех или иных сферах, будет лишь только добавлять вистов ИИ.

Ну сравнивать  доткомы и нейросети, это то же самое что сравнивать гужевую повозку и современный автомобиль. Вроде оба средства передвижения, но пользы от автомобиля в 100000 раз больше для человека, для общества и т.д, чем от повозки.

У Вас есть статус инвестиционного советника?

Жёсткий Ястреб, ". Так гласит первое правило бизнеса."- первое правило бизнеса гласит, ч то прибыль важнее всего. А второе гласит -Что никаких правил нет.
Ну еслцитированмеи геров фильмов Гая Риччи для Вас аксиома, то это говорит лищь о том, что у Вас плохой вкус.(Это я по кинематограф.

«Но я редко ошибаюсь, а значит вас переименованиями и переоформлениями просто водят за нос.»- и с Данон, и с Кнауф тоже  за нос водят? Ерунду то не говорите.Если бы водили за нас, то не отдавали тот же Ашан компании, где генеральный бывший замминистра МВД.

 Странно, что про конторкуАО «Л.Е.В. Менеджмент». , которой «подарили „-Ашан, Нестлн и другие “лакомства» нет не слова.((Надеюсь через недельку выясните, чьи уши торчат у Л.Е.В.а?)

За Умара ставлю -5+.Браво.Молодец.Это я не про Умара, а про нашего Ястреба.
За всё остальное -3.
Я давно Вам предлагал писать про наших, местных  «небожителей».

Балаган, вот и я про это.По сути 99 %  цыган вне правового поля.

Поэтому и надо всех «инфоцыган» лицензировать.
Получил лицензию -Почёт и уважение.
Не получил -вперёд на завод.
Но странно, что многие на Смартлабе, даже не инфоцыгане, против этого.(

Путешественник, «мы, граждане с этого что-то теряем?»- с того что вводят санкции?

Отличный фильм. «День Выборов»-2 чуть по хуже.

Jober, так чиновники все в России давно под большим каблуком ВВП.(Ну заводик, кафешку это чиновнику могут «подарить».А на большее у них сил не хватит.(

Браво!!!

Александр Гвардиев, рад за Вас.)