Чего то мне сегодня отношение к ИИ все больше напоминает 1999-й год

• Как это работает: Алгоритм сам маскирует (прячет) часть слова или картинки и пытается ее предсказать, генерируя псевдометки. Это позволило использовать для обучения триллионы токенов со всего Интернета. [1, 2]

• Что изменилось: Появился алгоритм DPO (Direct Preference Optimization), который оптимизирует модель напрямую на парах ответов «хороший/плохой» без промежуточной сети поощрения.
• Кроме того, людей-оценщиков заменили сами нейросети (RLAIF — Reinforcement Learning from AI Feedback), что удешевило и ускорило финальное «выравнивание» (alignment) моделей.

• Такие модели, как OpenAI o1, используют алгоритм MCTS (поиск в дереве Монте-Карло) и скрытую цепочку рассуждений (Chain of Thought). Модель перед выдачей ответа генерирует десятки внутренних вариантов, критикует сама себя, исправляет ошибки и выбирает лучший путь решения.

• Квантование и смешанная точность: Алгоритмы перешли на форматы FP16, BF16 и даже INT8/FP4. Сеть обучается или дообучается на сниженной точности без потери качества, что экономит память GPU в разы. [1]
• Разреженность (Sparsity): Применяются алгоритмы блочной разреженности и архитектуры MoE (Mixture of Experts). Вместо активации всей нейросети для каждого слова алгоритм выбирает и обучает лишь малую долю «экспертов» (подсетей), сохраняя общую колоссальную емкость модели. [1]

• Модели теперь могут обучаться на децентрализованных данных (например, на тысячах смартфонов или медицинских серверов). Устройства рассчитывают локальные градиенты и передают на центральный сервер только изменения весов, а не сами личные данные пользователей. Новейшие алгоритмы оптимизируют эту коммуникацию, чтобы преодолеть задержки сети.  [1, 2]

• Было в 90-е: Использовались сигмоида (σsigma𝜎) или гиперболический тангенс (tanht a n h𝑡𝑎𝑛ℎ). Приводили к проблеме затухания градиентов (vanishing gradients). Из-за этого сети глубже 2–3 слоев физически не могли обучиться.  
• Стало сейчас: Стандартом стала функция ReLU (Rectified Linear Unit) и ее модификации. Она имеет постоянный градиент для положительных значений, что устранило проблему затухания и позволило легко обучать глубокие сети.  

• Было в 90-е: Обучение происходило исключительно на CPU. Процесс занимал часы или дни даже для простых сетей с тысячами параметров.
• Стало сейчас: Обучение перенесено на GPU/TPU (массивно-параллельные вычисления). Та же сеть для распознавания цифр обучается за несколько секунд, что позволяет мгновенно экспериментировать с архитектурой.  

• Было в 90-е: Использовался классический градиентный спуск (SGD) с постоянным шагом обучения (learning rate). Сети часто застревали в локальных минимумах или обучались крайне медленно.  
• Стало сейчас: Применяются адаптивные оптимизаторы, такие как Adam, RMSprop, Adagrad. Они динамически подстраивают шаг обучения для каждого веса индивидуально, обеспечивая кратно более быструю и стабильную сходимость.  

• Было в 90-е: Мощные сети быстро «зазубривали» обучающую выборку (overfitting) и плохо распознавали новые рукописные цифры. Методы регуляризации были примитивными (L1/L2).  
• Стало сейчас: Появился Dropout (случайное отключение нейронов в процессе обучения), который заставляет сеть строить устойчивые внутренние взаимосвязи, а также Batch Normalization (нормализация данных между слоями), которая стабилизирует и ускоряет процесс.  

• Было в 90-е: Веса инициализировались случайными (часто слишком большими или малыми) числами, что приводило к моментальному взрыву или затуханию сигналов на старте.  
• Стало сейчас: Используются строгие математические подходы — инициализация Xavier (Glorot) или He. Они рассчитывают начальный разброс весов на основе количества входов и выходов слоя, гарантируя, что сигнал пройдет сквозь всю сеть.    

Параметр	Подход 1990-х годов	Современный подход
Активация	Сигмоида /tanht a n h𝑡𝑎𝑛ℎ	ReLU / Leaky ReLU
Оптимизатор	Ванильный SGD	Adam / AdamW
Регуляризация	Weight Decay (L2)	Dropout + Batch Normalization
Инициализация весов	Случайная (близкая к нулю)	He / Xavier
Время обучения (MNIST)	Часы	Секунды
Точность на тесте	~96-98% (для чистых MLP)	>99% (близко к идеалу)

А. Г., какое это имеет отношение, к тому, что я написал? Вы в предыдущем сообщении дали комментарий, который мягко говоря не соответствует действительности. На это я Вам и указал. Про «статейки» — Вы опять передергиваете. Я говорил про достаточно сложные программные продукты, созданные с нуля автономно.

Если Ваши познания в математике, окружающие Вас люди будут называть школьной программой. Вы с этим согласитесь?

Если лично Вы не видите применения этих технологий в Вашей непосредственной деятельности, то это еще не значит, что их не ждут впечатляющие перспективы.

• Пикапы Toyota Land Cruiser и Hilux: Абсолютная основа мобильности фронта. Эти машины идеально приспособлены к песчаным дюнам и каменистому грунту (хамаде).
• Вооружение на колесах: На пикапы монтируются крупнокалиберные пулеметы (КПВТ, ДШК), зенитные установки (ЗУ-23-2), противотанковые ракетные комплексы (ПТРК «Малютка», «Конкурс») и блоки для запуска неуправляемых авиационных ракет (НАР). Это позволяет наносить быстрые удары по марокканской оборонительной стене («Берме») и мгновенно отходить вглубь пустыни.

• Танки: Модификации советских танков Т-55 и Т-62.
• Боевые машины: Гусеничные БМП-1 и легкие плавающие танки ПТ-76.
• Бронетранспортеры: Колесные БТР-60 и БРДМ-2 (боевые разведывательно-дозорные машины).

• Военные грузовики: Тяжелые полноприводные грузовики (в основном советские ЗИЛ-131, Урал-4320, КАМАЗ, а также старые европейские модели) используются для снабжения баз, перевозки личного состава, доставки воды и боеприпасов через пустыню.