Чего то мне сегодня отношение к ИИ все больше напоминает 1999-й год

• Как это работает: Алгоритм сам маскирует (прячет) часть слова или картинки и пытается ее предсказать, генерируя псевдометки. Это позволило использовать для обучения триллионы токенов со всего Интернета. [1, 2]

• Что изменилось: Появился алгоритм DPO (Direct Preference Optimization), который оптимизирует модель напрямую на парах ответов «хороший/плохой» без промежуточной сети поощрения.
• Кроме того, людей-оценщиков заменили сами нейросети (RLAIF — Reinforcement Learning from AI Feedback), что удешевило и ускорило финальное «выравнивание» (alignment) моделей.

• Такие модели, как OpenAI o1, используют алгоритм MCTS (поиск в дереве Монте-Карло) и скрытую цепочку рассуждений (Chain of Thought). Модель перед выдачей ответа генерирует десятки внутренних вариантов, критикует сама себя, исправляет ошибки и выбирает лучший путь решения.

• Квантование и смешанная точность: Алгоритмы перешли на форматы FP16, BF16 и даже INT8/FP4. Сеть обучается или дообучается на сниженной точности без потери качества, что экономит память GPU в разы. [1]
• Разреженность (Sparsity): Применяются алгоритмы блочной разреженности и архитектуры MoE (Mixture of Experts). Вместо активации всей нейросети для каждого слова алгоритм выбирает и обучает лишь малую долю «экспертов» (подсетей), сохраняя общую колоссальную емкость модели. [1]

• Модели теперь могут обучаться на децентрализованных данных (например, на тысячах смартфонов или медицинских серверов). Устройства рассчитывают локальные градиенты и передают на центральный сервер только изменения весов, а не сами личные данные пользователей. Новейшие алгоритмы оптимизируют эту коммуникацию, чтобы преодолеть задержки сети.  [1, 2]

• Было в 90-е: Использовались сигмоида (σsigma𝜎) или гиперболический тангенс (tanht a n h𝑡𝑎𝑛ℎ). Приводили к проблеме затухания градиентов (vanishing gradients). Из-за этого сети глубже 2–3 слоев физически не могли обучиться.  
• Стало сейчас: Стандартом стала функция ReLU (Rectified Linear Unit) и ее модификации. Она имеет постоянный градиент для положительных значений, что устранило проблему затухания и позволило легко обучать глубокие сети.  

• Было в 90-е: Обучение происходило исключительно на CPU. Процесс занимал часы или дни даже для простых сетей с тысячами параметров.
• Стало сейчас: Обучение перенесено на GPU/TPU (массивно-параллельные вычисления). Та же сеть для распознавания цифр обучается за несколько секунд, что позволяет мгновенно экспериментировать с архитектурой.  

• Было в 90-е: Использовался классический градиентный спуск (SGD) с постоянным шагом обучения (learning rate). Сети часто застревали в локальных минимумах или обучались крайне медленно.  
• Стало сейчас: Применяются адаптивные оптимизаторы, такие как Adam, RMSprop, Adagrad. Они динамически подстраивают шаг обучения для каждого веса индивидуально, обеспечивая кратно более быструю и стабильную сходимость.  

• Было в 90-е: Мощные сети быстро «зазубривали» обучающую выборку (overfitting) и плохо распознавали новые рукописные цифры. Методы регуляризации были примитивными (L1/L2).  
• Стало сейчас: Появился Dropout (случайное отключение нейронов в процессе обучения), который заставляет сеть строить устойчивые внутренние взаимосвязи, а также Batch Normalization (нормализация данных между слоями), которая стабилизирует и ускоряет процесс.  

• Было в 90-е: Веса инициализировались случайными (часто слишком большими или малыми) числами, что приводило к моментальному взрыву или затуханию сигналов на старте.  
• Стало сейчас: Используются строгие математические подходы — инициализация Xavier (Glorot) или He. Они рассчитывают начальный разброс весов на основе количества входов и выходов слоя, гарантируя, что сигнал пройдет сквозь всю сеть.    

Параметр	Подход 1990-х годов	Современный подход
Активация	Сигмоида /tanht a n h𝑡𝑎𝑛ℎ	ReLU / Leaky ReLU
Оптимизатор	Ванильный SGD	Adam / AdamW
Регуляризация	Weight Decay (L2)	Dropout + Batch Normalization
Инициализация весов	Случайная (близкая к нулю)	He / Xavier
Время обучения (MNIST)	Часы	Секунды
Точность на тесте	~96-98% (для чистых MLP)	>99% (близко к идеалу)

А. Г., какое это имеет отношение, к тому, что я написал? Вы в предыдущем сообщении дали комментарий, который мягко говоря не соответствует действительности. На это я Вам и указал. Про «статейки» — Вы опять передергиваете. Я говорил про достаточно сложные программные продукты, созданные с нуля автономно.

Если Ваши познания в математике, окружающие Вас люди будут называть школьной программой. Вы с этим согласитесь?

Если лично Вы не видите применения этих технологий в Вашей непосредственной деятельности, то это еще не значит, что их не ждут впечатляющие перспективы.

А. Г., Ваша фраза «да это и в 90-е можно было сделать нейросетью» была ответом на фразу другого человека (Михаила): «сейчас достаточно сказать бывает пару слов и агент тебе поправил десятки файлов в кодовой базе и еще по пути расскажет, какие проблемы увидел копаясь в ней»

Так вот, давайте называть вещи своими именами: ВЫ ОТКРОВЕННО ЛЖЕТЕ. В 90-е нейронки даже близко такого не умели.

Вообще, Ваша закостенелость начинает с головой выдавать в Вас старпёра, не желаюшего признавать очевидный прогресс, и ищущего поддержи своего мнения в этом вопросе.

Я конечно тоже, уже не «молодой человек», но все же от реальности стараюсь не отрываться.

Разве что вопрос ускорения за счет роста производительности компов решили.

• Пикапы Toyota Land Cruiser и Hilux: Абсолютная основа мобильности фронта. Эти машины идеально приспособлены к песчаным дюнам и каменистому грунту (хамаде).
• Вооружение на колесах: На пикапы монтируются крупнокалиберные пулеметы (КПВТ, ДШК), зенитные установки (ЗУ-23-2), противотанковые ракетные комплексы (ПТРК «Малютка», «Конкурс») и блоки для запуска неуправляемых авиационных ракет (НАР). Это позволяет наносить быстрые удары по марокканской оборонительной стене («Берме») и мгновенно отходить вглубь пустыни.

• Танки: Модификации советских танков Т-55 и Т-62.
• Боевые машины: Гусеничные БМП-1 и легкие плавающие танки ПТ-76.
• Бронетранспортеры: Колесные БТР-60 и БРДМ-2 (боевые разведывательно-дозорные машины).

• Военные грузовики: Тяжелые полноприводные грузовики (в основном советские ЗИЛ-131, Урал-4320, КАМАЗ, а также старые европейские модели) используются для снабжения баз, перевозки личного состава, доставки воды и боеприпасов через пустыню.

Дмитрий Киреев, угу, и это еще только просто LLM пошли, особо рабочие места пока и не отбирали,  роботизация еще  только  на стадии первых рабочих прототипов. 

но вот только как всегда — бабки перейдут от бедных богатым и прибыль получат скорее собственники средств производства, но никак не рабочий класс.  Вопрос как дела будут у банков в этой связи? при массовой безработице и банкротствах (мелкие подрядные конторы тоже пойдут по одному месту) — финансовый кризис не заставит себя ждать .

Translator, Уже сейчас ИИ полностью оставил без работы криптографов спецслужб, в кратчайшие сроки вскрывая сложнейшие шифры и коды.

Звучит сомнительно, задачи криптографии идут из теории чисел в большинстве своем, и хоть ИИ, хоть не ИИ, но факторизация, вычисление дискретного логарифма, дискретного логарифма на эллиптической кривой, хеш-функции и т.д., атаки на них это вычислительные задачи, ни чего нового ИИ в этом не привнес, возможно упростить работу криптографам, но точно не оставит их без работы.

А если говорить про симметричную криптографию AES, ChaCha20 и т.д., тот тут вообще нет даже вычислительной задачи как таковой, только перебор.

 И, к слову, угрозу криптографии в теории представляет квантовый компьютер, поэтому и появилось постквантовое шифрование (PQC, Post-Quantum Cryptography)

И уже нет никакого сомнения, что в самое ближайшее время AI найдёт способ нейтрализации ракетно-ядерного оружия.

А может этот ИИ в первую очередь “запилить” нам термоядерный реактор, литограф на 2нм, и пр?)  

Влад, Обезъяна с ИИ сможет больше, чем молодой инженер, экономист, программер или юрист. И проникновение будет расти.

Но инженер с ИИ сможет намного больше чем обезьяна с ИИ. ИИ (LLM) это инструмент, а не отдельная «живая сущность» и как с любым инструментом им нужно уметь владеть.

Влад, Обезъяна с ии дешевле.

Анзорик, Если ИИ-гиганты поднимут цены, чтобы выйти хотя бы в безубыток, все просто убегут на опенсорс. 

Ни кто ни куда не убежит, будут платить сколько попросят, ИИ на базе LLM уже с нами, кто его использует имеет преимущество перед теми кто не использует при решении одинаковых задач, а это значит все будут плакать, скрипеть зубами, но платить. Не так давно Дональд Кнут (известный математик и специалист в computer  sience) используя Claude Opus 4.6 решил задачу из теории графов, и признал что этот ИИ действительно полезный инструмент:

Shock! Shock! I learned yesterday that an open problem I’d been working on for several weeks had just been solved by Claude Opus 4.6— Anthropic’s hybrid reasoning model that had been released three weeks earlier! It seems that I’ll have to revise my opinions about “generative AI” one of these days. What a joy it is to learn not only that my conjecture has a nice solution but also to celebrate this dramatic advance in automatic deduction and creative problem solving. I’ll try to tell the story briefly in this note.

Here’s the problem, which came up while I was writing about directed Hamiltonian cycles for a future volume of The Art of Computer Programming:

Consider the digraph with m3 vertices ijk for 0 ≤ i, j, k < m, and three arcs from each vertex, namely to i +jk, ij+k, and ijk+, where i + =(i+1) mod m. Try to find a general decomposition of the arcs into three directed m3-cycles, for all m> 2.

I had solved the problem for m = 3, and asked for a generalization as part of the answer to an exercise in [3]. My friend Filip Stappers rose to the challenge, and empirically discovered solutions for 4 ≤ m ≤ 16; therefore it became highly likely that the desired decompositions do exist, except when m ≤ 2.

Indeed, it was Filip who had the gumption to pose this question to Claude, using exactly the wording above. He also gave guidance/coaching, instructing Claude to summarize its ongoing progress:.......