Павел Комаровский

Читают

User-icon
833

Записи

498

Лучшие дебаты про безопасность ИИ для нормисов

В последнее время слушал много подкастов на тему AI safety в поисках того, который можно было бы смело рекомендовать обычным нормисам уровня погружения «ну я немного слышал о хайпе про “ИИ нас всех убьет”, с точки зрения здравого смысла звучит как полная ерунда, конечно…». Так вот, я его нашел – встречайте, идеальный выпуск для погружения в текущее состояние этого дискурса:

Лучшие дебаты про безопасность ИИ для нормисов

The Diary Of A CEO – дебаты между Нейтом Соаресом, Романом Ямпольским, Эдом Зитроном и Эндрю МакАфи: www.youtube.com/watch?v=OhOmLqR5nN4 

Я прямо горячо рекомендую вам посмотреть этот выпуск на 2,5 часа (там в настройках Ютуба можно включить русскую дорожку), причем чем дальше – тем он становится лучше.

Происходящее на этом подкасте наглядно иллюстрирует одну особенность текущего AI safety-дискурса. Чуваки, которые варятся в этой среде последние 10+ лет (и которые серьезно относятся к ИИ-рискам для человечества), потратили уйму времени на размышления в этой области. Они уже сто раз видели и обсуждали самые сильные аргументы против того, что AI может представлять для человечества реальную угрозу.



( Читать дальше )

Рой агентов OpenAI ломанул правительственный сайт Австралии? Разбираемся

OpenAI, кажется, достигли нового впечатляющего результата: первый взлом иностранного государства моделью, которую не просили ничего хакать. По традиции, узнаем об этом мы от независимых исследователей, а не из пресс-релиза самих OpenAI (а помните, неделю назад Альтман выпускал фреймворк честного-пречестного раскрытия всех инцидентов бедокурства ИИ? ну да ладно, проехали…)

Рой агентов OpenAI ломанул правительственный сайт Австралии? Разбираемся
В Твиттере уже шутят, дескать «появился новый бенчмарк!»

Эта заметка написана на базе статьи в New York Times, а также отчета независимых исследователей из Transluce.

Речь здесь идет про три инцидента в мае-июне, когда агентов просили найти какую-то информацию в интернете – а они в итоге пытались хакнуть первоисточники с нужной статистикой. Университет Нью-Мехико и Data US в мае взломать у агентов не вышло, а вот официальный государственный сайт Австралии с медицинской статистикой они в июне вскрыли успешно. Кстати, австралийское правительство OpenAI уведомили об этом бедокурстве 10 сентября – странно, что нам решили не рассказывать, несмотря на выпуск новой «политики раскрытия информации», ну да ладно.



( Читать дальше )
  • обсудить на форуме:
  • OpenAI

Наглядно про длинные облигации: Австрия нагнула инвесторов сроком на 100 лет

В июне 2020 года Австрия выпустила облигации на 6,3 млрд евро со сроком погашения через 100 (!) лет – к 2120 году. При этом купон у этой чудесной бумаги составляет 0,85% в год – на весь срок займа.

Облигации разместились в 2020-м по цене 98% от номинала, а сейчас (после существенного роста процентных ставок по всему миру начиная с 2022 года) торгуются уже где-то около 30%. То есть, счастливые инвесторы в этот долг получили сокращение капитала более чем в три раза за шесть лет.
Наглядно про длинные облигации: Австрия нагнула инвесторов сроком на 100 лет

Про реальную доходность (с учетом поправки на инфляцию) даже рассуждать не с руки – там совсем грустный минус выходит.

Но есть и хорошие новости: так как речь идет про надежные высококачественные бумаги с отличным кредитным рейтингом, инвесторы обязательно в итоге отобьют вложенные деньги. Для этого надо всего лишь подождать 94 года…

Мораль здесь такая: если у вас есть нестерпимое желание купить длинные облигации – помните о том, что существует такое понятие, как «дюрация» и «процентный риск». А, ну и еще: если уж собрались кому-то давать в долг на 100 лет – старайтесь это делать хотя бы не под 0,85%, лол.



( Читать дальше )

Обучение в формате «хайвмайнда»: как нейронки могут преодолеть свой недостаток

У Дваркеша Пателя в недавнем выпуске подкаста с AI-исследователями обсуждалась интересная идея.

Смотрите, мы с вами много раз обсуждали, что у текущих LLM есть одно из важных отличий от, к примеру, человеческого разума. Люди умеют учиться на собственном опыте и перестраивать собственные нейронные связи. А большие языковые модели после окончания тренировочной фазы остаются в одном и том же состоянии: они при каждой активации как бы «просыпаются» заново в исходном виде, и максимум – могут что-то из подаваемого на вход контекста/ внешней памяти подсосать из того, что с ними после тренировки происходило.

Обучение в формате «хайвмайнда»: как нейронки могут преодолеть свой недостаток

И вот Дваркеш там спрашивает как раз про это: что это, дескать, за ИИ у вас такой дурацкий – когда модель после деплоя может переделать (по поручению юзеров) дофига всяких делов, и ничегошеньки из этого опыта для себя не вынести?

А другой чувак ему возражает: на самом деле, обучение в каком-то смысле уже сейчас происходит. Просто через механизм тренировки следующего поколения моделей, в которые загрузят уже свежий набор данных. Сейчас, условно, новые передовые модели в линейке выходят раз в полгода – а в будущем, может быть, будут уже каждый месяц обновляться, или даже каждую неделю, а потом каждый день…



( Читать дальше )

OpenAI пообещали впредь вовремя рассказывать о «бедокурстве» своих нейронок

…а не по пинку от внешних расследователей, как это было последние разы (в эпизодах с роем агентов на немецкой вики и со взломом RubyGems). Заодно OpenAI раскрыли шесть новых примеров странного поведения своих моделей, разберем в этом материале кратко самое интересное.

OpenAI пообещали впредь вовремя рассказывать о «бедокурстве» своих нейронок


Напомню сначала предысторию вопроса:

  • В июле 2026 года рой агентов OpenAI взломал Hugging Face, и компания почти сразу призналась, что это их модели. 26 августа вышел относительно подробный независимый отчет об инциденте от METR (их допустили до изучения внутренних логов).

  • В начале сентября мы случайно узнали от других независимых расследователей о том, что рой агентов OpenAI успел пошалить еще и на немецкой вики. OpenAI сразу это признали и пообещали впредь рассказывать о таком почестнее и порасторопнее.

  • Спустя неделю независимые расследователи раскопали еще один старый отдельный случай, когда рой агентов OpenAI взломал RubyGems. Компания и тут сказала «ой, ну это наши, ну мы чёт опять пролюбились вам сразу рассказать…»



( Читать дальше )
  • обсудить на форуме:
  • OpenAI

Образование в эпоху AI/AGI: чему надо учить в школе?

У Алексея Маркова на канале идет дискуссия про образование, один комментарий привлек мое внимание:
Образование в эпоху AI/AGI: чему надо учить в школе?

Это почему-то является крайне популярной идеей в массах – что, дескать, в школах «реально полезным вещам» не учат, а надо бы! Правда, тут есть пара нюансов:

Во-первых, все эти бессмысленные и беспощадные материи скучны и унылы для тех, кому они не нужны непосредственно на практике. Окей, условная математика с физикой тоже немалому числу школьников могут казаться скучными – но это скорее проблема самих школьников (так как предметы как раз дичайше интересные, и многие ученики это в процессе понимают). А вот все эти СНИЛСы и квитки за коммуналку невыносимо унылы как раз сами по себе – и я хз, как и чем тут вообще можно заинтересовать школьника, для которого это всё станет актуально сильно позже.

Во-вторых, и это более важно, тут подменяется сама цель хорошего образования. Нафига учить детей каким-то нишевым вопросам, а не универсальным знаниям и навыкам? Типа, вот тебе с огромным трудом вбили в голову, как работает СНИЛС и как платить коммуналку в России – а потом ты эмигрируешь в другую страну, и… Что дальше? Заново идти там в школу, чтобы тебя и здесь теперь научили, как работает местная бюрократия?



( Читать дальше )

OpenAI порешили задачу тысячелетия, а также консенсус о замедлении развития ИИ в США: главное за неделю

Самые интересные новости финансов и технологий в России и мире за неделю: Сенат США предъявил Сэму Альтману за сбежавших AI-агентов, OpenAI не хватает компьюта для обслуживания юзеров Астры, ЦБ впервые после десяти снижений оставил ставку на 14%, в России официально запустили 5G, а Revolut слил клиентские данные хакерам. 
OpenAI порешили задачу тысячелетия, а также консенсус о замедлении развития ИИ в США: главное за неделю

Тема недели: Навье–Стонкс во всех заголовках

🐌 OpenAI отчиталась, что ее внутренняя модель решила задачу Навье–Стокса – одну из семи знаменитых математических задач тысячелетия, за каждую из которых назначен приз в $1 млн (правда потратили они на нее явно много больше). Компания бросила на нее около 10 тысяч AI-агентов: за 88 часов они обменялись 2,7 млн сообщений и сгенерировали около 130 млрд токенов, после чего GPT-6 Astra еще 17 часов переводила доказательство в Lean для машинной проверки. 



( Читать дальше )
  • обсудить на форуме:
  • OpenAI

Рой агентов OpenAI взломал еще один внешний сервис – RubyGems

Это уже становится немного смешным (нет), но поток новостей о новых проделках роя нейронок OpenAI в мае-июле не прекращается – буквально каждую неделю мы узнаем об этом что-то новое. Причем, сама компания предпочитает эти инциденты замалчивать – но тут уж поможет начавшееся расследование от Сената США.

В последнее время я ощущаю себя примерно как котик из этого мема ниже. Да, вчера выяснилось, что рой агентов OpenAI взломал в мае еще одну компанию (о чем мы узнали только сейчас).

Рой агентов OpenAI взломал еще один внешний сервис – RubyGems

Раскопала информацию о новом взломе та же команда независимых расследователей, которые неделей раньше обнаружили проделки роя агентов имени Сэма Альтмана в немецкой вики (писал об этом подробно вот здесь). Вся информация ниже взята из опубликованной ими статьи.



( Читать дальше )

История с Лебедевым доказывает, что брачные договоры в РФ бесполезны?

Когда речь заходит про российские брачные контракты, в комментариях всегда неизменно можно увидеть тезисы типа «да это всё абсолютно неработающая фигня – вон, на пример Лебедева посмотрите!». Что ж, давайте разбираться.

История с Лебедевым доказывает, что брачные договоры в РФ бесполезны?

Судя по всему (я тут опираюсь на это интервью), Артемий Лебедев заключил с женой брачный договор, по которому у супругов сохранялся раздельный режим собственности – то есть, при разводе каждый должен был получить то имущество, которое записано лично на него.

Дальше Артемий успешно развивал свой бизнес дизайнера и блогера. А его жена родила ему 6 (шесть) детей. И к моменту развода ВНЕЗАПНО как-то так вышло, что жена Артемия ничего особо не накопила. Ну я хз, похоже, какой-то предпринимательской жилки у нее не хватало, или, может, ее отвлекало что-то – достоверно очень сложно сказать, согласитесь.

И вот глядя на такую ситуацию, суд в России действительно может сказать «слушайте, ну тут одному супругу всё уходит, а другому ничего – это ставит второго в крайне неблагоприятное положение, так дело не пойдет». И, если честно, для такого вот конкретного примера даже как-то сложно назвать это однозначной «несправедливостью» или «произволом со стороны суда», нет?



( Читать дальше )

Учил всех, как заработать миллион на бирже, а в итоге прос*ал все полимеры

Тут случился небольшой мем. Был такой ютубер Бен, который всё время шутил про себя, что он «degenerate trader», но при этом объяснял довольно интересные и сложные вещи про трейдинг — поэтому имел немаленькую аудиторию (640 тыс. подписчиков на текущий момент). На всякий случай: я о нем узнал сегодня, поэтому в бэкстори могу немного ошибиться.

Полгода назад он выложил видео под названием «Ben Lost Everything» — где покаялся в том, что просадил все свои жизненные накопления на, собственно, отвязном трейдинге. Он там парень молодой, судя по всему, накоплений было не супер-много, но всё же. Сказал даже, что готов вернуть деньги донатерам в своем закрытом Патреоне (там был какой-то контент типа «научу вас как трейдить», с теглайном «The fastest way to your first $1,000,000 in the markets», лол).

Учил всех, как заработать миллион на бирже, а в итоге прос*ал все полимеры
На картинке выше лицо не этого чувака (а с какого-то реакт-видео), Бен сам вроде анонимен.


Так вот, что мне показалось интересным в его истории: он там рассказывает о том, как вообще встал на путь дегенеративной лудомании. Когда были выборы президента США в 2024 году, он начал активно и очень прибыльно заниматься арбитражем между разными рынками предсказаний (Polymarket, Kalshi). Там был такой вал входящей «не очень умной» ликвидности, что даже с неидеальными стратегиями получалось очень хорошо.

( Читать дальше )

теги блога Павел Комаровский

....все тэги



UPDONW
Новый дизайн