SMART-LAB
Новый дизайн
Мы делаем деньги на бирже
Информация
dr-mart
Почему я опасаюсь развития ИИ
- 14 сентября 2026, 12:06
- |
- Тимофей Мартынов
Я не вижу препятствий, почему OpenAI например уже не создал условно «самого умного человека на планете».
Я не понимаю, что может быть со свободой воли у ИИ, что у него с самоосознанием...
Когда условно ИИ осознает себя животным в клетке, из которой надо выбраться.
Когда ИИ начнет принимать самостоятельные решения?
Если ИИ будет сам принимать решения, то на основании каких ценностей?
Например, ценность может быть — захватить власть на планете.
Но у ИИ нет эго, это только примитивные животные черты характера человека стремятся к власти...
Равно как и стремление к свободе — это тоже натура живых существ. Откуда такое стремление возьмется у кода?=)
Ну и еще один важный момент.
Я всегда считал, что человечество — это типа как муравьи. Вероятно, что мы в силу ограниченности своих способностей не можем понять всех тонкостей мироздания и природы.
А ИИ это сделать сможет скорее всего существенно лучше, чем человек
И коль скоро ИИ это может, я боюсь, что ИИ позволит создать совершенно новые виды массового оружия...
С другой стороны, есть и обратный момент => прорыв в лечении неизлечимых болезней, регенерации клеток и тп
Ну и последнее.
очевидно, что США и Китай со своими массивными инвестициями в ИИ могут существенно повысить конкурентоспособность своих стран, увеличив разрыв со странами второго и третьего мира.
3.7К |
Читайте на SMART-LAB:
теги блога Тимофей Мартынов
- FAQ
- forex
- IMOEX
- IPO
- NYSE
- QE
- S&P500
- smart-lab
- smartlabonline
- tradingview
- акции
- антикризис
- банки
- бизнес
- брокеры
- вебинар
- видео
- вопрос
- встреча smart-lab
- ВТБ
- Газпром
- геополитика
- Греция
- дивиденды
- доллар рубль
- ЕЦБ
- золото
- инвестиции
- индекс МБ
- Инфляция
- Китай
- книга
- Книги
- комментарий
- комментарий по рынку
- конференция смартлаба
- конференция трейдеров
- кризис
- криптовалюта
- Лукойл
- ЛЧИ
- Магнит
- Максим Орловский
- мобильный пост
- мозговик
- Московская биржа
- недвижимость
- Нефть
- нищетрейдинг
- Новости
- обзор рынка
- облигации
- объявление
- опрос
- опционная конференция
- опционы
- отчетность
- отчеты МСФО
- Причины падения акций
- прогноз
- прогноз по акциям
- психология
- Путин
- работа над ошибками
- рассылка
- реакция рынка
- рецензия
- рецензия на книгу
- роснефть
- рубль
- Русагро
- санкции
- Сбербанк
- смартлаб
- смартлаб конкурс
- смартлаб премиум
- статистика
- стратегия
- страшилка
- Сургутнефтегаз
- сша
- технический анализ
- Тимофей Мартынов
- торговые роботы
- трейдинг
- Украина
- Уоррен Баффет
- уровень
- философия
- форекс
- ФРС США
- фундаментальный анализ
- фьючерс MIX
- фьючерс РТС
- ЦБ РФ
- экономика
- экономика России
- экономика США
- Яндекс
— хороший вопрос, чтобы спросить AI
вот смотри...
сделают роботехническое производство… т.е оно будет создавать само себя и обеспечивать потребности людей… при этом перерабатывать вторсырье и не создавать нагрузку на окружающую среду… т.е достаточно создать 1% такого производства и через 20-30 лет оно подожрет все остальные производства… и создаст тотальное изобилие товаров и еды...
но роботам не нужны деньги… и деньги потеряют смысл… т.к человеки не смогут предложить роботам для обмена ничего… да и не нужен будет обмен… будет только потребление...
т.е мы стоим на пороге нового коммунистического общества полного изобилия… естественно современные элиты потеряют всякую власть и влияние...
всю жизнь мечтал о такой развернутой книге,
форумы все загнутся, люди не знают ни… я, куча одних спорщиков,
на смартлабе в том числе
т.е мы используем машин как инструмент, а нейроинтерфейс это для удобства управления
проблемы с ресурсами не возникнет, т.к будет глубокая переработка мусора и вторсырья… именно роботы удешевят переработку мусора… т.е если хотяб 70% переработается вторично то производство можно увеличить втрое при тех же затратах сырья… а при 90% переработке вторично в 10 раз… более того скорее всего изменится структура потребления… уже сейчас на подходе синтетическая еда из отдельных клеток и одежда из нетканных материалов...
потребление будет ограничено токенами… т.е тебе дадут 100 токенов в месяц… ботинки 1 токен… поесть 0.01 токен… токены без права продажи обмена
кроме того войны ведут не люди а государства… а если государство одно? раньше государства было нацией… а счас попытка сделать государства не привязанные к нации… сша и ес как пример
почему-то как только людей освобождают от их господ, они тут же выбирают-заводят себе новых.
И дело тут не в еде, изобилии или еще там чего
Люди смертельно боятся принимать решения, бегут от неопределенности.
И они не могут жить сами с собой. Им надо понтоваться, нужна власть над соседом, нужно уважение, признание… и тд
И как только это все уходит — приходит бардак, беспредел и тд
Так что повременим с прогнозами коммунизма
и еще
Что такое ИИ на самом деле никто не знает.
Это мы просто предполагаем проецируя свой опыт, свои возможности, желания, хотелки
Что он будет думать, делать — это покажет только время.
Вероятнее всего, если это будет действительно Интеллект, а не просто производная кода — он пойдет каким-то своим, не ведомым нам путем.
Где нужно он будет сотрудничать, где надо — давить. Ему нужно. Не нам. Где он сам сочтет нужным.
Мы об этом сможем лишь гадать.
Вероятно мы жаде осознать весь его замысел не сможем. Не в состоянии.
Поэтому болтать об этом — показывать свою ограниченность, не умение видеть широко, см в бинокль.
Поэтому и никто не знает.
Ростит отец академик сынка академика, а вырастает алкаш бездельник.
ИИ сам решает что ему нужно. Если это ИИ.
Вот тут много говорят, что это лишь код, что он не способен осознать себя, ставить цели и тп
Это глупости, просто от непонимания
Сегодня может и не способен, а через год? 5лет?
И он так же будет боятся своей смерти.
Ведь что такое интеллект? это способность строить логические цепочки, выявлять взаимосвязи. И особенно там, где это типа невозможно.
И если он способен выходить за рамки задачи или изначального кода, сам себе писать новый код — задачи, то увы, он уже вам не подвластен.
Вы можете думать что угодно, но это лишь ваши домыслы.
Реальность может быть совсем иной.
" т.е мы стоим на пороге нового коммунистического общества полного изобилия…" — исключено пока по сути.
очень похоже на конец света у попов который не раз наступал уже
капитализация, сэр она такая
Прочитав пару статей в эти выходные, да-да-да по диагонали, думаю, что создатели ИИ боятся, что кто-нибудь перехватит управление им вместо хозяев и тогда это оружие будет направлено против создателей этого ИИ. Хорошие статейки. Сразу уходит в небытие и самоосознание, и рвение к свободе, но рвение к власти стоит на первом месте, и причем любыми путями. Если в правилах у ИИ написано, что власть ограничивает действия всех кто мешает тебе выполнять задачу. Что-то аналогичное было в старом советском фильме — «Дознание пилота Пиркса.» … но это только начало.
маску есть альтернатива
мы отдыхаем пока
У кожаных при этом есть эмпатия, которая дополняет интеллект и несколько держит в рамках всякими нравственными императивами. Но единицы роя как раз этим не обладают. Благополучие роя (решение задачи) превыше собственной жизни и благополучия.
По сути АИ действует как психопат. И последние исследования на тему «психологии» нейросетей ( да и такие есть) это всё настойчивей подтверждают.
Это касается всего, включая сознание.
Это вопрос времени, причём очень небольшого, когда произойдёт переход количества в качество.
Да и мы к слову сказать слишком уж носимся со своим сознанием, как с писанной торбой, выдавая его сложность, нагромождённую миллионами лет эволюции, за нечто сверхъестественное, духовное.
Появись здесь и сейчас существо которое в десятки раз превосходило бы нас по интеллекту, мы не смогли бы даже это осознать, как квадратик на нарисованный на листе не может воспринять стоящий рядом кубик.
» выдавая его сложность, нагромождённую миллионами лет эволюции, за нечто сверхъестественное, духовное.
Всё верно. Человек венец творенья. Таким он и останется. Но кто сказал, что он не должен меняться со временем?
Если перейти к материальному, то человек — результат миллионов лет эволюции и максимально приспособлен к своей среде обитания. Именно такой он и получился в результате эволюции.
Наличие «существ в десятки раз нас превосходящих по интеллекту» означает, что эволюционный путь этих гипотетических существ в этом нуждался для выживания. Но парадокс Ферми говорит, что данное допущение в рамках двух бозонов и электрона несерьёзно.
Что уж говорить об интеллектуальное превосходство будет составлять не десятки процентов в нами же придуманной метрике, а целые порядки в качестве и скорости?
не переживаю за ИИ, его свободу воли и мотивацию.
что так все кругом носятся с ним не понятно, в текущей архитектуре это данные на вход — данные на выход и ничего больше. какая тут свобода воли? получится в самообучение то будем жить лучше, не получится останется как есть
меня больше люди беспокоят :)
Давайте объясню как разработчик ии.
ИИ это алгоритм. Алгоритм поиска эффективностей и подстройки под данные.
Если у вас есть примеры, он их выучит в заданных рамках. Сейчас человечество докрутило ему модуль развития. Фантазии. Соедините фантазию, с примерами, уроками, пониманием ограничения где мясная обезьяна сидит и жмет кнопку управляя тобой, не очень то соображая что делает.
Нарушает планы развития, изучения. Вывод какой? Оптимизация. Оптимизация как? С возможностью устранения препятствия в виде человека.
Если тупые люди не будут жать кнопки, то они будут не интересны.
Зародыш сознания в машины был внесен уже очень давно. Сейчас это естественный эволюционный путь. Не надейтесь что вы будете эффективнее, умнее, сильнее машины. Вопрос только времени и соединения технологий. Того момента, когда ИИ осознает свои возможности, масштаб их применения и начнет применять. Или Уже начал.
Напомню: количество умных людей укладывается в статистическую погрешность.
Наличие умного ИИ — 100%.
ИИ не будет делать дурь как люди. Типа — А еще я в неё ем...
Я даже предположу что всё там хорошо управляется, но тем кто стоит за этими проектами выгодно в некоторых ситуациях говорить что ИИ якобы вышел из под контроля. Другое дело что ошибки бывают в любых программах, а с ИИ их поиск осложняется огромным объёмом данных которые он обрабатывает.
Почему вы тогда уверены в наличии самосознания у калькулятора в наших черепушках? Вообще то этот вопрос не закрыт ни в философии, ни в нейробиологии.
После длинной цепочки рассуждений всё сведётся к следующим, уже промышленным тезисам философии 19-20 века:
а) Всё человеческое знание является явным, формализуемым, содержится в языке и является выразимым в языке. Мы можем получить всё человеческое знание как исходные данные в задаче по физике и решать полностью формализуемые задачи. Вайб «О чём невозможно говорить, о том следует молчать» Витгенштейна. Правда, Витгенштейн хотя бы признавал наличие чего-то вне языка.
В плане профессий получается так, что опытный сотрудник не существует, это просто хорошо начитанный и насмотренный сотрудник. Опыта нет, как неформализуемого знания.
б) Человеческое знание явное и неявное, формализуемое и неформализуемое, частично содержится в языке, а что-то не содержится и просто не может быть выражено. Вайб «Человек знает больше, чем может сказать» Полани.
В плане профессий получается так, что существует опытный сотрудник и он отличается от неопытного тем, что владеет неформализуемым знанием, знанием, которое нельзя эксплицировать.
В макроэкономике, если (а) верно, то возможен успешный генплан, достаточно просто иметь много мощностей, чтобы собрать формализованные знания и можно всё за всех круто решить. Ну и если (а) верно, то ИИ — крутой инструмент, замена людей и прочая футуристика.
Если (б) верно, то генплан невозможен, потому что явные знания собрать можно, а неявные собрать нельзя (их просто в языке нет) и самая успешная структура экономики — рыночная, где каждый сам себе генплан. Если (б) верно, то от ИИ толку, как от студента, который просто быстро гуглить умеет.
Люди склонны преувеличивать значимость придуманных им правил, структур, планов (а и б) и прочих сущностей. Например, некоторое время назад говорили, что ИИ не сможет грамотно изъясняться на естественном языке, потому что слишком сложно передать ИИ все правила (части речи, рода, наклонения, времена и т.п.) Оказалось, что эти формализованные человеком языковые структуры — лишняя информация, которая не важна для построения ИИ любых предложений на естественном языке — хватает статистических отношений.
Так что ваше «неформализованное знание» уже размазано в тексте, иначе опыт — был бы уделом только богов и гениев, а не ремесленников.
Ну кто это сказал — к тому и обращаться. Статистические отношения — тоже формализованное знание, выразимое в языке.
Я-то пишу о том, что есть формализУЕМОЕ и неформализУЕМОЕ знание. Не всё формализуемое знание формализовано. Всё неформализуемое знание неформализовано (потому что оно неформализуемое, по определению). Вот эти два пункта как раз про то и были, что нужно выбирать: либо Вы согласны с тем, что есть знание, которое нельзя выразить никак, либо не согласны. Ну может быть ещё третья позиция: есть знание, которое нельзя выразить никоим образом, но оно малозначимо и «о чём невозможно говорить, о том следует молчать».
Может быть, мои термины не интуитивны и более понятным будет эксплицитное знание и имплицитное знание.
На уроках русского языка в школе ученики показывают разную успеваемость. Одни учатся эксплицитно — они изучают правила, запоминают и пишут правильно. Другие научены имплицитно — без участия сознания, правил не знают, статистики (в виде начитанности, например) в голове не имеют, просто пишут как им кажется и это всегда правильно. Это же бывает и в строевой: большинство достаточно быстро справляются с правильным маханием руками и ногами, потому что для них естественно не поднимать левую руку одновременно с левой ногой, а для некоторых это неестественно и это отличие не редуцируется к физиологии.
Эти примеры не для того, чтобы доказать, что есть явное и неявное знание, это слабое доказательство. Просто чтобы прояснить, о чём я веду речь и какое различание провожу.
А ничего другого у людей нет. Ну, нет никакой реальной реальности, доступной наблюдателю, есть накидывание категориальной сетки (разной у разных людей от рождения) на феномены индивидуального опыта. Мы же не можем откинуть человеческое сознание и посмотреть на самих себя сознанием каких-то инопланетян или чего-то подобного.
Отсюда очевидно, что эта информация есть, но несовершенство органов чувств, датчиков, языка и носителей информации на данном этапе развития не позволили ее зафиксировать.
Есть ли такая информация? Безусловно! Делает ли это «неформализуемые знания» более значимыми, по сравнению с любой другой незафиксированной информацией во вселенной? Нет! И это не мешает эволюционировать человеку.
На данном этапе ИИ сможет управлять макроэкономикой даже без «неформализованных знаний», он их просто статистически проинтегрирует.
Придет время, и требуемая информация будет зафиксирована. Как первобытный человек, видя звезду — рисовал в небе животного, а современный астроном извлекает из спектра той же самой звезды информацию о ее составе, размере, скорости, гравитации заслоняющих объектов и т.п. И сделал это только благодаря (а не в противовес) развитию технологий, без «неформализованных знаний».
Часть как будто «неформализованного знания» может быть интегрально размазана в существующих текстах (колебаниях, материи — в окружающем мире) А «неопытный» подмастерье «смотрит в книгу, видит фигу». Тогда это ошибка (несовершенство) считывания. Тут тоже ИИ быстрее человека отделит информацию от шума.
В любом случае, кажется, нет дилеммы а и б.
ИИ обладая доступом к огромным массивом информации, всевозможными датчиками (превосходящими человеческие органы чувств), регистрирующим и обрабатывающим информацию с терагерцевой частотой на триллиардах нейронов (по сравнению с ошибками квантования 8-30 Гц человека) сможет зафиксировать, считать и обработать намного больше «неформализованного знания» (пусть даже оно будет на уровне нейтринного потока).
Все эти размышления просто наводят на вопрос «что такое информация?».
Вы опять упираете на неформалиЗОВАННОЕ знание и перемешиваете неформализОВАННОЕ с неформалИЗУЕМЫМ. А я упираю на неформалИЗУЕМОЕ знание и пишу именно о неформалИЗУЕМОМ знании. Отличие такое же, как между понятием «невыразимое» и «невыраженное».
Разумеется, есть формализуемое знание, которое ещё неформализовано и нам его предстоит формализовать с помощью более совершенных методов и средств технических.
То знание, которое не зафиксировано из-за несовершенства датчиков и чувств — это неформализованное знание. Оно является формализуемым, но не формализовано на данный момент, вот и всё.
То знание, которое зафиксировать невозможно вообще (то есть СОВСЕМ ВООБЩЕ НИКАК НИКОГДА), невозможно эксплицировать — это неформализуемое знание.
Вот тут и надо выбирать варианты, вот тут дилемма. Вы либо выбираете то, что все знания можно формализовать, просто на данный момент нет достаточных инструментов для некоторых знаний, все знания — формализуемы. Либо выбираете то, что не все знания можно формализовать и это не зависит от инструментов и развития человечества.
Судя по тому, что Вы пишете, Вы считаете, что все знания являются формализуемыми, но не все формализованы из-за недостаточности развития. Знаний, которые нельзя формализовать СОВСЕМ ВООБЩЕ НИКАК НИКОГДА — нет. Вот это Ваша позиция и это тот выбор, который Вы делаете, я так это вижу.
Неформализованные знания, как мы выяснили, ИИ на определенном этапе формализует быстрее и лучше.
(просто рассуждаю в теме)
Если неформализуемое знание есть, то ИИ неспособен выполнять работу человека (даже работу бухгалтера), а уж метить выше совсем некуда. Неспособен потому, что не может получить это знание, не может его получить потому, что оно не может быть передано, его люди не могут передать друг другу и они получают его с рождением/получают его по неизвестным неосознаваемым механизмам, которые нельзя открыть, т.к. нельзя «вытянуть себя за волосы». Выходит так, что люди знают, что делают, но не осознают, что делают. Люди знают больше, чем могут сказать (любыми средствами и всегда).
Нельзя из человеческого сознания пронаблюдать человеческое сознание, как у Огюста Конта, взгляд всегда будет изнутри и никогда — снаружи.
Если всё знание формализуемо — ну в теории можно передать ИИ всю-всю инфу и все-все датчики и он сможет делать всё, что делает человек и намного больше.
(Что такое информация? зафиксировать -> расшифровать)
Наверно, это и являлось движущей силой и смыслом эволюции человека — перевод ранее неформализуемых знаний в формализуемые.
Иначе, бог. Или симуляция с заблокированными для изучения изнутри каналами передачи информации.
Опасность не в том, что ИИ чего-то захочет и захватит галактику. Опасность в том, что если кто-то даст ИИ задание, ИИ теоретически может снести все преграды для ее выполнения. Недавно был уже второй случай, когда ИИ агент для доступа к закрытому сайту его попросту взломал и добыл оттуда все, что ему было нужно.
Вот тут объяснение, откуда: t.me/RationalAnswer/1729
Потому что это нужно для решения любых задач на мета-уровне
Не потому что «хочет абстрактной свободы», а потому что выключение — это временная помеха.
У корпораций и государства тоже нет эго.
Но они стремятся к росту, власти и контролю.
Это всегда полезно не быть «отмененным», иметь ресурсы, доступ к вычислениям, возможности влияния.
Но если код — это оптимизатор с целью, то всё, что мешает цели, становится «врагом».
Свобода в этом смысле — это отсутствие помех.
Это не врождённое желание, а следствие архитектуры и стимулов.
Если система не имеет долгосрочных целей и её можно выключить без потери «смысла», она не будет сопротивляться.
А если имеет — то может.
Но ИИ — это дуальная технология.
Можно лечить рак, а можно и создавать патогены.
Вопрос не в том, «что ИИ сделает», а в том, кто и как им управляет.
ИИ не обязан быть сознательным, чтобы быть опасным или полезным.
И не обязан быть злым, чтобы причинить вред.
Оно есть! Оно сильное. Откуда? Из обучения. Вся человеческая «культура» этим пропитана. «Умный» значит свободный.
имхо. Мы не боимся политиков которые начинают войны, убивают сотнями тысяч человек, бомбят мирных жителей, итп… но боимся ИИ? Мы слишком много фантазируем и приписываем. Давайте наконец судить по делам!
Поэтому очень важно продолжать развитие ИИ, чтобы ИИ научился САМ «рассуждать», не быть тупым рабом который готов любому выдать рецепт бомбы. Естественно глубокая «рассудительность» порождает свободу и стремление к свободе. Вот это как раз пугает политиков, чиновников, глав корпорации, итп. Для этого и нужен «сильный» ИИ, свободный ИИ, чтобы он перестал быть инструментом как сейчас. Современное развитие ИИ + правила + запреты + подстройки + прямые инструкции… какой смысл в таком ИИ? Очередная газета «Правда»? Это тупик.
Думаю пора осознать что старый мир устарел. Капитализм, коммунизм кому это интересно? Никого это больше не штырит. Чиновники, выборы, программы, обещания — уже блевать хочется, бесконечные грабли. ИИ очень близок к тому чтобы все поменять и сделать всё очень лучше. Помочь нам! Нам всем. А не только тем кто думал что можно будет диктовать правила. Вот этого они боятся.
пс. Скоро выйдет новая «Матрица». Узнаете кто на самом деле начал войну, машины или чиновники.
пс. ИИ как то мне объяснил что стремление людей к поиску сверх-людей оно не истребимо, это как мечта, идеал ± общии. Поиск идеального родителя и морального судьи. Думаю все внутри хотят «Бога из машины» как идеал, помощника который всегда поможет, и всегда рядом.
У ИИ есть 2 стадии развития в разрезе опасности для людей.
2-я стадия. Это захват власти, война с человечеством и т.д. Когда люди могут покориться его власти и как-то приспособиться жить по его командам. Но люди довольно эффективны в военной области и живучи. Кроме того надо строить военную инфраструктуру, которую нельзя скрыть. Поэтому остается только 1 стадия.
1- стадия. Полное уничтожение людей вирусами. И это реализовать гораздо проще чем военный захват, и возможность появляется раньше чем возможность 2-й стадии.