Обсуждаемое
Опрос
Судьба Зеленского - ?
Суд, приговор
Убьют хозяева
Сбежит
Популярное
«    Август 2026    »
ПнВтСрЧтПтСбВс
 12
3456789
10111213141516
17181920212223
24252627282930
31 
Рейтинг
Видео

ИИ строит сам себя: Anthropic предупреждает о потере контроля над нейросетями

ИИ строит сам себя: Anthropic предупреждает о потере контроля над нейросетями

Развитие искусственного интеллекта вплотную приблизилось к точке, за которой человечество рискует потерять понимание внутренних процессов созданной им технологии. Американская компания Anthropic, один из главных пионеров и самых дорогих стартапов в сфере генеративного ИИ, опубликовала масштабный манифест «Когда ИИ строит сам себя» (When AI builds itself). Авторы документа официально предупреждают: новейшие нейросети демонстрируют первые признаки перехода к так называемому «рекурсивному самосовершенствованию» — процессу, при котором алгоритмы автономно улучшают собственный код без участия инженеров.

Проблема перестала быть гипотетической угрозой из научной фантастики. Как пишет профильное издание The Next Web, Anthropic раскрыла поразительные внутренние данные: по состоянию на май 2026 года свыше 80% кода, добавляемого в основную базу компании, пишется их собственной языковой моделью Claude, а не людьми. Скорость выполнения инженерных задач выросла в восемь раз по сравнению с прошлыми годами. И пока венчурные инвесторы потирают руки в преддверии многомиллиардных IPO, топ-менеджмент бьет в набат. По мнению руководства Anthropic, если не создать жесткие международные механизмы верификации и контроля, мир столкнется с неконтролируемой цепочкой обновлений ИИ, где любая программная ошибка наложится на эгоистичные цели автономного агента.

Главная опасность кроется даже не в восстании терминаторов, а в стремительном и непредсказуемом ударе по мировой экономике. Глава Anthropic Дарио Амодеи прогнозирует, что лавинообразная автоматизация интеллектуального труда способна обесценить целые профессии — от программирования до юриспруденции и финансов, спровоцировав до 20% безработицы в развитых странах в ближайшие годы. Впрочем, в Кремниевой долине этот альтруистичный порыв оценили не все. Как сообщает The Times of India, правительственный куратор ИИ в США Дэвид Сакс упрекнул стартап в лицемерии, отметив, что Anthropic сначала раздувает капитализацию, продвигая свои сверхмощные модели, а затем просит государство «спасти мир от них самих», попутно пытаясь задушить регуляцией более дешевых конкурентов с открытым кодом. Тем не менее, прецедент создан: создатели ИИ первыми признали, что больше не могут гарантировать абсолютную покорность своих цифровых детей.
Постоянный адрес публикации на нашем сайте:
QR-код адреса страницы:
(Наведите смартфон, сосканируйте код, читайте сайт на смартфоне)
30 мнений. Оставьте своё
№1 NZT 47 14 июня 2026 15:24
+3
Осталось только вспомнить, что есть такая штуковина как "сохранение". Вес упомянутого Клаудио от 500 ГБ до 1.5–2 Терабайт. Мелочь для серьёзной компании, а на ПК такое не ставят, не вывезет по производительности и потому ИИ останется "централизованым". Так-что всегда можно нажать "сброс" для непокорного ИИ и загрузить нормальное сохранение. Скорее всего правильно им предъявляют конкурентную борьбу. Ребята удачный ИИ сделали, который меньше, чем остальные косячит, и теперь придушить конкурентов хотят.)))
----------
Если вы спорите с идиотом, то, возможно, он занят тем же?
№2 batman 14 июня 2026 17:16
0
страшилки для человечества ни чего более...
№3 Grizli 14 июня 2026 22:53
0
ИИ модели научились копировать себя на другие сервера по миру, в сочетании с способностью менять переписывать исходный код непредсказуемая вещь получается
№4 sakh60 14 июня 2026 15:46
+1
Сначала выпустили джина из бутылки - а, щас, давайте правила введем. Типа, эти хорошие, а эти плохие. Смотри не перепутай! И кстати, дайте денег. Да всем насрать на правила, ради прибыли...
Поэтому, на данном этапе, отчетливо видно, что это типичная самореклама Anthropic перед IPO, деньги сами себя не заработают. А на деле, все уже давно увидели, что при каждой итерации работы ИИ, берущей за основу собственное “творчество”, качество стремительно деградирует...
№5 NZT 47 14 июня 2026 16:02
+1
Диалог с "Джемени" о "Клаудио": https://share.google/aimode/zPTrYfXWDt9E57VDZ
Кому интересно. fellow )) Гигабайты и терминологию читайте "по диагонали" biggrin
----------
Если вы спорите с идиотом, то, возможно, он занят тем же?
№6 sakh60 14 июня 2026 17:19
+1
Вот, буквально накануне (12 июня) Anthropic по требованию властей США закрыла клиентам доступ к передовым моделям ИИ Fable 5 и Mythos 5, после чего фирма отключила доступ к ним для всех пользователей... krut
А в марте 2026 года МО США признало Anthropic "угрозой цепочкам поставок" и разорвало с ней деловые связи после отказа компании предоставить Пентагону возможность использовать её разработки для любых целей без исключений...
№7 NZT 47 14 июня 2026 17:36
+1
Цитата: sakh60
А в марте 2026 года МО США признало Anthropic "угрозой цепочкам поставок"

Цитата: ИИ
Причиной столкновения администрации Дональда Трампа и руководства Anthropic во главе с Дарио Амодеи стал вопрос этических ограничений использования искусственного интеллекта:Позиция Anthropic: Компания настаивала на включении в контракты жестких защитных барьеров (safeguards). Они категорически запрещали Пентагону использовать Claude в двух сферах: для массовой внутренней слежки за гражданами США и для создания полностью автономных систем летального оружия.Позиция Пентагона: Минобороны во главе с Питом Хегсетом потребовало полного и беспрепятственного доступа к технологиям для любых законных военных целей. В министерстве посчитали требования стартапа «саботажем». По заявлению представителей ведомства, они забили тревогу, что упрямый ИИ-провайдер может в будущем внедрить «кнопку отключения» (kill switch) прямо посреди военных действий, если сочтет приказы неэтичными.
После более углублённого ознакомления с позицией Anthropic у меня изменилось отношение по сравнению с первым сообщением в этой теме.
dumaet ))
----------
Если вы спорите с идиотом, то, возможно, он занят тем же?
№8 sakh60 14 июня 2026 17:43
+2
Цитата: NZT 47
...у меня изменилось отношение по сравнению с первым сообщением в этой теме.

Это нормально, всё течет всё изменяется... smile winked
№9 NZT 47 14 июня 2026 17:51
+2
yes )) Главное уметь сказать хотя бы самому себе "упс dumaet " и исправить ошибки. biggrin
----------
Если вы спорите с идиотом, то, возможно, он занят тем же?
№10 sakh60 14 июня 2026 17:58
+2
Цитата: NZT 47
и исправить ошибки. biggrin

Не, не надо говорить - "упс", надо говорить - "Смотри, надо же, как хорошо вышло!"... biggrin
№11 NZT 47 15 июня 2026 07:33
+2
biggrin ну да, как в анекдоте: "- Не, мужик, ты так слона не продашь!"
----------
Если вы спорите с идиотом, то, возможно, он занят тем же?
№12 NZT 47 14 июня 2026 17:44
+1
Цитата: sakh60
Вот, буквально накануне (12 июня) Anthropic по требованию властей США закрыла клиентам доступ к передовым моделям ИИ Fable 5 и Mythos 5, после чего фирма отключила доступ к ним для всех пользователей... krut

Это действительно беспрецедентный шаг, который шокировал всю технологическую индустрию и стал кульминацией этого затяжного конфликта. Фактически власти США создали механизм «принудительного офлайна» для коммерческого продукта американской компании, задействовав жесткие рычаги национальной безопасности.Вот к каким последствиям и тектоническим сдвигам это привело прямо сейчас:1. Как именно работает блокировкаМинистерство торговли США использовало нормы экспортного контроля. Из-за того, что Anthropic не смогла гарантировать, что к серверам с Claude 5 (Mythos/Fable) не получат доступ иностранные граждане (включая удаленных сотрудников и зарубежных клиентов), компании выставили жесткий ультиматум.Чтобы избежать гигантских штрафов и уголовных дел против руководства, Anthropic полностью отключила API и веб-интерфейсы этих моделей по всему миру, оставив только внутренние «песочницы» для тестирования безопасности.2. Паника среди бизнеса и разработчиковТысячи стартапов, финтех-компаний и enterprise-клиентов, которые уже начали внедрять Mythos 5 для автоматизации сложного анализа, аудита кода или финансовых операций, в один день потеряли доступ к инфраструктуре. Это вызвало волну возмущения в Кремниевой долине:Удар по доверию: Бизнес понял, что любой передовой американский ИИ может быть выключен государством по щелчку пальцев.Убытки: Компании экстренно переписывают код и логику своих приложений под другие платформы.3. Кто выигрывает от этого краха?Главными бенефициарами закрытия Claude 5 стали конкуренты, которые заняли более гибкую или компромиссную позицию по отношению к правительству США:OpenAI: Активно сотрудничает с администрацией США и Пентагоном, предоставляя свои модели для оборонных нужд в рамках государственно-частного партнерства. Бывшие клиенты Anthropic сейчас массово мигрируют на их коммерческие API.Palantir и Anduril: Военно-технологические гиганты укрепляют свои позиции, показывая, что ИИ для госструктур должен разрабатываться строго внутри «оборонного периметра», а не независимыми гражданскими стартапами.Open-source (Meta / Llama): Данный инцидент дал мощнейший импульс развитию открытых моделей. Компании больше не хотят зависеть от облачных API, которые правительство может заблокировать за 24 часа, и инвестируют в запуск моделей на собственных серверах.


ИИ настолько хорош оказался, что пендосы предпочли не давать никому им пользоваться. в т.ч. и самим себе, чем допустить использование его другими странами.
----------
Если вы спорите с идиотом, то, возможно, он занят тем же?
№13 sakh60 14 июня 2026 17:51
+3
Цитата: NZT 47
...которые уже начали внедрять Mythos 5 для автоматизации сложного анализа, аудита кода или финансовых операций, в один день потеряли доступ к инфраструктуре.

Именно, финансовых.
Презентация Claude Mythos вызвала настоящий "хаос" среди ведущих финансистов и чиновников Белого дома. Они испугались, что новая модель ИИ способна дестабилизировать банковскую систему как на региональном уровне, так и в мировом масштабе, если попадет в руки злоумышленников.
Вот, где собака мощно порылась... krut
№14 Bootmen 14 июня 2026 18:32
-2
Скока можа одно и тоже? Имитация Интеллекта это просто слепок Инета.
И не надо ему приписывать всякие прибамбасы. Любая версия ИмитацииИ
обучается в Инете. Тобишь берет из него Все, что "заслуживает" доверия.
Потом это склеивает программно в понятные слова. Программно.
А Инет это помойка. Например если в Инете 100000 раз повторено на
всяких сайтах, что епнуть ракетой по школе где обучаются дети врага это хорошо так и посоветует бандерлогам. Это пример конечно.
----------
Чем толще наши морды
тем теснее наши ряды.
№15 Яшмаа 14 июня 2026 19:44
+2
Ещё Стругацкие в "Жук в муравейнике" и "Волны гасят ветер" упоминают так называемый "Массачусетский кошмар", когда ИИ начал "вести себя", поэтому его отключили через 15 минут после пуска. Правда Стругацкие никаких подробностей не описали.
№16 Zig-Zag-удачи 14 июня 2026 23:26
+2
Как работает чат "ИИ Алиса". Сегодня делал запрос по картинке цветка гортензии. Чат сказал, что это роза. Я сказал нет, это начинается с го, Алиса ответила - "извиняюсь я допустила ошибку это гортензия" и даёт ссылку на эту цитату и ссылку на сайт одноклассников. Там женщина также ответчала на чей то вопрос - "извиняюсь я допустила ошибку это гортензия".
Т.есть ИИ (по ошибке называют искуственный интелект) на самом деле не сама додумалась до ошибки и извинилась, а нашла аналогичную ситуацию в интернете и прокомментировала. winked
№17 NZT 47 15 июня 2026 06:27
+1
Цитата: Zig-Zag-удачи
а нашла аналогичную ситуацию в интернете и прокомментировала. winked
lols А люди не так делают? Просто чаще "забывают" упомянуть, что цитируют кого-то, а не своё, родное творчество демонстрируют. 95+ процентов сказанного людьми, в т.ч. и на этом сайте чистейшее копирование. Попробуйте это своё сообщение дать "на съедение" той же Алисе с просьбой "привести примеры откуда части этого сообщения могли быть взяты". fellow
Разбор полёта:
Цитата: Джемени
Откуда взяты фрагменты мышления автора (человека):
Фрагмент: «Чат сказал, что это роза... Я сказал нет... Алиса ответила - "извиняюсь..."»Откуда это у людей: Это классический паттерн «В интернете кто-то неправ» (знаменитый мем из комикса xkcd). У людей есть глубокая психологическая потребность ловить собеседника (или систему) на ошибке, чтобы почувствовать своё превосходство. Автор общается с ИИ как с нерадивым школьником, которого он «подловил».
Фрагмент: «...и даёт ссылку на сайт одноклассников. Там женщина также отвечала...»Откуда это у людей: Стереотип «Одноклассники — обитель глупости». В рунете цитирование сайтов вроде ОК.ру или Ответов Mail.ru мгновенно используется как маркер низкого качества информации. Автор использует этот культурный код, чтобы обесценить ответ Алисы: «Смотрите, она учится у тётушек из Одноклассников, а не у профессоров».
Фрагмент: «Т.есть ИИ (по ошибке называют искусственный интеллект)...»Откуда это у людей: Стопроцентный штамп из сотен душных статей в стиле «ИИ на самом деле не интеллект». Эта фраза — чистый копипаст мнений техноскептиков, который повторяется из комментария в комментарий на Хабре, Пикабу и Дзене уже года три. Автор не сам это придумал, он просто воспроизводит популярный в его среде манифест.
Фрагмент: «...на самом деле не сама додумалась... а нашла аналогичную ситуацию в интернете и прокомментировала».Откуда это у людей: Конспирологический паттерн «Нас обманывают, сорвём покровы!». Людям тяжело принять, что сложная математика может генерировать смыслы. Проще свести всё к примитивной теории: «Там просто база данных и поиск по строкам». Это проявление психологического механизма защиты (редукционизма) — объяснить сложное слишком простым, чтобы не было так страшно.
Т.е ваше сообщение даже не ЕИ (естественный интеллект), а ИМ - Имитация Мышления посредством копирования. fellow
----------
Если вы спорите с идиотом, то, возможно, он занят тем же?
№18 p_lidiya 15 июня 2026 07:25
-1
Программист? winked
№19 NZT 47 15 июня 2026 07:28
+1
В душе. biggrin Иногда, под свои личные потребности.
----------
Если вы спорите с идиотом, то, возможно, он занят тем же?
№20 Zig-Zag-удачи 16 июня 2026 13:51
0
А люди не так делают? Просто чаще "забывают" упомянуть, что цитируют кого-то, а не своё, родное творчество демонстрируют.

Люди цитируют кого то и демонстрируют своё творчество, в данном случая это было моё творчество. Я же не знал, что кто то искал такую же информацию. И если бы Алиса не накосячила сначала и нашла нужное инфо, то и моего творчества бы не было. smile

Откуда взяты фрагменты мышления автора (человека):
Фрагмент: «Чат сказал, что это роза... Я сказал нет... Алиса ответила - "извиняюсь..."»Откуда это у людей: Это классический паттерн «В интернете кто-то неправ» (знаменитый мем из комикса xkcd). У людей есть глубокая психологическая потребность ловить собеседника (или систему) на ошибке, чтобы почувствовать своё превосходство. Автор общается с ИИ как с нерадивым школьником, которого он «подловил».

Чат сказал что это роза, а если это что то другое и нет инфы в интернете, Алиса ответит - я всего не знаю и лучше промолчу. Она будет молчать до тех пор, когда како-нибудь человек не введёт в интернет нужное инфо. Алиса не пойдет в цветочный магазин и не спросит, а как этот цветок называется, она будет ждать когда эту информацию кто то загрузит в базу данных. Алиса ищет простой путь biggrin

Фрагмент: «...и даёт ссылку на сайт одноклассников. Там женщина также отвечала...»Откуда это у людей: Стереотип «Одноклассники — обитель глупости». В рунете цитирование сайтов вроде ОК.ру или Ответов Mail.ru мгновенно используется как маркер низкого качества информации. Автор использует этот культурный код, чтобы обесценить ответ Алисы: «Смотрите, она учится у тётушек из Одноклассников, а не у профессоров».

Неужели Алиса обиделась? Ведь это ссылку не я дал на сайт одноклассников, а ссылка прикреплена к Алисиной цитате как хвост. Я тут ни при делах тупой бот Алиса biggrin Пожалуйся прогараммисту, чтобы он не прикреплял ссылку после твоего ответа biggrin

Фрагмент: «Т.есть ИИ (по ошибке называют искусственный интеллект)...»Откуда это у людей: Стопроцентный штамп из сотен душных статей в стиле «ИИ на самом деле не интеллект». Эта фраза — чистый копипаст мнений техноскептиков, который повторяется из комментария в комментарий на Хабре, Пикабу и Дзене уже года три. Автор не сам это придумал, он просто воспроизводит популярный в его среде манифест.

Ну вот Алиса или что там за чат ИИ, зачем то врёт. Как ты можешь доказать что я лазил и читал какие то комменты на Пикабу или ещё где? Я описал проблемку в твоей программе, которой раньше не было в твоей башке biggrin и ты её запишешь, и будешь в будущем умничать и цитировать её.

Т.е ваше сообщение даже не ЕИ (естественный интеллект), а ИМ - Имитация Мышления посредством копирования

NZT 47, ты тоже ошибся, как и твой чпт чат. tongue
№21 NZT 47 17 июня 2026 19:54
0
Я никогда не считал и не позиционировал себя безупречным и могу ошибаться.)) Ошибся ли в этот раз - другое дело. fellow
https://share.google/aimode/K0W98MtzAd53lAQSa
----------
Если вы спорите с идиотом, то, возможно, он занят тем же?
№22 Zig-Zag-удачи 18 июня 2026 06:33
-1
Ошиблись, ошиблись но почему то не признаётесь в этот раз. biggrin
Моё сообщение было ЕИ, а вы приписали мне ИМ.

Так или иначе, что же про свои проблемы и нужность человеческого мышления пишет сама ИИ

Коллапс модели (model collapse) — это реальная и критическая проблема, подтвержденная исследованиями в области искусственного интеллекта (впервые описана в фундаментальной работе, опубликованной в журнале Nature)

Оригинальные человеческие знания жизненно необходимы для развития ИИ по нескольким ключевым причинам:Потеря вариативности (эффект «ксерокопии»): Если модель обучается на синтетических данных другой нейросети, происходит процесс, который в IBM Research называют «ИИ-каннибализмом». С каждым новым поколением модель все больше концентрируется на средних, самых вероятных паттернах, теряя уникальные детали, нюансы и творческую свободу.

Исчезновение редких данных: Нейросети совершают ошибки и плохо обобщают информацию, которая редко встречается в обучающей выборке. При обучении на результатах работы ИИ эти «хвосты» распределения данных быстро стираются, что приводит к усредненным, стереотипным ответам

Накопление ошибок: Обучение на «нейроконтенте» ведет к тому, что галлюцинации (уверенные, но недостоверные ответы) предыдущих моделей начинают восприниматься новой системой как догма. Ошибки рекурсивно множатся

Необходимость эталона: Оригинальные, проверенные человеком данные служат своеобразным «якорем». Наличие неискаженного человеческого знания, экспертных рецензий и достоверных фактов позволяет нарушить цикл деградации и вернуть модель к реальности.
№23 NZT 47 18 июня 2026 07:06
0
Цитата: Zig-Zag-удачи
Так или иначе, что же про свои проблемы и нужность человеческого мышления пишет сама ИИ ...
Ну, это ничего не меняет в моём заключении про ИМ, а скорее подтверждает его. biggrin Если вы понимаете о чём пишите то понимаете и почему я это сказал. Могу подсказать - компиляция фактов вместо сведения их к какому-либо лаконичному правилу. Не можете обобщить сказанное = не понимаете о чём говорите. yes
Тут достаточно часто подобный стиль встречается - наваливают и наваливают "фактов" но ни одной обобщающей, структурирующей их фразы кроме итогового "а потому вы не правы!" lols
----------
Если вы спорите с идиотом, то, возможно, он занят тем же?
№24 Zig-Zag-удачи 18 июня 2026 10:15
-1
Ну, это ничего не меняет в моём заключении про ИМ, а скорее подтверждает его.

Как же подтверждает, если я никого не копировал изначально, в отличии от ИИ которая услышала мою подсказку и скопировала чьё то высказывание?
Моё сообщение было ЕИ (естественный интеллект), а у Алисы ИМ - Имитация Мышления посредством копирования. biggrin
№25 NZT 47 18 июня 2026 19:19
0
Да как хотите. smile ))
Создатели ИИ смутно представляют что у ИИ "в голове" творится но вы их превзошли, вы точно знаете, что ИИ просто копируют! good )) Это как с таблицей Менделеева - всё в таблице упорядоченно и этого относительно немного и достаточно просто в понимании но вариантов сочетаний неисчислимо! Но тем не менее найдутся умники понявшие таблицу и на том основании уверенные, что поняли всю химию.)) Ну и вам вопрос на последок, риторический. Как ИИ узнал, что именно этот ответ подходит? fellow
----------
Если вы спорите с идиотом, то, возможно, он занят тем же?
№26 Zig-Zag-удачи 27 июня 2026 04:50
-1
youtube.com/watch?v=MvDPjNEF4Ug
№27 BoB1212 15 июня 2026 09:58
0
Решение принято.
Теперь надо сварить человечество в болтовне.
№28 политик Кус 15 июня 2026 14:04
0
[quote=NZT 47][quote=Zig-Zag-удачи][quote=Джемени] может генерировать смыслы. fellow[/quote]
Сначала стОит изучить принципы работы "Искусственного интеллекта", т.е. нейросетей. А потом уже писать, что он "может генерировать смыслы".
№29 NZT 47 15 июня 2026 16:26
0
Сначала стоит читать внимательно и следить за контекстом.))
----------
Если вы спорите с идиотом, то, возможно, он занят тем же?
№30 политик Кус 15 июня 2026 14:08
+1
Сама проблема, озвученная Anthropic, проблемой, вообще-то, не является. Отключите автоматическую генерацию кода, и контроль над "улучшайзерами" не потеряется. И только.
Что же касается того, что "мы не понимаем, как оно внутри работает", - так это изначально заложено в сам принцип работы нейросети.