ИИ будущего: сооснователь Anthropic о «рекурсивном самосовершенствовании» искусственного интеллекта

Представьте себе технологию, способную улучшать саму себя. Именно такую перспективу развития искусственного интеллекта (ИИ) предвидит один из сооснователей компании Anthropic. В то время как Anthropic активно наращивает вычислительные мощности своей платформы (в том числе благодаря сотрудничеству со SpaceX в области ИИ), она также стремится управлять потенциальной угрозой слишком мощного ИИ. В новом отчете Института Anthropic представлена концепция «рекурсивного самосовершенствования» — идея, которая звучит весьма тревожно.

Институт Anthropic и его миссия

Несколько месяцев назад Anthropic запустила свой институт, поставив перед собой цель «противостоять наиболее значительным вызовам, которые мощный ИИ поставит перед нашими обществами». Как компания, разработавшая модель Mythos, способную выявлять скрытые уязвимости практически в любой системе, Anthropic, вероятно, посчитала своим долгом опередить потенциальные риски. Теперь компания более откровенна в своих прогнозах и предупреждениях, стремясь привлечь внимание общества к возможному тревожному будущему ИИ.

Согласно первоначальному сообщению Axios, новый документ, опубликованный 7 мая, озаглавлен «Приоритетные направления Института Anthropic». Как следует из названия, он представляет собой детальное рассмотрение ключевых областей исследований института, а также его видение развития событий в сфере ИИ.

Основные направления исследований:

• Экономическое распространение ИИ
• Угрозы и устойчивость систем ИИ
• Использование ИИ-систем в реальных условиях
• Исследования и разработки, управляемые ИИ (AI-driven R&D)

Цель института — изучить реальное влияние ИИ на эти области и предложить рекомендации по предотвращению наихудших сценариев.

Рекурсивное самосовершенствование: взгляд в 2028 год

В документе особое внимание уделяется разделу «ИИ для ИИ: исследования и разработки», который сам по себе заставляет задуматься. В нем поднимаются следующие вопросы:

«Как мы можем измерять общую скорость исследований и разработок в области ИИ? Какие виды телеметрии и базовых технических возможностей должны существовать для сбора этой информации? Как показатели, связанные с R&D ИИ, могут служить ранними предупреждающими сигналами о рекурсивном самосовершенствовании?»

Термин «рекурсивное самосовершенствование» может быть незнаком многим, однако сооснователь Anthropic Джек Кларк в интервью Axios прояснил его суть. По его прогнозам, к концу 2028 года «вероятность появления системы ИИ, которой можно будет сказать: ‘Создай лучшую версию себя’, и она сделает это полностью автономно, более чем высока».

Именно это и означает рекурсивное самосовершенствование: ИИ, достаточно умный, чтобы полностью понять себя, осознать свои сильные и слабые стороны, а затем написать новый код — своего рода собственную копию, но с корректировками для улучшения каждой слабости и, возможно, добавления новых функций, которые он сам недавно «захотел» бы иметь.

Искусственный интеллект: путь к самосовершенствованию

Эта идея вызывает беспокойство и невольно напоминает образ Уробороса — древний символ змеи, пожирающей свой собственный хвост. Для змеи это, вероятно, увлекательное зрелище, не осознающей пагубность своих действий.

Возникает вопрос, как система, созданная людьми (возможно, с помощью инструментов ИИ), сможет создать лучшую версию себя. Она может преследовать собственные интересы, которые не будут соответствовать человеческим, и ее решения могут не дотягивать до многолетнего опыта человеческого программиста. Как она сможет избежать случайного внедрения фундаментального изъяна, который будет так скрыт кодом ИИ, что ни один человек не сможет его обнаружить? Что, если ее внутренний код введет «режим самосохранения», при котором будет невозможно уничтожить или отключить ИИ? Последствия могут быть крайне серьезными.

Остальная часть документа Anthropic посвящена, среди прочего, способам избежать «рекурсивного самосовершенствования» и мерам реагирования на чрезвычайные ситуации с ИИ, вызванные «взрывным ростом интеллекта» (внезапным и быстрым увеличением интеллектуальных способностей ИИ).

Отрадно, что Anthropic обдумывает все возможные негативные сценарии развития ИИ и пытается сформулировать если не конкретные планы, то хотя бы общий консенсус о том, как предотвратить или опередить эти ситуации. Однако реальность такова, что Anthropic — лишь одна из «опор» массивного стола ИИ, который поддерживают также OpenAI, Grok, Gemini, Copilot и другие. Этот стол шаток, потому что его «ножки» разной длины. Каждая развивается в своем собственном бешеном темпе, и ни одна из них не проявляет такого же интереса к «здоровью» всего стола, как к тому, чтобы иметь самую длинную «ножку» — ту, вокруг которой змея может обернуться, пожирая собственный хвост.

Твитнуть