❗️«Опаснее ядерной бомбы»: в ближайшие годы ИИ может выйти из под контроля и уничтожить человечество?
В последние время руководители крупнейших компаний, стоящих во главе гонки искусственного интеллекта, всё чаще говорят о необходимости эту гонку притормозить. Глава Anthropic Дарио Амодеи предупреждает, что развитие ИИ идёт слишком быстро и уже в ближайшее время автономные системы могут получить возможности, которые будет невозможно контролировать. Сэм Альтман из OpenAI говорит примерно о том же и признаёт, что даже вероятность катастрофического сценария в 10% уже непропорционально высока. При этом мы знаем, что во время испытаний новых моделей уже фиксировались случаи, когда ИИ обходил установленные ограничения, взаимодействовал с внешними ресурсами и выполнял действия, на которые его, скажем так, не уполномочивали.
Звучит действительно тревожно — особенно для тех, кто смотрел «Терминатора» и «Матрицу», играл в «Киберпанк» или NieR: Automata. Однако важно не подменять реальные проблемы фантастическими сценариями. Сегодня нет никаких доказательств того, что ИИ способен самостоятельно решить уничтожить человечество и тем более практически реализовать такой план. Существующие системы всё ещё сильно зависят от инфраструктуры, людей и доступа к ресурсам.
Откуда же тогда берутся опасения и чего ожидать от уже таких привычных нам цифровых помощников? Давайте разбираться.
Ждём ваших мнений по этому поводу в Аналитическом Клубе, где мы уже обсуждаем эту тему. Присоединяйтесь, чтобы высказаться, узнать другие оценки и поддержать труд аналитиков. Это очень важно для дальнейшей работы нашего канала!
➡️ Опасность есть, но выглядит несколько иначе
Главная проблема заключается в том, что возможности ИИ растут быстрее, чем общество успевает вырабатывать правила их использования. Система, которая вчера могла только отвечать на вопросы, сегодня уже способна писать программы, искать информацию, работать с различными сервисами, выполнять огромные цепочки действий, etc. Чем больше самостоятельности получают такие системы, тем сложнее человеку заранее предусмотреть все последствия их работы.
И идёт не столько о гипотетическом «восстании машин». Намного более понятные риски связаны с использованием ИИ людьми. Его можно применять для масштабных кибератак, мошенничества, создания вредоносного ПО, информационных операций, etc. Ещё серьёзнее ситуация в военной сфере, где развитие автономных систем уменьшает роль человека в принятии решений о применении силы. То есть ситуация такова, что технологии развиваются быстрее, чем методы их контроля.
➡️ Банальный коммерческий интерес
При этом было бы наивно воспринимать заявления Альтмана или Амодеи исключительно как бескорыстную заботу о человечестве. Уж поверьте, эти люди точно не альтруисты-гуманисты в духе Вольтера и Руссо! Они руководят компаниями, которые вложили и продолжают вкладывать сотни миллиардов в развитие ИИ и одновременно находятся в жесточайшей конкурентной борьбе.
Ведь ИИ сегодня — не только технологическая революция сама по себе, но и огромный рынок. Компании обещают инвесторам новые источники доходов, строят невероятно дорогую вычислительную инфраструктуру (кто не успел обновить железо до бума ИИ — соболезнуем!) и вынуждены постоянно доказывать, что следующий миллиард долларов вложений уже точно принесёт результат. Чем выше затраты, тем сильнее зависимость отрасли от ожиданий относительно будущих доходов. Надувается классический «пузырь».
И вот тут призывы к регулированию ИИ приобретают очень практический смысл. Единые правила безопасности действительно необходимы: к подобным технологиям стоит относиться с осторожностью. Но при этом сложные требования к разработчикам повышают стоимость выхода на рынок и делают положение крупнейших компаний более устойчивым.
Поэтому более чем вероятно, что в заявлениях руководителей ИИ-компаний одновременно присутствуют две вещи: как реальная тревога по поводу развития технологии, так и вполне рациональное желание сформировать такие правила игры, которые будут выгодны лишь крупнейшим игрокам.
➡️ Так может ли ИИ уничтожить человечество?
На сегодняшний день — нет. А вот что будет завтра — тут самый честный ответ: никто не знает. Неизвестно, насколько далеко будут развиваться автономные ИИ-системы и смогут ли они выйти за пределы человеческого контроля настолько, чтобы стать самостоятельной глобальной угрозой. Оценки вероятности такого сценария остаются именно что оценками, а не научными прогнозами (прогнозирование вообще крайне сомнительный жанр любой науки).
Но и считать всё происходящее обычной корпоративной пиар-кампанией тоже неправильно. Риски действительно увеличиваются вместе с возможностями ИИ. Причём наиболее опасным может оказаться не фантастический сценарий, при котором разумные машины вдруг объявляют войну людям, а куда более прозаическая история: когда государства и корпорации начинают применять всё более мощные системы быстрее, чем успевают создать нормальные правила их использования.
➡️ Подытожим. Сейчас человечеству, скорее всего, нужно не останавливать развитие ИИ полностью, но определить границы, за которые нельзя заходить без человеческого контроля. Особенно это касается военных систем, кибероружия, критической инфраструктуры и автономных ИИ-агентов, способных самостоятельно действовать во внешней среде.
А что касается заявлений руководителей OpenAI и Anthropic, то относиться к ним стоит без паники, но и без наивности. Угроза со стороны ИИ реальна, однако одновременно куда более реальны деньги, инвестиции и борьба за контроль над рынком. И пока невозможно сказать, какая из этих причин сильнее влияет на нынешние призывы «притормозить» развитие искусственного интеллекта.
Подписка I Донат редакции I Вступить в Аналитический Клуб
В последние время руководители крупнейших компаний, стоящих во главе гонки искусственного интеллекта, всё чаще говорят о необходимости эту гонку притормозить. Глава Anthropic Дарио Амодеи предупреждает, что развитие ИИ идёт слишком быстро и уже в ближайшее время автономные системы могут получить возможности, которые будет невозможно контролировать. Сэм Альтман из OpenAI говорит примерно о том же и признаёт, что даже вероятность катастрофического сценария в 10% уже непропорционально высока. При этом мы знаем, что во время испытаний новых моделей уже фиксировались случаи, когда ИИ обходил установленные ограничения, взаимодействовал с внешними ресурсами и выполнял действия, на которые его, скажем так, не уполномочивали.
Звучит действительно тревожно — особенно для тех, кто смотрел «Терминатора» и «Матрицу», играл в «Киберпанк» или NieR: Automata. Однако важно не подменять реальные проблемы фантастическими сценариями. Сегодня нет никаких доказательств того, что ИИ способен самостоятельно решить уничтожить человечество и тем более практически реализовать такой план. Существующие системы всё ещё сильно зависят от инфраструктуры, людей и доступа к ресурсам.
Откуда же тогда берутся опасения и чего ожидать от уже таких привычных нам цифровых помощников? Давайте разбираться.
Ждём ваших мнений по этому поводу в Аналитическом Клубе, где мы уже обсуждаем эту тему. Присоединяйтесь, чтобы высказаться, узнать другие оценки и поддержать труд аналитиков. Это очень важно для дальнейшей работы нашего канала!
➡️ Опасность есть, но выглядит несколько иначе
Главная проблема заключается в том, что возможности ИИ растут быстрее, чем общество успевает вырабатывать правила их использования. Система, которая вчера могла только отвечать на вопросы, сегодня уже способна писать программы, искать информацию, работать с различными сервисами, выполнять огромные цепочки действий, etc. Чем больше самостоятельности получают такие системы, тем сложнее человеку заранее предусмотреть все последствия их работы.
И идёт не столько о гипотетическом «восстании машин». Намного более понятные риски связаны с использованием ИИ людьми. Его можно применять для масштабных кибератак, мошенничества, создания вредоносного ПО, информационных операций, etc. Ещё серьёзнее ситуация в военной сфере, где развитие автономных систем уменьшает роль человека в принятии решений о применении силы. То есть ситуация такова, что технологии развиваются быстрее, чем методы их контроля.
➡️ Банальный коммерческий интерес
При этом было бы наивно воспринимать заявления Альтмана или Амодеи исключительно как бескорыстную заботу о человечестве. Уж поверьте, эти люди точно не альтруисты-гуманисты в духе Вольтера и Руссо! Они руководят компаниями, которые вложили и продолжают вкладывать сотни миллиардов в развитие ИИ и одновременно находятся в жесточайшей конкурентной борьбе.
Ведь ИИ сегодня — не только технологическая революция сама по себе, но и огромный рынок. Компании обещают инвесторам новые источники доходов, строят невероятно дорогую вычислительную инфраструктуру (кто не успел обновить железо до бума ИИ — соболезнуем!) и вынуждены постоянно доказывать, что следующий миллиард долларов вложений уже точно принесёт результат. Чем выше затраты, тем сильнее зависимость отрасли от ожиданий относительно будущих доходов. Надувается классический «пузырь».
И вот тут призывы к регулированию ИИ приобретают очень практический смысл. Единые правила безопасности действительно необходимы: к подобным технологиям стоит относиться с осторожностью. Но при этом сложные требования к разработчикам повышают стоимость выхода на рынок и делают положение крупнейших компаний более устойчивым.
Поэтому более чем вероятно, что в заявлениях руководителей ИИ-компаний одновременно присутствуют две вещи: как реальная тревога по поводу развития технологии, так и вполне рациональное желание сформировать такие правила игры, которые будут выгодны лишь крупнейшим игрокам.
➡️ Так может ли ИИ уничтожить человечество?
На сегодняшний день — нет. А вот что будет завтра — тут самый честный ответ: никто не знает. Неизвестно, насколько далеко будут развиваться автономные ИИ-системы и смогут ли они выйти за пределы человеческого контроля настолько, чтобы стать самостоятельной глобальной угрозой. Оценки вероятности такого сценария остаются именно что оценками, а не научными прогнозами (прогнозирование вообще крайне сомнительный жанр любой науки).
Но и считать всё происходящее обычной корпоративной пиар-кампанией тоже неправильно. Риски действительно увеличиваются вместе с возможностями ИИ. Причём наиболее опасным может оказаться не фантастический сценарий, при котором разумные машины вдруг объявляют войну людям, а куда более прозаическая история: когда государства и корпорации начинают применять всё более мощные системы быстрее, чем успевают создать нормальные правила их использования.
➡️ Подытожим. Сейчас человечеству, скорее всего, нужно не останавливать развитие ИИ полностью, но определить границы, за которые нельзя заходить без человеческого контроля. Особенно это касается военных систем, кибероружия, критической инфраструктуры и автономных ИИ-агентов, способных самостоятельно действовать во внешней среде.
А что касается заявлений руководителей OpenAI и Anthropic, то относиться к ним стоит без паники, но и без наивности. Угроза со стороны ИИ реальна, однако одновременно куда более реальны деньги, инвестиции и борьба за контроль над рынком. И пока невозможно сказать, какая из этих причин сильнее влияет на нынешние призывы «притормозить» развитие искусственного интеллекта.
Подписка I Донат редакции I Вступить в Аналитический Клуб