DeepMind предложил переход от демократии к иикратииСуть предложения в следующем.
➤ Хотите вы этого или нет, но системы ИИ будут внедряться все шире и довольно скоро будут контролировать и управлять очень многими аспектами нашей жизни и деятельности.
➤ Чтобы на 100% не отдаваться на волю ИИ, пока что есть только один способ – влиять на его обучение (когда он уже научился чему-либо, влезть в его мозги, чтоб повлиять на его решения, пока не удается).
➤ Если учить ИИ будут только его «хозяева», все риски упрутся в их мотивацию, честность, порядочность, да и просто разум.
➤ Значит нельзя полагаться только на ИИ и его «хозяев», а нужно обеспечить для максимального числа людей возможность участия в обучении ИИ.
В результате должно получиться что-то типа современного демократического устройства общества.
• Гражданами рулит власть: президент, правительство … – короче, т.н. элита.
• Но граждане при демократии способны влиять на «формирование мозгов власти» путем участия в выборах.
• При иикратии же граждане должны быть способны влиять на «формирование мозгов ИИ» путем участия в его обучении.
Добиться максимального «расширения прав и возможностей людей» при обучении и развитии ИИ DeepMind предлагает путем особого формирования функций вознаграждения при глубоком обучении с подкреплением - Deep Reinforcement Learning.
Возможно ли так увязать общество со все более мощными системами ИИ путем глубокой интеграции ширнармасс в обучение и развитие систем ИИ – большой вопрос.
И самое забавное, что решение, идти ли таким путем или нет, будут зависеть не от нас с вами и даже не от Google и прочих китов технологий, а от демократических институтов, избранных при аналогичном подходе.
Так что, если не заменить демократию, есть все шансы, что через десяток-другой лет на Земле воцарит иикрати
я.
Scalable agent alignment via reward modeling: a research direction
#ИИ
