Суд над роботами и прочие ужасы

Источник: livejournal · vk

Когда роботов начнут таскать по судам? Кажется, что это глупый вопрос, так как по судам таскают владельцев, разработчиков, операторов разных машин, но не сами машины.

Помню, еще в университете нас с пафосным видом учили, что никакая экспертная система не может принимать решения, так как она не может за них отвечать, а решения принимает только человек, который ей пользуется.

Ошибочность данной идеи стала понятна мне только по прошествии времени, когда я начал читать Бира и он подсветил, что реальное решение принимают экспертные штабы, а не те, кому на подпись отдаются эти решения. Действительно, если руководитель не способен разобраться сам досконально в каком-то вопросе, то даже утвержденное им решение на самом деле не было принято им самим в полной мере (а если он способен, то это значит, что работа штаба полностью бесполезна). Именно поэтому всякие аналитические и рекомендательные службы — это не нейтральные агенты, а вполне себе активные порождающие решение участники — просто порождающие их в голове "Лица, Принимающего Решение".

Но эту логику мы должны перенести и на автоматизированные системы, и на поведение кибернетических агентов. В любом происшествии причинность включает и действия оператора, и действия алгоритмов, и возможности техники.

Но ведь технику разрабатывают компании, и ответственность за качество ее работы и безопасность несут они. Зачем же говорить о том, что роботы (автопилоты, AI-агенты...) попадут под суд, когда попадут их разработчики? Кто сделал, то и виноват, не так ли?

Для этого надо понять, а зачем вообще нужен суд. Результатом работы суда является степень вины всех агентов в негативных последствиях. Эта степень вины используется, например, для установления источника возмещения ущерба пострадавшим: кто виноват, тот и возмещает.

Но ведь робот или автопилот не может возместить ущерб! Хотя... если автопарк такси создаст страховой фонд, куда будет отчислен процент с каждого выполненного заказа, то возмещать ущерб, нанесенный автопилотом этого автопарка, можно из собранного фонда.

Однако это не единственная функция: в конце концов, смерть человека необратима, и не все можно возместить деньгами. Еще одна функция — это наказание. А зачем оно нужно? Для обучения системы — для корректировки поведения конкретного лица или других лиц в обществе. Угроза наказания создает стимулы избегать решений, причиняющих ущерб другим, то есть обучает социальную систему.

А разве искусственную систему обучать не надо?! Еще как надо! Ей тоже нужно корректировать свое поведение. Если мы рассмотрим эволюционное самообучение управляющей системы беспилотного таксопарка, то ей в качестве обучающего сигнала должна поступать информация с оценкой ее решений. Иными словами, нам необходимо определять степень вины автопилота в конкретном происшествии, чтобы принимать решение о необходимости корректировки его поведения. Например, максимизация размера фонда возмещения может выступать целевой функцией для такого подкрепления.

Итак, если у нас появятся самообучающиеся парки беспилотных машин, то они могут зарабатывать на фонд возмещения ущерба, могут обучаться через подкрепление за минимизацию расходов из этого фонда, но для этого им необходимо будет полноценное участие в суде для определения степени вины. Конечно, это участие будет возможно только при наличии механизмов объяснения причин принятия своих решений, то есть блока reasoning, над которыми давно работают разработчики нейросетей. Суды над роботами будут нужны не по социальным, а по вполне производственным причинам — просто пока они проводятся в неявном виде внутри компаний-разработчиков.

Но раз уж мы заговорили об агентных алгоритмах, то поговорим немного и о рисках, а то у некоторых может сложиться впечатление, что неизбежность коммунизма не оставляет никаких вариантов для построения антиутопии.

А ведь агентность нейросетей сама по себе является жизненной угрозой. Например, когда я писал про целевую функцию планирования распределения ресурсов и мощностей в экономике, максимизирующую производственный "фитнес" всей системы (то есть готовность к производству нового целевого заказа с любыми вероятными изменениями), я по сути ввел в оборот такого агента: самообучающуюся нейросеть, состоящую из экономических агентов, с памятью в форме состояния текущих мощностей, запасов ресурсов и производственных связей, и занимающуюся эволюцией в соответствии с заданным правилом.

Свойством этого агента будет саморазвитие путем преобразования природы в целях воспроизводства себя и повышения своей способности к воспроизводству. Какой бы alignment мы для него ни придумали, по сути мы получаем нового агента с конкурирующими за ресурсы с человечеством потребностями. Человек полагается на экзотело — на вторую, искусственную природу, и потому воспроизводство и расширение этой природы является для него необходимым; но не наоборот — человек этой системе для самовоспроизводства не нужен. Несложно предположить, к чему неизбежно приведет такое развитие.

Впрочем, мы можем не поручать оптимизацию никаким алгоритмам. Мы можем поручить ее самим людям — через систему частной собственности. Пусть все изначально обладают равными правами на потребление ресурсов и производственных мощностей всего общества; но каждый волен употребить свои права на производство как продуктов собственного потребления, так и на новых производственных мощностей. Если тебе не хватает той доли, что досталась от общества, просто употреби ее на расширение возможностей — это же единственный способ расширить пространство для удовлетворения своих потребностей.

Конечно, человек, тратящий свои права на создание вместо предметов личного потребления верфи для космических кораблей, дополнительной атомной электростанции или нового специализированного производственного комплекса, сам захочет распоряжаться, кому давать доступ к созданным "за его счет" мощностям. А давать другим этот доступ он будет прямо заинтересован, так как в одиночку, в соответствии с собственной долей прав на природные ресурсы, ему будет тяжеловато обеспечить его работоспособность и эффективность — да и другим удобнее пользоваться уже созданным, чем повторно тратить ресурсы и время на создание того же самого, то есть такой доступ возникнет к взаимной выгоде.

В рамках частной собственности на созданные производственные мощности он будет заинтересован и "отбить" ранее сделанные вложения, и расширить свое право на ресурсы и мощности человечества: значит, предлагать доступ он будет с учетом этой "наценки". Однако те, кто этим предложением воспользуются, смогут производить товары собственного потребления, но им уже будет сложнее произвести новые средства производства, так как их доля на ресурсы и мощности несколько сократится.

Таким образом, система частной собственности даже без эксплуатации стихийно превратится в один большой сепаратор, где одни будут наращивать свое право собственности на ресурсы и средства производства, а доля других будет стремиться только к размеру, достаточному для производства конечных продуктов потребления, безо всякого запаса, дающего возможности ее расширить и обзавестись своими средствами производства.

В итоге мы получим ту же динамику: того же экономического агента, только существующего не "вне" людей и не "в компьютере", а напрямую через них, в социальных отношениях, подчиняя их потребности своим, реализуя свой рост через постепенное продолжающееся отчуждение человечества от средств производства... ведь если "кормление" человека (удовлетворение его потребностей) становится бесполезным для развития производительных сил, то эффективность такого развития требует кормления его в минимально возможных объемах.

Итак, вместо утопии, в которой каждый человек является распорядителем части производственных мощностей всего человечества для преобразования природы в собственных и общественных целях, очень велика вероятность оказаться в одной из антиутопий: либо "на попечении" (или вернее сказать милости) производственных искусственных агентов, занимающихся развитием производительных сил помимо человека, либо в тисках стихии частной собственности, при которой большая часть населения не производит ничего за пределами продуктов для удовлетворения собственных индивидуальных потребностей, а другая, мизерная элита, распоряжается всеми производственными мощностями и природными ресурсами в псевдо-собственных частных интересах, которые ей навязаны в экономической форме потребностей в самовозрастании этих производственных мощностей.

И та и другая антиутопия куда страшнее даже существующего капитализма, который вынужден кормить, содержать и развивать трудящегося, выступающего необходимой частью производительной силы.

Ну что, стихийно двинемся в темное будущее? Или все-таки вытащим голову из земли и займемся строительством светлого?