амебы со сверхинтеллектом
Источник: livejournal · vk
Похоже, инопланетяне к нам не вторгнутся, чтобы примирить враждующие нации и сплотить человечество в борьбе за свое спасение.
Зато тут по наводке от Сергея Маркова подоспела прекрасная статья о перспективах человечества погибнуть в ближайшее время благодаря созданию универсального искусственного интеллекта.
Перескажу несколько тезисов статьи:
1. Еще пару десятков лет назад предсказания о возможности создания AGI относили это событие к 2090-2200 годам. Однако предсказание получения AI с теми же возможностями, которые сейчас демонстрируют трансформеры класса GTP-3, относились примерно к тому же горизонту.
-
Текущие достигнутые результаты невероятно превосходят все сделанные ранее оценки. При этом сами оценки не имели достаточного строгого обоснования и содержали скорее "разделяемые сообществом" цифры, что ставит под сомнение и те оценки, которые озвучиваются сегодня.
-
Нет никаких признаков, что прогресс в области ML выходит на плато. И объем вычислительных мощностей, и их производительность, и технологии, и демонстрируемые результаты, и спрос — все компоненты продолжают расти, и общий прогресс идет со скоростью, полученной путем перемножения коэффициентов их роста.
-
При этом мы наблюдаем принципиальные, качественные сдвиги в возможностях нейросетей даже при экстенсивном росте, при том что мы стоит только в самом начале пути по их оптимизации, то есть интенсификации.
-
Нет разумных аргументов, которые бы свидетельствовали бы о том, что сохранение порядкового роста мощностей нейросетей специализированных ИИ не приведет к созданию универсального ИИ, демонстрирующего сверхчеловеческие способности решения задач в произвольных областях (даже оставляя за кадром такие сложные вопросы, как самосознание, квалиа или чувства ИИ).
-
Вероятность того, что появление универсального ИИ станет фатальным для человечества, прямо зависит от горизонта времени, к которому мы относим его появление: чем раньше, тем выше угроза.
-
Во многом недооценка опасности происходит из отнесенных далеко во времени прогнозов его появления; если же представить, что он уже "за углом", то многие эксперты пересмотрят оценки риска в большую сторону.
Что ж, независимо от того, насколько я согласен с автором, не могу не заметить, что, похоже, нам для полного счастья сейчас не достает именно такого джинна, который может очень хорошо исполнять наши собственные желания, иногда слишком хорошо, чтобы мы могли этот процесс контролировать...
Ведь мы надеемся, что прогресс будет работать так:
- AGI повысит эффективность использования ресурсов и остановит глобальное потепление;
- AGI сделает доступными персонализированное образование и медицину;
- AGI снизит трудоемкость работ и освободившиеся люди сделают много в других отраслях;
- AGI снизит цены товаров и поднимет общий уровень жизни;
- AGI остановит войны и установит мир на планете.
... или все-таки нет?