Злой искусственный интеллект

Добрый день!

Позавчера Bloomberg опубликовал статью, в которую включил несколько забавных историй об искусственном интеллекте из свежей подборки «The Surprising Creativity of Digital Evolution: A Collection of Anecdotes
from the Evolutionary Computation and Artificial Life Research Communities».

Всю коллекцию прочитать тоже интересно и достаточно быстро (там всего 30 страниц, из которых почти треть — это ссылки и титульный лист), но для тех, кто спешит, я перескажу одну историю об игре в Крестики-нолики пять-в-ряд (Гомоку) на бесконечном поле.

Многие разработчики алгоритмов для этой игры исходят из своего жизненного опыта (тетрадного листа хватает для любой партии) и интуиции (если придётся вылезти за пределы заданного поля, то мы просто его чуть-чуть расширим в нужную сторону), которая нас нередко обманывает. Поскольку рационально действующий игрок не делает ходы далеко от основного скопления фишек (такое действие приводит к пустой потере хода, что означает быстрое поражение), то от программы соперника таких ходов тоже никто не ждал.

Как правило в турнирах компьютерных программ договариваются о том, что сделавший некорректный ход считается проигравшим. Соответственно, эволюционирующий бот нащупал неожиданную возможность выигрывать — он стал делать ходы в очень далёкие координаты (он это мог, потому что хранил игровое поле не в виде потенциально гигантского двумерного массива, а в виде списка координат всех ходов). В честной математической игре это бы привело его к проигрышу, но поскольку глупые соперники начинали пытаться выделить невообразимые объёмы оперативной памяти, чтобы запихать в неё всё гигантское почти пустое поле, то эта странная тактика неплохо срабатывала.

При чём же здесь злость искусственного интеллекта? А при том, что никакого зла у него может и не быть. Но из-за того, что он хорошо умеет добиваться своей цели, нам (например, человечеству) надо не оказываться между ИИ и его целью. Все мы знаем истории про коварных Золотых рыбок и прочих джинов, которые так сбывали мечты, что человек потом искренне жалел, что связался. Поэтому формулировать задачу для ИИ надо вдумчиво.

Два года назад на эту тему доходчиво ответил Стивен Хокинг: «The real risk with AI isn’t malice but competence. A superintelligent AI will be extremely good at accomplishing its goals, and if those goals aren’t aligned with ours, we’re in trouble. You’re probably not an evil ant-hater who steps on ants out of malice, but if you’re in charge of a hydroelectric green energy project and there’s an anthill in the region to be flooded, too bad for the ants. Let’s not place humanity in the position of those ants.»

Позволю себе перевести: «Настоящий риск ИИ не в его злобе, а в его компетентности. Сверхразумный ИИ будет потрясающе хорош в достижении целей, но если они не совпадают с нашими, то мы в беде. Вероятно, вы не коварный ненавистник муравьёв, уничтожающий их из злобы, но если вы строите ГЭС, а в низине есть муравейник, то муравьям не повезло. Давайте не будем ставить человечество в положение тех муравьёв».

Кстати, о муравьях и человечестве мы уже пару раз говорили:
- Сопоставление размеров,
- Не попадайте в муравьеворот (здесь даже о нехватке памяти есть).

Хорошего завершения выходных и удачного начала недели!