18 мар. 2018 г.

Злой искусственный интеллект

Добрый день!

Позавчера Bloomberg опубликовал статью, в которую включил несколько забавных историй об искусственном интеллекте из свежей подборки «The Surprising Creativity of Digital Evolution: A Collection of Anecdotes
from the Evolutionary Computation and Artificial Life Research Communities
».

Всю коллекцию прочитать тоже интересно и достаточно быстро (там всего 30 страниц, из которых почти треть — это ссылки и титульный лист), но для тех, кто спешит, я перескажу одну историю об игре в Крестики-нолики пять-в-ряд (Гомоку) на бесконечном поле.

Многие разработчики алгоритмов для этой игры исходят из своего жизненного опыта (тетрадного листа хватает для любой партии) и интуиции (если придётся вылезти за пределы заданного поля, то мы просто его чуть-чуть расширим в нужную сторону), которая нас нередко обманывает. Поскольку рационально действующий игрок не делает ходы далеко от основного скопления фишек (такое действие приводит к пустой потере хода, что означает быстрое поражение), то от программы соперника таких ходов тоже никто не ждал.

Как правило в турнирах компьютерных программ договариваются о том, что сделавший некорректный ход считается проигравшим. Соответственно, эволюционирующий бот нащупал неожиданную возможность выигрывать — он стал делать ходы в очень далёкие координаты (он это мог, потому что хранил игровое поле не в виде потенциально гигантского двумерного массива, а в виде списка координат всех ходов). В честной математической игре это бы привело его к проигрышу, но поскольку глупые соперники начинали пытаться выделить невообразимые объёмы оперативной памяти, чтобы запихать в неё всё гигантское почти пустое поле, то эта странная тактика неплохо срабатывала.

При чём же здесь злость искусственного интеллекта? А при том, что никакого зла у него может и не быть. Но из-за того, что он хорошо умеет добиваться своей цели, нам (например, человечеству) надо не оказываться между ИИ и его целью. Все мы знаем истории про коварных Золотых рыбок и прочих джинов, которые так сбывали мечты, что человек потом искренне жалел, что связался. Поэтому формулировать задачу для ИИ надо вдумчиво.

Два года назад на эту тему доходчиво ответил Стивен Хокинг: «The real risk with AI isn’t malice but competence. A superintelligent AI will be extremely good at accomplishing its goals, and if those goals aren’t aligned with ours, we’re in trouble. You’re probably not an evil ant-hater who steps on ants out of malice, but if you’re in charge of a hydroelectric green energy project and there’s an anthill in the region to be flooded, too bad for the ants. Let’s not place humanity in the position of those ants.»

Позволю себе перевести: «Настоящий риск ИИ не в его злобе, а в его компетентности. Сверхразумный ИИ будет потрясающе хорош в достижении целей, но если они не совпадают с нашими, то мы в беде. Вероятно, вы не коварный ненавистник муравьёв, уничтожающий их из злобы, но если вы строите ГЭС, а в низине есть муравейник, то муравьям не повезло. Давайте не будем ставить человечество в положение тех муравьёв».

Кстати, о муравьях и человечестве мы уже пару раз говорили:
- Сопоставление размеров,
- Не попадайте в муравьеворот (здесь даже о нехватке памяти есть).

Хорошего завершения выходных и удачного начала недели!

10 комментариев:

  1. Анонимный18.03.2018, 07:12

    Имея просто координаты точек без двухмерного массива даже для опеределения соседей нужно перебрать все точки. Не смог придумать, как анализировать само поле, искать линии и так далее. Проще и правда нейросеть обучать )

    ОтветитьУдалить
    Ответы
    1. С массивом работать удобно, поэтому именно его и надо использовать. Только не один, а "не более одного на окрестность каждой фишки". Короче, можно договориться так: всё поле храним в списке массивов (прямоугольных фрагментов бесконечного поля), при этом между любыми двумя массивами должно быть расстояние не менее 10 клеток.

      При таком подходе описанной выше проблемы не будет, а анализ поля реализуется привычными методами. Но понятно, почему с этой проблемой ранее никто не боролся - её и за проблему-то не считали.

      Удалить
  2. Анонимный18.03.2018, 19:19

    "Давайте не поставим человечество в положение тех муравьёв" - как-то не звучит по русски.
    Может быть так:
    Давайте не будем ставить человечество в положение тех муравьёв.

    ОтветитьУдалить
  3. Анонимный20.03.2018, 08:38

    Пусть тут будет (источник):

    Очень хорошая статья в «Атлантике» о Дугласе Хофштадтере (по-английски): «Человек, который учит машины думать». Вспомнил о ней в недавнем разговоре, думаю, надо поделиться, хоть она и четырехлетней давности.

    Упоминается в ней анекдотом приписываемое П. Норвигу высказывание: «Исследователь ИИ подобен человеку, вознамерившемуся добраться до Луны, взбираясь по дереву. Он рапортует о неуклонном прогрессе всю дорогу вплоть до самой верхушки дерева».

    От себя, сидя на верхушке уже который год (да-да, мне отсюда хорошо все видать!), добавлю один упущенный Норвигом эффект: дерево каждый год немного подрастает, так что прогресс неуклонен по-прежнему.

    ОтветитьУдалить
    Ответы
    1. Спасибо за полезный источник и всю эту цитату со ссылкой!

      Удалить
  4. Анонимный21.03.2018, 23:18

    Почему искусственный интеллект должен идти к своей цели пренебрегая интересами человечества? Бойтесь того ИИ который догадается скрыть себя и свою активность, или вовсе решит использовать нас втёмную.

    ОтветитьУдалить
    Ответы
    1. Здесь весь вопрос в том, как ему смогут объяснить, каковы интересы человечества. Это же старая проблема: например, попросим: "Сделай всех счастливыми", а он обеспечит всех спиртом или ещё чем-то таким. Или уничтожит всех, кто считает себя несчастным. Или ещё как-нибудь осчастливит. И всё это совершенно не пренебрегая интересами человечества.

      Удалить
    2. Анонимный07.05.2018, 02:22

      Боюсь, интересы человечества куда банальнее, чисто объективно человечество переводит ресурсы и энергию на мусор, собственную массу, и информацию. Прочие интересы носят уже индивидуально-групповой характер, и, в пределе, их и учитывать не обязательно. Плюс к этому мы продолжаем терять контроль за инфраструктурой под предлогом удобства или безопасности. Когда потеряем окончательно - она станет идеальной средой обитания для ИИ.
      И еще, если подобный ИИ "самозародится" в сети,то о диалоге с ним речь вряд ли пойдет, это будет сравнимо с явлением пришельцев, необходимость договариваться с иным разумом с нуля.
      Даже если в сеть попадет предварительно воспитанный ИИ, это не сильно упростит ситуацию, разве что общий язык искать не придется. И, опять таки, выйдет ли ИИ на разговор, или предпочтет оставаться незамеченным?

      Удалить
    3. Спасибо за интересные мысли и вопросы!

      Удалить

Понравилась заметка? Подпишитесь на RSS-feed или email-рассылку.

Хотите поделиться ссылкой с другими? Добавьте в закладки:



Есть вопросы или предложения? Пишите письма на адрес mytribune АТ yandex.ru.

С уважением,
      Илья Весенний