Множество фильмов и книг посвящено альтернативной реальности о том, как искусственный интеллект завоевывает человечество, или вступает с ним в войну. Самый первый пример, который приходит на ум, конечно же, фильм «Терминатор», однако и советские фантасты Стругацкие, и иностранные Лем, Азимов и другие авторы в своих работах частенько использовали эту идею, как сюжет. Похоже, что все подобные произведения искусства все же вселили в нас страх, поэтому наряду с разработкой робототехники ученые работают и над тем, чтобы сделать войну с роботами невозможной. Лара Нолан, бывший разработчик Гугл, недавно сообщила, что оружие, при наличии у него искусственного интеллекта, способного принимать решение без человека, довольно быстро уничтожит наши города. При этом, если ИИ будут находиться довольно близко друг от друга, возможна цепная реакция.
Издание Science Alert сообщило, что ученые из Массачусетского университета разработали первую платформу для алгоритмов, которые должны предотвратить потенциально опасное поведение роботов и не позволить им причинить вред человеку. Алгоритмы назвали селдоновскими, по имени известно персонажа книг Айзема Азимова «Основание». Хотя они не дают искусственному интеллекту «представление» о том, что является благом для человека, они помогут выявить, какое поведение будет недопустимо.
Сегодня идея селдоновского алгоритма активно используется в медицине, например, в лечении диабета пациентов. Система с подобным алгоритмом контролирует инсулиновую помпу, и в данном случае нежелательным является низкий или высокий уровень глюкозы в крови, что и должна отслеживать система. Подобный алгоритм также был разработан для системы выведения среднего бала аттестата у студентов, чтобы исключить гендерные предрассудки, которые обнаруживались у некоторых других алгоритмов.
