Представьте: вы придумали самообучаемую машину, которая собирает клубнику.
Она с каждым днем собирает ее
Все Лучше и лучше, все
Больше и больше. Ей начинает нравиться собирать клубнику. Логично, что в какой-то
Момент ей захочется, чтобы на всей планете были сплошные клубничные поля. А теперь представьте, что вы собираетесь выключить такого робота, чтобы он не уничтожил
Человечество, пытаясь засадить все клубникой. Вы будете первым, кого он убьет.