В недавнем интервью Financial Post менеджер развлекательного подразделения Microsoft Робби Бах (Robbie Bach) заявил, что практически 70-80% издателей в мире работают над играми для системы Natal.
На выставке CES 2010 Бах объявил о том, что автоматический контролер для Xbox 360 поступит в продажу во время рождественского сезона 2010 года. Он подчеркнул, что основное отличие между подходами Microsoft и Nintendo заключается в том, что первая заинтересована в успехе игр от сторонних разработчиков.
Давно стало понятно, что Project Natal — прямой ответ Microsoft на успех Nintendo и её Wii. Отметим, что PS3 в этом отношении отнюдь не собирается упускать инициативу. Sony уже придумала соответствующую систему управления для своей приставки. Остаётся только дождаться «живых» проектов под эти технологии.
Как работает новая игровая технология?
Известно, что эта система позволяет взаимодействовать с объектами в виртуальном мире без необходимости держать в руках какие-либо манипуляторы. Несмотря на это, возможности технологии весьма впечатляющи: игрок сам превращается в "контроллер" – движения и головы, и рук, и ног отслеживаются и переносятся в игровую среду, а значит виртуальный теннисный сет или гонки на раллийных автомобилях становятся особенно реалистичными, ведь нажатия нескольких кнопок для совершения определённого манёвра уже недостаточно. Но что находится за "кулисами" Project Natal? Как инженеры Microsoft разрешили множество стоящих на пути реализации подобной функциональности проблем?
Нет необходимости говорить, что заставить работать Project Natal несколько сложнее, чем связать игру и перемещения в пространстве контроллера Wiimote или похожего устройства, ну а проводные геймпады и вспоминать нет смысла. Движения игрока фиксируются специальной 3D-камерой, основная же задача технологии – "понять", что именно запечатлено. Детали о камере, расположенной в небольшой приставке, не раскрываются, поскольку до выхода продукта на рынок пройдёт ещё не один месяц. Но известно, что измеряется относительная дистанция до объекта в пределах 0,8-4 м благодаря отражаемым от него инфракрасным волнам, излучаемым ИК-диодом (похожая реализация у системы от Quanta). Используется чёрно-белый сенсор.
Таким образом, сейчас идёт процесс "тренировки" и улучшения характеристик Project Natal. Обработка снимков людей осуществляется мощным кластером компьютеров. Есть место и ручной работе, причём достаточно трудоёмкой. Снимки берутся не из Интернета – сотрудники команды Project Natal записывают естественные движения каждого человека, затем на каждом кадре с отдельной "позой" маркируют все необходимые части тела, поскольку иначе изображение будет для компьютера "пустым". Но технологии автоматизации не забыты – также используется съёмка с заранее закреплёнными на теле маркерами, практикуемая разработчиками игр и спецэффектов для фильмов. В итоге общий массив данных занимает десятки терабайт, анализируемых программным обеспечением с помощью вероятностных и статистических алгоритмов. По завершении процесса получается 50-Мб ПО для системы Project Natal, ранний вариант которой демонстрируется на выставках и шоу.
Итак, что же происходит в "мозге" системы во время игры?
Шаг 1. Камера "видит" человека как облако точек в трёхмерном пространстве и определяет дистанцию до объекта. Формируется простейший "скелет" тела (показан слева).
Шаг 2. На базе собранной в результате описанной выше работы со снимками информации происходит определение расположения конкретных частей – рук, ног, головы. На изображении выше тёмные, светлые участки и цвета показывают, насколько успешно Project Natal удалось установить принадлежность некоторой области пространства к человеку. Например, красные квадраты означают высокую степень вероятности, что это "левое плечо", "левое колено" и "левый" локоть.
Шаг 3. На базе вероятностной оценки для каждой области генерируется массив всех возможных скелетов для данного положения тела и конечностей. Из них выбирается самый подходящий. Отчасти это достигается использованием статистического "опыта", отчасти – более формальных запрограммированных кинематических моделей.
Шаг 4. Как только получено достаточное количество данных о положении тела и выбран скелет, строится простой трёхмерный аватар. С некоторыми преобразованиями и добавлениями вроде одежды, волос и других атрибутов она становится тем персонажем, который отображается на экране. Все шаги повторяются десятки раз в секунду.
