Realice un mejor seguimiento de los movimientos del cuerpo con Raspberry Pi y cámaras de ojo de pez

Investigadores de la Universidad Carnegie Mellon han desarrollado un sistema de seguimiento de cuerpos utilizando el módulo de cómputo 4 de Raspberry Pi y cámaras de mano.

Raspberry Pi Compute Module 4 ranuras muy bien en el lateral del controlador

Tradicionalmente, los sistemas de realidad virtual solo rastrean su cuerpo siguiendo los movimientos captados por una diadema y controladores de mano. Luego adivina lo que es probable que estén haciendo su torso, piernas y pies, en función de cómo mueve la cabeza y las manos. Hay complementos costosos que puede comprar para sujetarlos a sus caderas y pies, lo que mejoraría su experiencia de realidad virtual, pero incluso si paga por estos, todavía hay limitaciones.

¿Cómo hace ControllerPose un mejor seguimiento de tu cuerpo?

ControllerPose utiliza cámaras con lentes de ojo de pez montadas en controladores portátiles para mirar hacia atrás y capturar una vista más completa del cuerpo y los movimientos del usuario. Las cámaras de ojo de pez captan dos vistas de 185 grados del cuerpo del usuario, que el software une para lograr una vista aún más amplia. Las imágenes son procesadas localmente por Raspberry Pi Compute Module 4 que ejecuta la plataforma de desarrollo de IA Coral de Google.

Todo esto, combinado con los datos habituales de la cabeza y la mano recogidos de los auriculares y los controladores de mano, logra estimaciones de pose con una precisión de 8,59 cm.

¿Para qué podemos usar un mejor seguimiento del cuerpo?

El equipo ha creado algunos juegos de realidad virtual centrados en las piernas para darle un buen uso a su creación. Hay un juego de Tetris humano en el que tienes que contorsionar tu cuerpo para que encaje en huecos de diferentes formas. Feet Saber ve a los jugadores alejar objetos no solo con sus manos (que sostienen sables de luz) sino también con sus pies. Y una experiencia de portero de hockey hace lo que dice en la lata.

Yo, por mi parte, agradezco el desafío de competir contra personas que ya no pueden llamar por teléfono en sus actuaciones de Just Dance. Ahora podemos rastrear si realmente estás haciendo la coreografía de la parte inferior del cuerpo o no. Este es un asunto serio.

Felicitaciones al equipo de investigación: Karan Ahuja, Vivian Shen, Cathy Fang, Nathan Riopelle, Andy Kong y Chris Harrison. Puede leer su trabajo de investigación completo aquí.