DESCRIPCIÓN

KinBehR: Kinect for Human Behavior Recognition, es un proyecto de reconocimiento de acciones humanas basado en la combinación de información procedente de la vídeo consola Kinect y un sistema de razonamiento basado en sentido común.

En comparación con proyectos tradicionales de reconocimiento de acciones basado en análisis de vídeo, KinBehR combina información visual (recogida por Kinect) con información sobre el comportamiento humano, el dominio el problema e información general de sentido común.

El proceso de reconocimiento funciona en dos etapas.

  • En una primera etapa, se utiliza el algoritmo Bag Of Key Poses  disponible en github [1][2].
  • En una segunda etapa, se utiliza un sistema de razonamiento basado en sentido común que analiza el nivel de racionalidad implícito en la secuencia de acciones reconocidas por la etapa anterior, en el contexto de la habitación considerada, con los elementos disponibles (un punching ball, una silla, una pelota, etc.). Se corregirán aquellas acciones que no tengan sentido desde un punto de vista del comportamiento racional esperado de ese contexto.

El sistema ha sido entrenado para reconocer un conjunto de 14 acciones, realizadas de manera no guiada en el contexto de una habitación en la que encontramos un punching ball, una silla, una pelota y un libro.

La única directriz dada a los actores ha sido la de permanecer en la habitación durante un determinado tiempo.

DATASET

Los vídeos utilizados para el entrenamiento y testeo del sistema están disponibles en ESTE ENLACE.

LISTA DE ACCIONES

0. Nada: No se está realizando ninguna acción. El usuario está parado.
1. Mirar reloj: El usuario realiza la acción de mirar el reloj de su muñeca.
2.  Cruzarse de brazos: El usuario realiza la acción de cruzarse de brazos.
3. Rascarse la cabeza: El usuario realiza la acción de rascarse la cabeza.
4. Sentarse: El usuario realiza la acción de sentarse en el suelo.
5. Levantarse: El usuario realiza la acción de levantarse.
6. Darse la vuelta: El usuario realiza la acción de darse la vuelta sobre sí mismo.
7. Caminar: El usuario realiza la acción de caminar.
8. Saludar: El usuario realiza la acción de saludar con su mano.
9. Dar puñetazo: El usuario realiza la acción de dar puñetazos.
10. Dar patada: El usuario realiza la acción de dar patadas.
11. Señalar: El usuario realiza la acción de señalar con el dedo.
12. Coger: El usuario realiza la acción de coger algo del suelo, una mesa, etc.
13  Lanzar: El usuario realiza la acción de lanzar algo sobre su cabeza.
14. Lanzar: El usuario realiza la acción de lanzar algo de abajo hacia arriba.

REFERENCIAS

[1] Chaaraoui, A.A.; Florez-Revuelta, F., “Adaptive Human Action Recognition With an Evolving Bag of Key Poses,” Autonomous Mental Development, IEEE Transactions on , vol.6, no.2, pp.139,152, June 2014 URL: http://ieeexplore.ieee.org/stamp/stamp.jsp?tp=&arnumber=6784094&isnumber=6828821

[2] Chaaraoui, A.A.; Padilla; López, J.R.; Climent; Pérez, P.; Flórez Revuelta, F.: Evolutionary joint selection to improve human action recognition with RGB-D devices, Expert Systems with Applications, 41(3):786-794, 2014