En PS VR la cámara está fija en el frente, y detecta el movimiento por las luces que tiene el casco y los mandos.
Si te das la vuelta y te pones de espalda a la cámara pierde el tracking... relativamente. Las gafas siguen teniendo dos luces detrás, y el software tiene un algoritmo que intenta "predecir" donde están los mandos según la inercia del movimiento antes de perderlos de vista.
Vamos que si te das las vuelta unos segundos y luego vuelves el tracking seguramente no lo pierdas, pero si pasa más tiempo o mueves mucho las manos o la cabeza, entonces sí.