Por lo que dices, la salida del DECO es Toslink (Fibra Optica).
La Salida COAXIAL es como un conectar RCA...
Las dos conexiones son para AUDIO Digital.
La conexión ESTEREO es la típica de cascos y NO es Digital.
Ese Switch que pones solo tiene una salida HDMI, (o lo conectas a la TV o al Proyector), Nunca podrás elegir donde lo quieres, si no es cambiando el cable HDMI de salida.
Ten en cuenta que no es lo mismo SALIDA de Audio que ENTRADA de Audio.
La entrada de AUDIO DIGITAL seguramente la tengas en el 5.1 y lo del DECO será solo SALIDA.
Las conexiones tendras que hacerlas por HDMI (este ya lleva el Audio por el mismo cable) y con salida de Audio mediante COAXIAL o FIBRA al 5.1.
El esquema de conexiones seria mas o menos como en la foto que te e puesto del Switch
Salu2