Tienes conectado ambos, cuando solo necesitas el óptico, el RCA blanco y rojo te sobran, además el amarillo, teóricamente debería ir a la TV directamente, y no pasar por el AVR, no creo que tengas muchas mas conexiones RCA de video.

Luego en el AVR, seleccionas entrada digital óptica, y listo, con eso sacas todo el sonido, etc., incluido el multi canal. y si hace ruido, pues sería cosa de ver si el cable esta jodido, o es alguno de los dos aparatos.

Saludos. Atheneo