No todas las targetas con salidas digitales (opticas y coaxiales) aceptan dd y dts. Algunas solo sancan estéreo por no pagar los royalties.

De todas formas mira si esta todo bien configurado y prueba el pograma como ac3 filter a ver si te funciona.