No hay transcoding de archivos con mediatomb en el cubo, ya que como bien dices, no existe programa que se encarge de ello, y dvdplayer no lo necesita, porque reproduce casi todo.
Me temo que el proceso te puede llevar a algun paso intermedio, como usar un movil con android, instalar, por ejemplo bubbleUPnP, y elegir como library el cubo y como render, el amplificador, como ves solucion hay, pero no creo que sea lo ideal, ni lo practico.