Si la conversión de Y'CbCr a RGB se realiza con la precisión adecuada, no debería haber ninguna diferencia, puesto que es un simple cálculo matemático mediante una transformación matricial.
De hecho, si necesitas ajustar brillo y contraste, será debido a que la transformación está alterando los niveles de referencia de la escala de grises, lo cual no sería correcto si el visualizador acepta sólo los níveles estándar para vídeo (16-235) ya que en ese caso estarías perdiendo información en los extremos del rango.
Yo no me rompería mucho la cabeza con este tema y lo dejaría la salida de vídeo en modo automático, así te aseguras que cuando se reproduce un DVD o un BD se envíe en Y'CbCr, que es lo suyo, y cuando sea un juego, se envíe en RGB, que es lo suyo.
Saludos.