Puedes hacerlo con TSMUXER, sin recompresion ninguna, para que lo reproduzca la ps3 tienes que darle salida Blu-ray (estructura bluray) o AVCHD, si quieres ver los subtitulos, si le das salida m2ts los subtitulos no funcionan en la ps3.

Por ahora TSMUXER no acepta sub vobsub, tienes que cambiarlo a srt con subtituleworkshop.

Saludos.