Buenas,
Pues no, el pc estaba solo haciendo la conversión.
He probado con distintas calidad de salida del codec y obtengo en el portátil unos 5 fps/s de media. Más o menos viene siendo lo que comentas de x11.
Voy a probar también en mi pc de sobremesa, que si bien es un core 2 duo con solo 2 cores y 2gb de RAM se le puede activar el encoding por gpu y espero que ayude lo suyo.