No estoy muy puesto en capturadoras pero tengo entendido que algunas de ellas usan un MPEG-2 propio no compatible con el estandar. Básicamente permiten capturar y ver en el propio ordenador lo que capturas, pero para crear DVD hay que recomprimir.

Prueba lo siguiente:

Cerciorate de que el tamaño de frame sea compatible con DVD PAL, es decir, 720 x 576 pixels para la resolución completa o 352 x 288 para baja resolución. 25 frames por segundo. Una tasa de bits de 3000k debe ser suficiente para el video a resolución completa y entre 1500k y 2000k para la baja resolución y 192k para el audio. Para captura de VHS yo usaría la baja resolución y de esta manera caben más de 3 horas en un DVD de una sola capa.

El sonido debe tener una frecuencia de muestreo de 48000 Hz. Si la capturadora no te permita más de 44100 Hz tendras que hacer la conversión con algun programa. El TMPEGEnc permite demultiplexar (separar audio y video), pero si dices que no te lee los ficheros tendras que buscar otro como las bbTools. No las he usado, asi que no sé como funcionan.

Una vez tengas por separado audio y video y ambos cumplan los requisitos para crear DVD, el IFOEdit es la opción más sencilla para terminar, aunque no te permite añadir menús.

Si algo de esto falla, yo te recomiendo que te olvides de capturar en MPEG-2 y lo hagas en DivX o XviD, con una resolución de 512 x 384 ó 640 x 480 pixels y una tasa de bits de 1200k, luego haces la conversión a MPEG-2 con TMPGEnc.

Ya me diras si el proyecto prospera.

Saludos.