Tengo una configuración parecida a la tuya (Core 2 Duo 2.2GHz, 1GB de RAM, Gainward Geforce 7800GS+ AGP 512MB, X-Fi Fatality y Windows XP) y hace poco estuve probando el lector de 360. La verdad es que me dio bastantes problemas pero finalmente conseguí que me funcionara.
Bueno, realmente el lector no dio problemas sino la reproducción porque el lector es simplemente enchufarlo al USB, te detecta el nuevo hardware y le dices que te busque controladores en Windows Update, y ya funciona perfectamente.
Lo primero de todo, olvídate de WinDVD porque yo al menos no conseguí que me funcionara en ningún momento. Con PowerDVD Ultra si que me funcionan todas las versiones hasta la 7.3 (2911) pero con la última actualización de la web de Cyberlink ya no me funciona, la 7.3 (3104).
Aclarado esto, te puedo decir que te recomiendo los últimos drivers oficiales de Nvidia para la tarjeta gráfica, los 162.18, si no los tienes puestos, aunque antes de ponerlo desinstala los que tengas desde Agregar o quitar programas. Una vez que los pongas NO toques la configuración de video en el panel de control de Nvidia, es decir, no ajustes brillo, contraste, nitidez, telecine inverso, etc. Parece ser que estos ajustes no le gustan al PowerDVD, aunque si que puedes hacer ajustes desde dentro del programa sin problemas.
Vete a PowerDVD y, antes de insertar un HD-DVD, desactiva la aceleración de video por hardware en la configuración del programa y, en las opciones de video avanzadas, deja desactivado el entrelazado. En tu caso también tendrás que seleccionar en la configuración avanzada de video por cual monitor vas a sacar la imagen, ya que el HD-DVD no permite la reproducción en dos pantallas simultáneamente.
Ahora pon un disco y seguramente te funcionará. Si te sigue dando error, reinicia, cierra todos los programas abiertos y vuelve a intentar reproducir la película.
Todavía no me lo explico, pero te aseguro que con mi PC no puedo reproducir ni HD-DVD ni Bluray con la aceleración de video activada, pero es lo que hay. Con VC-1 me consume entre un 50% y un 80% de CPU así que hazte una idea de lo que puede saturarte la CPU un HD-DVD.
También noté que en altas resoluciones (>1600x1200) la película perdía algo de fluidez y si quiero verla en FullHD se notaba mucho esa perdida. Tengo un CRT Samsung de 19" formato 4:3 así que para mí FullHD es 1920x1440.
Aunque parece absurdo, esto lo he resuelto haciendo overclocking a la tarjeta gráficaMi gráfica lleva un core 7900GT con velocidad por defecto de 450/1250 pero cuando sólo se utiliza un entorno 2D como en este caso se pone a 400/1250. Así que he aumentado la velocidad en 2D con RivaTuner hasta los 550/1450 y la reproducción en alta resolución ya va prácticamente perfecta.
No se, espero que todo esto te pueda ser de ayuda. Si no, quizá te pueda servir este otro consejo: yo me hice una partición pequeña (15GB) para hacerme otra instalación limpia de Windows XP y utilizarla sólo para pruebas con el reproductor HD-DVD ya que con mi instalación normal no me funcionaba. Instala sólo lo básico: Service Pack 2 de XP, los últimos DirectX (revisión de agosto), los últimos drivers de chipset, gráfica y sonido y el PowerDVD. Con eso puesto ponte a jugar con la configuración y a ver si consigues que te funcione. Si en ese entorno limpio para hacer pruebas no te funciona dudo que lo vayas a conseguir de otra forma.
Otro truco que te puede ayudar es usar el Slysoft AnyDVD, que permite reproducir películas tanto en DVD, como en HD-DVD y Bluray que en condiciones normales dan problemas, aunque a mi me funcionan bien todas las películas que tengo sin usarlo, incluida Batman Begins.