Ben no ha viajado al pasado. Ben a desaparecido de la isla para aparecer un año después en el desierto. Si no me equivoco, lo de la isla transcurre en 2004 (porque aunque hayan pasado 4 años desde que empezó la serie, en la isla solo han transcurrido unos meses), y Ben aparece en el desierto en 2005.

Porque si así y la isla se mueve también en el tiempo; tendremos duplicados a Swayer, a Locke, etc.
La isla ha tenido que moverse muy poco en el tiempo y mucho en el espacio, porque los 3 años han pasado igual para los de la isla y los de fuera.

Y además si esto fuera así, puede ser que el avión Oceanic 815 que se encontraron con cadaveres dentro en el fondo del mar corresponda al verdadero Oceanic duplicado, con todos nuestros losties muertos dentro.
Eso ya lo dejaron zanjado. Había sido Widmore el que había puesto los restos falsos.