No he visto estas películas que citas, pero la técnica usada en ambas es efectivamente rotoscopia (se filma primero a los actores como en una película normal y luego se dibuja en la película sobre ellos). Las diferencias que observas pueden ser debidas a las diferencias de estilo lógicas entre distintas películas, o a que, según creo, en A scanner darkly usaron un programa especial de animación por ordenador hecho para la película.
Creo que uno de los pioneros de esta técnica fue el británico Ralph Bakshi, en películas de animación dirigidas a un público más bien adulto como Tygra, fuego y hielo y El Señor de los anillos. No las he mencionado en este hilo porque caen ambas más dentro del género fantástico que del terrorífico.
Edito: pues investigando un poco por ahí, veo que esta técnica se conocía ya en la década de 1910, y se usó puntualmente en películas como Blancanieves y los siete enanitos. También se usó en Los viajes de Gulliver, que recuerdo haber visto hace la pila de años.