Si se puede, busca djgpp en google, ahora no tengo tiempo, si quieres luego te lo pongo más explicito.
Que yo sepa ultraedit no puede asociar un compilador, por eso te he dicho que era hostil, compilaras en la linea de comandos "C:>gcc pepito.c", y en la linea de comandos te dará los errores, tu vas a tu flamante UltraEdit con el archivo abierto y buscas la linea que te ha dicho el compilador y la arreglas, así hasta que compile, luego tendrás un a.exe que es el ejecutable de tu programa, todo esto es configurable mediante flags, si estas realmente interesado te lo digo mucho más extendido.

Edito: el gcc para windows lo consigues aquí
, ese formulario te da instrucciones para instalarlo, sé que si eres novato es dificil habituarse a gcc, pero es el mejor compilador de C que existe, sin ninguna duda.