Ese enlace de descarga corresponde a la versión multilenguaje así que si no sucede nada raro el programa detectará el idioma del sistema operativo y se instalará el español por defecto; si no fuese así dímelo y te explico como cambiarlo, aunque en el enlace de antes (el segundo) un poco más abajo explican como hacerlo (en inglés).
Yo tampoco he instalado nunca un programa en una memoria usb pero entiendo que tú seleccionas la memoria como si fuese una unidad de disco más o una carpeta interna si prefieres instalarlo ahí y si te deja, claro.