Para que así lo puedas llevar donde quieras e instalarlo desconectado si te apetece... o en máquinas que no tengan conexión a Internet.
Además, personalmente prefiero bajarme un gran archivo a bajarme un simple instalador que baja luego más archivos. Me da más control.
Por cierto.. Si lo acabas de instalar, ¿para que borrarlo? Seguramente lo de antes fue una mala instalación y por eso no te funcionaba. Esta versión que te descargastes es la misma... con el añadido de Java WebStart.. Déjalo todo como esta.
Saludos
Erebus