A ver, antes de descartar asegurate bien.
Primero comprueba que la fuente está encendida (1) y funciona (que sea nueva no quiere decir que no tenga algún defecto). Para esto puedes puentear con un cable de cobre (o un clip, pero desconéctala primero) el cable verde del conector gordo (20 contactos) con cualquiera de los cables negros del mismo conector. Si funciona bien girará el ventilador.
Descartada la fuente, comprueba el interruptor tal como comenta "taranis". Quita el cable que tiene serigrafiado "power sw" y con un destornillador puentea los dos pines.
Decartada la fuente y descartado el interruptor, sólo te quedaría desconectar discos duros, disquetera, tarjetas AGP/PCI y memoria RAM y probar si arranca a pelo. Si arranca, puedes ir "apagando-conectando-encendiendo" con cada uno de los componentes hasta que falle, y si no arranca de primeras no haría falta comprobar nada más.