Supongo que dices que el modem usa el puerto COM3 por la configuración, pero también dices que no aparece en el administrador de dispositivos. Cuando el modem funciona correctamente... ¿aparece el puerto en el administrador de dispositivos?
Puedes probar a desactivar los puertos serie de la placa en la BIOS. Los puertos COM1 y COM3 utilizan la misma interrupción. Podría ser que el modem se intente configurar en el COM1, y al no poder hacerlo, no funciona, y cuando tú lo reinstalas, como no puede utilizar el COM1, se cambia al COM3. Todo esto es una suposición, pero con los dispositivos plug and play nunca sabes...
Un saludo.