Hola:
En Chrome y/o Firefox quizá cuentes con extensiones instaladas o configuraciones personalizadas que en cierto modo lo ralenticen. Además quizá tengas el navegador actualizado a base de haber ido instalando una y otra vez sobre un chrome, firefox antiguo, etc.
Si quieres por curiosidad prueba con una versión portable de Chrome a ver si mejora o no la velocidad o con otro ordenador a ver que pasa.
Un saludo