Buenas...
Al colocar el router, este va a ser el que haga las veces de "servidor" de cara al servicio de internet, por lo que todos los equipos que conecten a él lo harán como iguales.
En general, y con equipos corriendo bajo XP con ejecutar le asistente de red en cada uno de ellos y eligiendo la opción de coenctar a través de un concentrador es más que suficiente... pero si quieres afinar algo más tienes que asignar ip's a cada equipo en el mismo rango que tenga el router y asignar como puerta de enlace la ip del router...
Un saludo