Si vas a conectar 4 pc en red usa un switch estos vienen para 4, 8, 12, 16 ó 32 conexiones, creo que la de 8 conexiones te vendria bien ya que su precio es similar al de 4
la conexion es simple, todas las pc se conectan al switch con cable utp y conectores RJ45 usando los puntos de 2 en adelante
El punto 1 irá conectado al modem ó al router/modem usando un cable utp con conectores RJ45 pero la conexion en cruzada (cross over) que normalmente es usada para conexion de pc a pc
La configurcion de las dires ip iran cambiando el ultimo digito (XXX.XXX.XXX.2 XXX.XXX.XXX.3 XXX.XXX.XXX.4 etc)
Si vas a acceder a internet los dns, el host y el dominio seran los mismos en todas las pc
Obviamente toda esta configuracion de las ip se hara en la tarjeta de red que debe estar instalada con sus controladores
Suerte