Buenas:
Tienes varias opciones, pero lo primero que debes decidir es si lo quieres con cables (opción más económica) o inalámbrica (más cosotso, pero infinitamente mas cómodo).
Desde mi punto de vista, la mejor opción es que pongas un modem-router para adsl (te recomiendo el modelo 8200 de us-robotics) que te permite conectar con cualquiera de los ordenadores independientemente, pues el mismo router se encarga de gestionar la conexión a internet. Ahora bien, esto tiene un problemilla, y es que algunos proveedores de servicios de internet (especialmente de adsl) lo tienen configurado de tal forma que si no les compras a ellos el router.... puedes olvidarte de que funcione, pero no se si será tu caso.
En caso de que el router se te salga de presupuesto, siempre puedes recurrir a un switcher, que viene a ser algo parecido (alguno me mata por decir esto), pero que necesita que el ordenador que conecta a internet este encencido para que el/los demás puedan a su vez conectar.
Otra opción aun más sencilla es unir los dos ordenadores con un cable cruzado directamente, mediante tarjetas de red y configurar la conexión compartida, punto y final.
En el tema inalámbrico tienes prácticamente las misas opciones, pero con dispositivos inalámbricos, que son bastante más caros, pero también más cómodos de utilizar.
Bueno, no te he preguntado, pero algunos proveedores de adsl instalan directamente un router, en algunos casos convertible en inalámbrico, como es el caso de telefónica, lo que te facilitaría mucho las cosas...
Me parece que más que ayudarte te habré liado, pero bueno, cualquier otra duda ya sabes...
Hasta luego!