No estoy muy puesto en esta clase de asuntos, pero al parecer nvidia insiste en no liberar sus drivers en la forma que lo está haciendo, por ejemplo, ati, así que la gente de Debian, muy estrictos en asuntos de licencias, parece que pueden andar buscando formas de facilitar una instalación aceptable. (Repito e insisto en que mi información a este respecto puede no ser buena y no voy a perder tiempo buscando, si alguien está mejor informado que me rectifique).
Por eso se me ocurre que si el driver proporcionado por Debian que le funciona con un kernel no le funciona con otro, tal vez el problema podría arreglarse instalando el driver nvidia que proporciona el fabricante.
Bueno, si miramos
esto, una instalación de nvidia a la "Debian way" no parece que se diferencie demasiado de hacerlo, digamos, por cuenta propia. Yo tuve algunos problemillas en el pasado con la aceleración 3D de mi tarjeta (una Geforce 9500 GT), así que decidí instalar directamente los drives del fabricante y se acabaron las complicaciones. Esto implica reinstalar nvidia cada vez que hay actualización de ciertos paquetes de xorg y/o de kernel, porque se pierde la aceleración gráfica, pero tampoco es que sea para tanto, y de paso me sirve de recordatorio para actualizar también el driver de la gráfica, que nunca viene mal.
Por otro lado, la instalación del driver bajado directamente del fabricante tampoco es que sea demasiado complicada. Quizás la "pega" más gorda sea que hay que hacerlo fuera del entorno gráfico, pero eso no es más que un mero y simple trámite, por muy extraño o "aparatoso" que le pueda sonar a alguien.

Saludos.