Hola:
La masilla térmica es una pasta que se coloca entre el microprocesador y el disipador del mismo. De todos modos si la quisieras cambiar y no lo has hecho nunca sería mejor que acudieses a algun compañero que sepa hacerlo o algun taller, pero vamos que si el pc es relativamente nuevo entiendo que debería estar bien aún.
Cierra la tapa y prueba a ver jugando y demás si los valores de temperatura se mantienen, ya que comentas el ventilador del micro varía sus revoluciones con relación a los cambios de temperatura. Si los mantiene no deberías darle mucha importancia, aunque siempre puedes añadir un ventilador a la caja, en la zona trasera arriba, sacando aire caliente o bien, cambiar el disipador por alguno que refrigere mejor.
Un saludo