Побробуйте запустить Firefox в безопасном режиме (Пуск - Все Программы - Mozilla Firefox - Mozilla Firefox (Безопасный режим)) и посмотрите, уменьшится ли расход памяти. Если да, то включите лишь самые необходимые плагины в настройках браузера и проверьте ещё раз и так до того момента, пока не обнаружите плагин, вызывающий проблемы.