Корректно: "фабрика грез".
В словарях русского языка: впавший. Но впадший трудно счесть ошибкой (скорее - славянизм).
Правилен второй вариант.
Мужская фамилия Граф склоняется: Графа, Графу и т. д.
При слове семья иноязычная фамилия обычно ставится в форме единственного числа: семье Граф.
Такое сочетание вряд ли корректно называть фразеологизмом.
Да, это слово нужно склонять как существительное первого школьного склонения (как слово монета).