Мужская фамилия Граф склоняется: Графа, Графу и т. д.
Корректно: Я штука беспородная, не граф я де Ла Фер...
Согласно правилам русского языка мужской вариант фамилии Граф склоняется. Подробнее см. в «Письмовнике».
При слове семья иноязычная фамилия обычно ставится в форме единственного числа: семье Граф.