Да, запятую надо поставить.
Слово "семьёй" в данном предложении является обстоятельством образа действия.
Это безличное предложение, главным членом которого является комплекс грустно было уезжать. В составе этого комплекса грустно — модальный компонент, выраженный словом категории состояния, было — формальная связка, уезжать — смысловой компонент, выраженный инфинитивом. Это одна из стандартных моделей безличного предложения с главным членом, построенным по модели сложного трехчленного сказуемого. В школьной грамматике — построенным по модели (усложненного) составного глагольного сказуемого.
Чем Земля — сравнительный оборот, который появляется в качестве обязательного дополнения к прилагательному в форме сравнительной степени. У этого дополнения две вариантные формы: меньше Земли и меньше, чем Земля. Во втором случае дополнение выражено сравнительным оборотом.
Эти переносы правильны, правилам они не противоречат.
В предложении Туман залил всё вокруг сочетание всё вокруг выполняет функцию прямого дополнения.
