Фраза неудачна в целом, мысль нужно выразить иначе. 

Словом грусть можно проверить только наличие в прилагательном грустный непроизносимого согласного, но нельзя определить, глухой ли это согласный [т] или звонкий [д]. При этом падежные формы существительного (грусти, грустью и т. п.) вполне могут быть проверочными словами. 

Следует писать раздельно, хотя сочетание несколько странное.

Ударение — на окончании: в густой пыли́. Но (с другим предлогом): о пы́ли.

Насколько можно судить, форма 2-го лица глагола не соотнесена здесь с конкретным собеседником, поэтому это обобщенно-личное предложение.

Это безличное предложение, главным членом которого является комплекс грустно было уезжать. В составе этого комплекса грустно — модальный компонент, выраженный словом категории состояния, было — формальная связка, уезжать — смысловой компонент, выраженный инфинитивом. Это одна из стандартных моделей безличного предложения с главным членом, построенным по модели сложного трехчленного сказуемого. В школьной грамматике — построенным по модели (усложненного) составного глагольного сказуемого.
 

Запятую ставить не нужно. Слова скучно, грустно указывают на состояние одного субъекта и соединены одиночным сочинительным союзом и. Это позволяет считать их однородными сказуемыми, а не частями сложного предложения. Но даже если рассматривать их как части сложного предложения, то запятая все равно не нужна: в сложносочиненном предложении с одиночными союзами и, да (в значении «и»), или, либо запятая не ставится, если части представляют собой безличные или неопределенно-личные предложения с одинаковой формой сказуемого (ср.: С деревьев капало и вокруг пахло листвой; Зрителей разместили вокруг арены и на арену вывели участников представления).

Часть предложения скучно и грустно соединена повторяющимся союзом и с частью некому руку подать... Между частями запятая ставится.

Если речь идет о приглашении, то корректно: ждём тебя в гости.