Возможны варианты с запятой и без нее, выбор зависит от интонации.
Согласны, вчера и накануне - лишь контекстные синонимы. Т. е. накануне можно употребить в значении "вчера" только в контексте "накануне сегодняшнего дня".
Речевые клише: Давно не виделись! Давно вы у нас не были!
Наречие давно является обстоятельством времени, зависимым от причастия служивший.