В данном случае деепричастный оборот можно изъять или переставить в другое место без разрушения структуры предложения, сравним: Наша следующая остановка будет в Ивановке, а доберёмся туда, судя по карте, нескоро. Следовательно, указанная запятая нужна: деепричастный оборот нужно выделить с двух сторон.
Корректно: Отпуск не скоро.
Возможны оба варианта.