Указанное сочетание не является устойчивым оборотом, оно употреблено в своем прямом значении, так что запятая нужна: По дороге ни в ту, ни в другую сторону нам не встретилось ни единого автомобиля.

Сравним случаи употребления сочетания ни туда (,) ни сюда: Поезда не ходили ни туда, ни сюда (сочетание употреблено в прямом значении) — Юле неудобно было кричать на всю улицу, поэтому крик вышел ни туда ни сюда — не нахальный, но и не деликатный (сочетание является устойчивым и значит «без характерных свойств»); ...он вдруг замер, как парализованный. Ни туда ни сюда (сочетание является устойчивым и значит «не будучи в состоянии делать что-либо»).

Добавим, что пропуск запятой в сочетаниях с повторящимся союзом, в которых образуется тесное смысловое единство, возможен, если это союз и (см. параграф 13.2 справочника по пунктуации Д. Э. Розенталя).