В зависимости от намерений пишущего возможны варианты: А там вдали, в долине, стоял гусарский полк и А там, вдали, в долине, стоял гусарский полк.
С прописной буквы пишутся первые слова в названиях полков, например: Кавалергардский полк, Преображенский полк, лейб-гвардии Гусарский полк, лейб-гвардии Кирасирский полк и т. п. Слова кавалергарды, преображенцы, лейб-гусары, конная гвардия, императорские стрелки и т. п. пишутся строчными буквами. Обратите внимание: слово империя в названии Российская империя тоже пишется со строчной.