Употребляются варианты Гагра и Гагры (второй вариант отражен в названии известного фильма «Зимний вечер в Гаграх»). Но словарями русского языка зафиксировано: Гагра, такое же название употребляется в картографических изданиях Росреестра. Это склоняемое существительное: поехать в Гагру, отдыхать в Гагре, сказочная Гагра.
Предпочтительно слитное написание.
Слова тем временем вводными не являются. Запятая не нужна.