Рекомендации справочных пособиях относительно склонения грузинских и др. фамилий на -ия разнятся. Интересно, что не склонять подобные фамилии рекомендуют специалисты по культуре речи, авторы справочников по стилистике, литературной правке (т. е. пособий, широко охватывающих различные спорные вопросы современного русского языка). Как Вы верно заметили, такая рекомендация приведена в справочниках Д. Э. Розенталя, кроме того, на распространенность несклоняемых вариантов указывают Л. К. Граудина, В. А. Ицкович, Л. П. Катлинская, авторы справочника «Грамматическая правильность русской речи».

В то же время специалисты по ономастике (т. е. лингвисты, углубленно изучающие особенности образования и функционирования в речи имен, отчеств, фамилий) предписывают склонять фамилии на -ия. Такая рекомендация приведена в «Словаре русских личных имен» А. В. Суперанской, в исследовании Л. П. Калакуцкой «Фамилии. Имена. Отчества. Написание и склонение» и др. Вот аргументы Л. П. Калакуцкой, которые нам представляются весьма убедительными: «Грузинские (эстонские, финские и др.) фамилии склоняются или не склоняются в соответствии со своими окончаниями по законам русской грамматики. И поскольку в русском языке есть слова общего рода типа пария, судия, то так же склоняются и мужские и женские фамилии, имеющие окончания -ия, независимо от принадлежности к какому-либо языку».

А вот что пишет выдающийся российский лингвист А. А. Зализняк в «Грамматическом словаре русского языка»: «...Наряду с правильными литературными употреблениями типа у Данелии нередко встречается также (в устной речи и в средствах массовой информации) не соответствующие литературной норме употребления типа у Данелия».

Таким образом, несмотря на рекомендацию Д. Э. Розенталя, следует признать правильным склонение мужских и женских фамилий на -ия, в том числе фамилии Гулия.

Глагол восхищаться требует формы творительного падежа: Не устаю восхищаться его русским прозрачным, живым языком!

Запятую ставить не нужно.

Написание с мягким знаком предпочтительно.