Приведенные сокращения вряд ли будут использоваться в официальных документах. В остальных случаях склонять корректно.
Ваш вариант расстановки знаков препинания корректен.
Правильно: администрация губернатора. Прописная буква уместна, если речь идет об Администрации Президента.
Предложения такой структуры охарактеризованы в параграфе 2589 «Русской грамматики» 1980 г. как фразеологизированные предложения с междометиями. Они включают междометия ах, ох, эх со следующим далее личным местоимением и оценочным именем в форме именительного падежа: Ах она плутовка!; Ах ты милашка!; Ох он разбойник!; Эх вы обманщики! Как показывают примеры, такие предложения могут включать местоимения не только второго лица. Соответственно, форма именительного падежа существительного не всегда может восприниматься как обращение. В предложениях типа Ах ты бедная моя трубадурочка! эта форма по функции близка к сказуемому, но может быть интерпретирована и как что-то близкое к поясняющему приложению к личному местоимению, поскольку это не обязательный элемент подобных предложений, сравним примеры типа: Ах ты! Какая жалость! — всплеснула руками Лена. [Борис Можаев. Падение лесного короля (1975)]. (При этом нужно учитывать, что фразеологизированные предложения не поддаются обычному синтаксическому разбору, функции формы существительного в них выделяются очень условно.) Значит, пунктуационное оформление может быть вариативным: как с запятой перед формой именительного падежа существительного, так и без нее.
