Правильно: администрация губернатора. Прописная буква уместна, если речь идет об Администрации Президента.
В обоих случаях правильно написание со строчной буквы.
Согласно рекомендациям справочника "Правила русской орфографии и пунктуации" под ред. В. В. Лопатина (параграф 154), в сочетаниях с приложением, если одна из частей содержит пробел, вместо дефиса должен употребляться знак тире.
Корректно со строчной: московский губернатор, тюменский главный врач.
Второй вариант предпочтителен.
Согласно орфографическим нормам, с прописной буквы пишутся только названия высших государственных должностей, причем лишь в текстах официальных документов. Название должности губернатор пишется строчными.
Однако в официальных документах эти нормы часто не соблюдаются, наименования должностей в субъектах Российской Федерации пишутся в соответствии с их конституциями (уставами). Поэтому, если слово губернатор встречается в официальном документе, стоит уточнить, с какой буквы оно пишется в уставе соответствующей области.
Согласно орфографическим нормам, с прописной буквы пишутся только названия высших государственных должностей, причем лишь в текстах официальных документов. Название должности губернатор пишется строчными, например: губернатор Калужской области.