Пишется строчными: георгиевский кавалер. Но:

Георгиевский зал (в Московском Кремле)

Георгиевский крест

Георгиевское знамя (в воинский частях)

Приложения неоднородны: кавалер ордена и генерал-лейтенант — это звания, а генерал-губернатор — должность. По правилам при сочетании однородных и неоднородных приложений соответственно расставляются и знаки препинания, однако в качестве примера обычно приводится перечень из двух-трех однородных и одного неоднородного приложения (заслуженный мастер спорта, олимпийская чемпионка, двукратная обладательница Кубка мира студентка института физкультуры NN). Три неоднословных приложения в родительном падеже, не разделенные запятыми, неудобны для восприятия, но для такого случая правила нам никаких рекомендаций не дают. Если контекст позволит, предлагаем поставить приложения после определяемого слова, такие приложения разделяются запятыми: ...улица была названа в честь И. И. Иванова — георгиевского кавалера, приамурского генерал-губернатора, генерал-лейтенанта. Если перестроить предложение нельзя, то полагаем, что запятые лучше поставить для облегчения восприятия. 

Обратите внимание: сочетания георгиевский кавалер, приамурский генерал-губернатор пишутся со строчной буквы.