Мужская фамилия Принц склоняется так же, как и соответствующее нарицательное существительное: Принца, Принцу и т. д.
Официальное название: Правительство Российской Федерации. В сочетании Правительство России, в ситуации неофициального употребления, первое слово может быть написано и со строчной буквы.
Оба варианта корректны.
Типичный пример синтаксической омонимии, когда синтаксические связи слов могут иметь вариантное толкование.
Суффикс -и[j]- (орфографически слова на -ия) используется при образовании слов, являющихся названиями стран и других территориальных единиц по национальному признаку: карел → Карелия, румын → Румыния, эфиоп → Эфиопия и т. п. Слово росс как название народности с XIX в. стало восприниматься как устаревшее, однако оно до сих пор фиксируется современными толковыми словарями русского языка (см., например «Большой толковый словарь» под ред. С. А. Кузнецова). Употребительность слова подкрепляется названием членов партии «Единая Россия» ― единороссы. Поэтому есть все основания в слове Россия выделять корень росс-.
Слово страна здесь совершенно лишнее: столица России. Если по каким-то причинам его всё-таки необходимо употребить, название склоняется: столица страны России.
Возможно и матушка Россия, и Россия-матушка. Оба варианта верны.
Название склонять не следует: стартовал на «Ролан Гаррос».