Правильно: Правительство Республики Грузия.
Оба варианта правильные. Какой из них выбрать, решает автор текста.
Официальное название: Правительство Российской Федерации. В сочетании Правительство России, в ситуации неофициального употребления, первое слово может быть написано и со строчной буквы.