Правильно: Правительство Республики Грузия.
Оба варианта правильные. Какой из них выбрать, решает автор текста.
Второй вариант предпочтителен.
Официальное название: Правительство Российской Федерации. В сочетании Правительство России, в ситуации неофициального употребления, первое слово может быть написано и со строчной буквы.
Можно, но делать это не обязательно.