Здесь верно написание строчными. С прописной буквы пишется первое слово в официальном названии, напр.: Пенсионный фонд Российской Федерации, Негосударственный пенсионный фонд «Газфонд».
По правилам орфографии написан третий вариант. Обратите внимание: кавычки в названии возможны только в том случае, если название стоит после родового слова, с которым не согласуется.
Верно: российский Кавказ.