Слова федеральное государственное учреждение пишутся строчными буквами.
Это сочетание пишется строчными буквами.
Корректно со строчной: федеральное государственное бюджетное учреждение культуры.
Нет оснований для написания с прописной (большой) буквы.
Корректное написание: Российская держава.
Вы имеете в виду Всероссийскую олимпиаду школьников? С большой буквы.