Да, это название можно отнести к исключениям. В официальных составных названиях органов власти, учреждений, организаций, научных, учебных и зрелищных заведений, обществ, политических партий и т.п. с прописной буквы пишется первое слово и входящие в состав названия имена собственные, а также первое слово включаемых в них названий других учреждений и организаций.
Форма вечныЯ сочеталась (в дореволюционной орфографии) с существительными женского рода. Верно только: на веки вечные (век - м. р.).
Склонять слово борго (и ставить в форму мн. ч.) не следует.