Правильно через дефис: матушка-Волга.
Грамматически в этих примерах два слова: определяемое слово (Волга, царь) со следующим непосредственно за ним однословным приложением (матушка, батюшка). Лексически подобные сочетания имеют тенденцию превращаться в устойчивые выражения (фразеологизироваться), поэтому могут восприниматься носителями языка как одна языковая единица.
Предложение корректно, но обратите внимание, что оно уместно лишь в разговорной речи при фамильярном бытовом общении.
Лучше всего: Строительство моста через Волгу в Костроме. Но и при употреблении с родовыми словами эти названия склоняются: через реку Волгу в городе Костроме.
Запятая не требуется.
Возможно и матушка Россия, и Россия-матушка. Оба варианта верны.
Правильно с прописной: Средняя Волга.
