В принципе эти слова имеют синонимичные значения. Но в значении "полное отсутствие света" употребляется только слово тьма.
Со словом мгла употребляется предлог во (см. вопрос 292913). Верно: во мгле, во "Мгле".
Запятая не нужна.
Предлог во употребляется:
1) перед формами слов, начинающимися сочетаниями «в, ф + согласный»: во взоре, во власти, во Франции (но: в Финляндии), во Владимире (но: в Венеции), во всем, во вторник, во фразе;
2) перед формами предложного падежа слов лев, лёд, лён, лоб, ложь, мох, ров, рожь, рот: во лжи, во рву;
3) перед формой мне: во мне;
4) перед формами слов многие, многое, множество, множественный: во множестве случаев, во многих случаях; во множественном числе;
5) перед формой что: Во что превратился наш парк?
Предлог во употребляется в значении 'где-либо, куда-либо' с формами слов двор (во дворе, во двор), дворец (во дворце, во дворец), мгла (во мгле, во мглу), мрак (во мраке, во мрак), тьма (во тьме, во тьму), а также с формами слов во сне, во чреве.
Предлог во употребляется в значении 'ради чего-либо' в сочетаниях во благо (делать что-либо), во зло (употребить что-либо), во избежание (чего), во имя (кого, чего), во исполнение (чего), во славу (кого-либо), во спасение (ложь во спасение). Но: в ознаменование.
Также предлог во употребляется в устойчивых сочетаниях: во весь (опор, дух, голос, рост); мещанин во дворянстве, во мнении (сойтись, разойтись), во сколько (раз), во столько (раз), во сто крат, во цвете лет, братья (сестры) во Христе, во главе угла (но: в главе романа), как кур во щи.