Если выражение используется в значении "к счастью", оба слова пишутся с маленькой буквы: Но, слава богу, он сделал правильный выбор.
Запятая не требуется.
Верно: по бОрту.
Возможны варианты: Страшное соседство, слава Богу, оказалось недолгим; Страшное соседство (слава Богу!) оказалось недолгим.
Обратите внимание: если контекст указывает, что говорящий действительно благодарит Господа Бога, следует писать слава Богу; если же по контексту ясно, что употреблен расхожий разговорный оборот, то прописная буква не используется.