Правильно: на воре и шапка горит (такая рекомендация – в "Большом толковом словаре русского языка" под ред. С. А. Кузнецова, а также в справочнике "Русская фразеология" А. К. Бириха, В. М. Мокиенко, Л. И. Степановой). Но: вор у вора шапку украл (в этом фразеологизме как исключение ударение в слове вор переходит на окончание).
Верно: Не пойман - не вор.
Разбирайте это предложение как сложное бессоюзное.
Названные Вами сочетания могут быть написаны без кавычек.