Правильно: в городе Жиздре. Подробнее см. в «Письмовнике».
Если имеется в виду графическое сокращение от физкультура, правильно: физ-ра (это нормативное, общеупотребительное сокращение, кавычки не нужны). А вот физра (в таком именно написании) – это уже не графическое сокращение, а полноправное слово из школьного, студенческого жаргона; кавычки нужны, если это жаргонное слово употребляется в ином стиле речи.