Грамматически правильно: в городе Москве. Однако такой вариант следует характеризовать как специфически-канцелярский (т. е. употребительный преимущественно в официально-деловой речи). Он не соответствует литературной норме.
См. «Письмовник».
Правильно: живу в Крыму.
Верно: И живут они чаще всего совсем недолго.
Верен первый вариант. Подробнее см. в «Письмовнике».