Прилагательное фрунзенский образовано от имени собственного Фрунзе с помощью суффикса -инск-, который в безударном положении нередко имеет орфографический вариант -енск-, с помощью этого суффикса образованы такие прилагательные, как читинский, шахтинский; екатерининский, аннинский; сестринский, сатанинский, нищенский, кладбищенский, рождественский; глинкинский (от Глинка), известинский (от «Известия»). Конечный -е основы Фрунзе при этом отсекается, таким образом, словообразование выглядит так: Фрунз + -енск- = фрунзенский. См.: Русская грамматика. М., 1980. § 632 и § 1061.

Правильно: во Фрунзенском районе. Перед формами слов, начинающимися сочетаниями «в, ф + согласная», последовательно выступает предлог во (ср.: во вторник, во Франции). Написание в данном случае отражает произношение.