О падеже: нужен творительный падеж (музеем). Слова заведующий, управляющий, командующий и т. п., по своему происхождению являющиеся причастиями, управляют творительным падежом.
Что касается рода, то мужской род уместен в строгой деловой речи (в приказе: назначить заведующим музеем Иванову...). В обиходной письменной и тем более устной речи верно: заведующая музеем.