Можно написать и так и так, ошибки не будет.

В словаре «Грамматическая правильность русской речи» даются следующие рекомендации. В строгом деловом стиле наименования, которые обозначают официальную должность, иногда употребляются в форме мужского рода: управляющим делами назначена... Форма мужского рода используется во всех тех случаях, когда в контексте на первое место выдвигается сообщение о должности или занятии безотносительно к полу называемого лица. На табличке с указанием должности и фамилии, которая прибивается к двери кабинета, лучше всё же написать форму женского рода: управляющая делами И. П. Орлова. Точно так же и в приказе о премии предпочтителен женский вариант.
Таким образом, в качестве общеупотребительной формы в обиходной письменной и особенно устной речи предпочтительна форма женского рода.

Предпочтительно: управляющая.

Форма мужского рода (управляющий) по отношению к женщине используется в тех случаях, когда в контексте на первое место выдвигается сообщение о должности безотносительно к полу лица (обычно в строгой официально-деловой речи). В обиходной письменной и тем более устной речи следует использовать форму женского рода. 

Необходим творительный падеж. О женщине правильно: управляющая фитнес-клубом (в обиходной устной и письменной речи) и управляющий фитнес-клубом (в строгих формах деловой речи, где на первое место выдвигается сообщение о должности, например: приказываю назначить управляющим фитнес-клубом Иванову).

Числительные, оканчивающиеся на один, обычно требуют формы единственного числа сказуемого. Однако в некоторых случаях возможна и форма множественного числа. Д. Э. Розенталь приводит такие примеры: 

Двадцать один делегат встретились за круглым столом (сказуемое-глагол встретились указывает на взаимное действие, которое выражается формой множественного числа); 

Двадцать один ящик с посудой, которые были доставлены на базу, попали туда по ошибке (влияние придаточного предложения с союзным словом которые в форме множественного числа); 

За все уплачено 231 рубль (при формальной роли подлежащего счетный оборот имеет значение обстоятельства меры в страдательной конструкции); 

Двадцать один студент не явились на экзамен (эмоционально окрашенный разговорный вариант, подчеркивающий количество отсутствовавших).

Форма мужского рода (управляющий) по отношению к женщине используется в тех случаях, когда в контексте на первое место выдвигается сообщение о должности безотносительно к полу лица (обычно в строгой официально-деловой речи). В обиходной письменной и тем более устной речи следует использовать форму женского рода. Обратите внимание, что правильное сочетание: управляющий (управляющая) фирмой.

В данном случае предложение лучше перестроить и использовать название должности женского рода: По прибытии управляющая распорядилась...

Правильно: управляющий отделением банка.