Запятая после союза перед вводным словом ставится, если вводное слово можно опустить или переставить в другое место предложения без нарушения его структуры. Ср.: и захаживали, бывало...
Да, запятая в этом случае всё равно ставится (т. к. деепричастный оборот можно «оторвать» от союза и переставить в другое место предложения). Смущаясь от пылких взглядов – корректно.