Аргумент о плавности текста весьма субъективен. Согласно правилам русской пунктуации, обстоятельства, выраженные деепричастными оборотами, выделяются запятыми независимо от вида деепричастия (а применительно к этой глагольной форме мы можем говорить только о ее виде, а не о времени, см. учебники). Из этого правила есть исключение: деепричастия и деепричастные обороты не обособляются, если непосредственно примыкают к глаголу и имеют значение образа действия. В предложении Идя по переходу, я оборачиваюсь деепричастный оборот обозначает дополнительное действие, а не характеризует действие, названное сказуемым, и не примыкает к глаголу непосредственно. Нет причин не ставить после него запятую.

Не ежегодно следует писать раздельно, руководствуясь рекомендацией словаря (т. е. здесь написание проверяется в словарном порядке). Нечасто – написание основывается на рекомендации справочника.