Стилистически нейтрально: идти по улице; дом, расположенный на улице...; жительница дома, расположенного на улице... Вариант дом по улице – канцеляризм.
Правильно: по Школьной улице. В официально-деловом и канцелярском стиле могут быть также употреблены предлагаемые Вами варианты.
Правильно: по Байкальской улице. Предложенные Вами варианты также используются, но - в канцелярской речи.
Что было дальше? — конечно, грамотно.
Названия улиц в сочетании с родовым словом улица обычно склоняются, если название – женского рода. Предпочтительно: на улице Первомайской.
Действительно, дом такой-то на улице такой-то - нормативный и стилистически нейтральный вариант. Это грамотное, правильное сочетание. Сочетание "дом по улице" - канцеляризм.
Корректно: на улице Зацепе (возможно: на улице Зацепа).