См. вопрос 282667. Это особенность употребления именно слова сторона. Так, в сочетании на все четыре стороны ударение тоже падает "нелогично" с точки зрения современного языка.
Предпочтительно согласование с более конкретным наименованием строения: Рядом сохранился небольшой старинный домик — податная изба. Она была построена в 1760 году и является старейшим гражданским зданием Михайлова.
В современном русском языке звательный падеж сохраняется в виде отдельных словоформ: отче, Боже, Маш, пап, Вов и т. д. Говорить об окончательном исчезновении пока рано.
Никаких отклонений от норм в этом предложении не наблюдается. Количество деепричастных оборотов нормой не регламентируется, оно ограничено только здравым смыслом: если перегрузить предложение, скажем, десятком деепричастных оборотов, оно будет плохо восприниматься или вообще не будет восприниматься. Но это относится не только к деепричастным оборотам.
Единственное, к чему можно (при очень большом желании) придраться, — это вид второго деепричастия. Сказуемое в предложении выражено глаголом несовершенного вида (обозначается длительный процесс), а оба деепричастия — совершенного вида. Первое из них воспринимается как обозначение действия, предшествовавшего основному (сначала затаил дыхание, затем наблюдает). Второе, поскольку оно тоже совершенного вида, также воспринимается как обозначение предшествовавшего действия: отметил и наблюдает. Но в таком случае не вполне логично то, что оно находится после основного сказуемого: должно бы тоже предшествовать. Позиция второго деепричастия объясняется тем, что ему подчинено изъяснительное придаточное, в котором заключен смысл, ради выражения которого в значительной мере написано и все предложение. Если переместить деепричастие вместе с придаточным в позицию слева от основного сказуемого, предложение станет читаться значительно хуже, а акцент на смысле придаточного пропадет. А оторвать придаточное от деепричастия не получится.
Раз второе деепричастие должно находиться все-таки справа от основного сказуемого. ближе к концу главной части, оно должно было бы обозначать действие, происходящее одновременно с основным; но в таком случае оно должно было бы иметь несовершенный вид (ср. с другим глаголом: ...наблюдал за серым зайчиком, удивляясь про себя тому, что даже зверек...). Однако удивляться можно продолжительное время, а отмечать про себя (что-то одно, и без значения повтора) — нет. В итоге автор предложения остановился на данном варианте — по-видимому, проигнорировав получившуюся шероховатость.
Да, такие формы существуют в языке. Можно сказать, что это отдельный падеж, который пришел на смену старому звательному падежу, существовавшему в древнерусском языке и ныне исчезнувшему (сохраняется в церковнославянских формах Боже, отче). Данные формы считаются разговорными.
Можно в обоих случаях использовать мужской род, но допустимо и согласование по женскому роду.
В каких контекстах используется слово? Можете привести примеры?
Запятая ставится между однородными членами предложения, соединенными посредством повторяющегося союза: Все выше, и выше, и выше. Между однородными членами предложения, связанными одиночным соединительным союзом, запятая не ставится: Все выше и выше.
Да, по-русски тоже следует писать Костанай, именно такой вариант фиксируют сейчас словари собственных имен.