Корректным будет отделить вопрос от остального предложения двоеточием; запятая перед или не требуется, так как в этом случае союз ли... или соединяет однородные части составного именного сказуемого  при подлежащем Россия и связочном глаголе является: Отметим, что экспансия России на восток вынуждала к поискам некоего идеологического обоснования, а площадь восточных приобретений намного превышала «метрополию» на западе, что закономерно ставило вопрос: является ли Россия Европой или уже Азией? Обратите внимание, что слова запад и восток в таком контексте, судя по всему, называют страны света, поэтому их нужно начинать со строчной буквы. 

В этом случае запятую перед и логично поставить, поскольку события происходят не одновременно: сначала огонь разгорается, а затем в доме становится тепло. 

В приведенном предложении тире представляется избыточным, поскольку значение противопоставления уже выражает союз но: Мизуки тоже поначалу пугала Осаму, но интриговала она его намного больше. Для более решительного отделения второй части от первой можно использовать парцелляцию: Мизуки тоже поначалу пугала Осаму. Но интриговала она его намного больше.