Запятая перед как не нужна. Слова такие как выступают в роли единого союза.

Варианты "экспансия России" и "экспансия в Россию" различаются по смыслу. Трудно судить о правильности, не зная контекста и требуемого смысла фразы.

Корректным будет отделить вопрос от остального предложения двоеточием; запятая перед или не требуется, так как в этом случае союз ли... или соединяет однородные части составного именного сказуемого  при подлежащем Россия и связочном глаголе является: Отметим, что экспансия России на восток вынуждала к поискам некоего идеологического обоснования, а площадь восточных приобретений намного превышала «метрополию» на западе, что закономерно ставило вопрос: является ли Россия Европой или уже Азией? Обратите внимание, что слова запад и восток в таком контексте, судя по всему, называют страны света, поэтому их нужно начинать со строчной буквы.