Усилительно-ограничительное слово (в данном случае это частица как раз), стоящее перед подчинительным союзом, не отделяется от него запятой: Как раз когда разговор гостя и хозяйки, перейдя от воспоминаний об умершем юноше к подробностям его повседневной жизни, готов был начаться по новой, случайным движением корейский веер выскользнул из его руки.

См. 

Большой универсальный словарь русского языка

ОБОЗНАЧИ|ТЬ, обознач|у, -ит, -ат, несов., V б; обознача|ть, -ю, -ет, -ют, несов., V а; перех.

● 1.0. Указать что-л. с помощью какого-л. знака, метки, сигнала и т. п.   Син. означить употр. реже, отметить, <пометить>, наметить, нанести. О. дорогу вехами. О. реки на карте. ● 1.0.1. Поставить отличительный знак, пометку и т. п. на чём-л. в какой-л. форме (значком, цифрой, надписью).   Син. отметить употр. чаще, <пометить>. Обозначьте в списке крестиком те книги, которые вы уже прочитали. ● 1.1. Дать чему-л. какое-л. условное выражение, выразить что-л. с помощью условного знака, пометы и т. п. О. какую-л. величину буквой А. О. неизвестное через Х. ● 1.2. употр. редко. Штрихами, тонкими линиями очертить основные контуры чего-л. (на рисунке, портрете, картине и т. п.).   Син. наметить. О. расположение фигур на эскизе. ● 2.0. чаще несов., 1 и 2 л. не употр. Быть указанием на что-л. или выражением чего-л. (о каких-л. условных знаках, пометках, сигналах и т. п.).   Син. означать. Этот кружок на карте обозначал место нашей стоянки. Удар в гонг обозначает начало соревнований. ● 2.1. зд. несов., 1 и 2 л. не употр. Иметь какой-л. смысл, значение, содержание (о словах, жестах и т. п.).   Син. значить употр. чаще, означать употр. чаще. Что обозначает слово «дендрарий»? ● 2.2. зд. несов., 1 и 2 л. не употр. Свидетельствовать о чём-л., быть знаком чего-л.   Син. означать употр. чаще, значить употр. чаще. Его спокойствие обозначает только то, что он ещё ничего не знает. ● 3.0. Сделать известным, сообщить, указав, назвав, определив что-л. По-моему, в своём выступлении он не очень точно обозначил конечную цель предлагаемой реформы. ● 4.0. обычно сов., 1 и 2 л. не употр. Сделать хорошо заметным, видимым что-л. Худоба ещё резче обозначила его скулы. || Морф. обо=знач=и-ть. Дер. несов. обознач|а(ть) (См.), глаг. обозначить|ся сов. → обознач|а(ть)ся несов. – ; сущ. обозначение [обознач|ениj(е)] ср. – . От сущ. знак (См.).

В разы – просторечное выражение. Его употребление выходит за рамки литературного языка, но называть в разы таким же оскорбительным для слуха, как матерная брань, мы бы не стали. Всё-таки обиходно-сниженная речь и сквернословие – разные вещи.

Это не пояснение. В данном случае, скорее, перечислительная интонация, которая на письме оформляется при помощи запятой (или присоединительная - можно подставить слово "даже", но и в этом случае нужна запятая).

В «Справочнике по пунктуации» Д. Э. Розенталя сформулировано правило:

Если между внутренними и внешними кавычками стоит вопросительный или восклицательный знак, то рисунок кавычек может не меняться, например: Выдающимся публицистическим произведением А. М. Горького является статья «С кем вы, «мастера культуры»?» (§ 68, п. 5).