Извините – общеупотребительная, стилистически нейтральная, рекомендуемая к использованию форма вежливого извинения в современном русском языке. Извиняюсь – разговорная форма, которая редко воспринимается носителями языка как выражающая сожаление, искреннее раскаяние.

Внутри устойчивого выражения ни днем ни ночью запятая не ставится. В том числе и в приведенном Вами предложении.

Форма извиняюсь - разговорно-просторечная. Вот как писал о слове извиняюсь известный русский лингвист А. Селищев: «Со времени войны (1914 г.) в России вошел в широкое употребление словеcный знак вежливости-извинения "извиняюсь" (извиняюс). По основе и по форме это образование употреблялось и раньше. "Опять тысячу раз извиняюсь, что сбиваюсь с прямой дороги в сторону" - писал Гончаров. "Извиняюсь, что не ответил никому до сих пор" - в "Дневнике писателя" Достоевского. Отличие от теперешнего извиняюсь заключалось в том, что извиняюсь в речи Гончарова, Достоевского и других находилось в сочетании с другими словами в предложении и имело обычное реальное значение, - значение выражения извинения, искреннего, иногда глубокого раскаяния, что подчеркивалось словами "1000 раз" и т. п. Посредством этой формы извиняется и взволнованный чеховский дядя Ваня. "Ну, ну, моя радость, простите... Извиняюсь (целует руку)". Совсем не по своему реальному и формальному значению теперешнее извиняюсь: оно употребляется отрывочно, вне сочетания с другими словами, служит формальным словесным знаком, произносимым при определенных обстоятельствах, - знаком, мало соответствующим этим обстоятельствам: полного значения просьбы здесь не выражается» (А. Селищев. Язык революционной эпохи. 1928). Написано давно, а актуально до сих пор.
В современных толковых словарях форма извиняюсь также дана с пометой разг. (разговорное).
Правильно извини, извините, слово извиняюсь полного значения просьбы не выражает. Извиняюсь – это как «товарищ коллежский асессор».