В толковых словарях данное значение глагола повергнуть определяется как «вызвать какое-н. тяжёлое, гнетущее состояние» («Русский семантический словарь» под ред. Н. Ю. Шведовой), «привести в какое-н. тяжёлое состояние» («Толковый словарь русского языка» под ред. Д. Н. Ушакова, «Толковый словарь русского языка» С. И. Ожегова и Н. Ю. Шведовой), «привести в какое-л. (обычно в неприятное, тяжелое и т. п.) душевное состояние» («Большой академический словарь»). Если в самой дефиниции нет указания на отрицательный характер душевного состояния, то оно извлекается из приводимых в словарях речений-иллюстраций: повергнуть в отчаяние, в ужас, в страх, в уныние («Большой толковый словарь русского языка» под ред. С. А. Кузнецова). Этот негативный эмоциональный спектр вполне соответствует прямому значению глагола, заключающему в себе идею движения вниз. Таким образом, сочетания поверг в восторг, поверг в экстаз следует признать неудачными и нарушающими нормы лексической сочетаемости.

Приведенное Вами высказывание вообще не является восклицанием. 

Риторическое восклицание ― это риторический прием, часто используемый в лирике и драме. Суть его заключается в использовании восклицательного предложения для передачи интенсивных, ярких чувств, переживаний, ощущений или впечатлений говорящего (восторг, восхищение, гнев, ярость, разочарование и др.):

Как верим верою живою,

Как сердцу радостно, светло!

Как бы эфирною струею

По жилам небо протекло!

(Ф. Тютчев)

Риторическое восклицание может служить для описания интенсивности переживаний и высокой степени концентрации внимания говорящего на объекте, привлекшем его внимание, или цели, полностью захватывающей его сознание.

«Всё равно победим!
Никогда, никогда
Коммунары не будут рабами!»

(Е. Евтушенко)

Как правило, риторическое восклицание сопровождается гиперболизацией, укрупнением масштабов происходящего.

Гора горевала о нашем горе —
Завтра! Не сразу! Когда над лбом —
Уж не memento, а просто — море!
Завтра, когда поймем.

(М. Цветаева)

Нет.

Корректно: Хотя восторг рационализатора в эти несколько дней у меня все равно никто уже не отнимет.

Сочетание "что-либо вызывает восторг" корректно.

Знаки препинания внутри подобных выражений не нужны.

Слово песня здесь лишнее. Верно: душа ликует. Также возможен вариант: душа поет.

Слова восхитить и предвосхитить (а также похитить, хитрый, хищный) восходят к старославянскому глаголу хытити 'хватать'. Хитрый буквально «хватающий, быстро схватывающий», затем «умный, сообразительный, хитрый». У слова восхитить развитие значения шло следующим образом: «схватить» > «поднять в высоту» > «привести в восторг». Предвосхитить – опередить кого-либо, предугадать (т. е. «схватить раньше»).

Таким образом, почти у всех слов, восходящих к этому корню, ударение сохраняется на первом и: предвосхитить, похитить, хитрый, хищный. И только в глаголе восхитить ударение перешло на другой слог (хотя еще в XVIII веке было нормативно: восхитить) – возможно, под влиянием других глаголов на -ить, у которых ударение также перешло с корня на суффикс, ср.: разоружить > разоружить, умалить > умалить, защитить > защитить. Известный лингвист К. С. Горбачевич пишет, что «перемещению ударения с корня на суффикс способствовало, вероятно, и постепенное уменьшение роли "церковного выговора", ср. ... защитить (церковное) – защитить (гражданское); вариант защитить встречается еще у Пушкина».

Возникает вопрос, почему у глагола предвосхитить ударение не перешло на суффикс вслед за глаголом восхитить. Возможно, причина в том, что глагол предвосхитить всегда относился к «высокому стилю», к церковной, книжной лексике.

См. ответ на вопрос № 176838.

Верно: Мать не пришла от этого в восторг, но и загодя волноваться не стала, решила: побегает мальчик и успокоится.