Согласно справочнику Д. Э. Розенталя, это возможно в одном случае.

Если слова автора, стоящие после прямой речи, представляют собой отдельное предложение, то они пишутся с прописной буквы:

— Скорей, загорелась школа! — И он побежал по домам будить людей.

Выбор частицы зависит от смысла и строят предложения. Например, верно: Каким бы ни было утро, кофе всегда настроит меня на рабочий лад.

Следует писать с большой: Он чувствовал, что нужно что-нибудь сказать. Вроде «Забудь всё, что здесь происходило», «Никому не рассказывай» или «Спасибо за всё, что ты для меня делаешь». 

Не обособляется деепричастный оборот, тесно связанный по содержанию со сказуемым и образующий смысловой центр высказывания. На наш взгляд, в Вашем предложении запятая все же нужна, так как предложение содержит два смысловых центра – сказуемое и деепричастный оборот.

Ваш вариант пунктуации возможен.

В предложении пропущено подлежащее при сказуемых обнимал и вспоминал, вряд ли подлежащим является слово голос. Нужно дополнить или переформулировать предложение, а потом ставить знаки препинания.

Правила постановки знаков препинания при прямой речи, находящейся внутри авторских слов, таковы.

Если прямая речь оказывается внутри слов автора, то она заключается в кавычки, а перед ней ставится двоеточие; прямая речь начинается с прописной буквы. После прямой речи знаки препинания расставляются следующим образом:

а) запятая ставится, если она была необходима в месте разрыва вводящих слов автора: Сказав: «До скорой встречи», она быстро вышла из комнаты;

б) тире ставится в случае отсутствия знака препинания на месте разрыва вводящих слов автора: Перебарывая неловкость, он пробормотал студенческую остроту: «У меня бабушка корью заболела» — и хотел придать начатому разговору непринужденную легковесность (Бонд.);

в) тире ставится, если прямая речь заканчивается многоточием, вопросительным или восклицательным знаком: Дети ожидали, что он похвалит их, но дедушка, покачав головой, сказал: «Этот камень лежит здесь много лет, здесь ему место...» — и рассказал о подвиге трех советских разведчиков (Сух.); Петр Михайлыч хотел сказать: «Не впутывайся ты, пожалуйста, не в свои дела!» — но промолчал (Ч.); Она [собака] останавливается. Я повторяю: «Что сказано?» — и держу ее долго на стойке (Пришв.);

г) если прямая речь непосредственно включается в авторское предложение в качестве его члена, то она заключается в кавычки, знаки же препинания ставятся по условиям авторского предложения: Сказав Гричмару фразу «Легкой жизни не бывает, есть лишь легкая смерть», Крымов поймал на себе беспокойный, предупреждающий взгляд Стишова (Бонд.).

Примечание. Прямая речь не выделяется кавычками:

а) если нет точного указания, кому она принадлежит (прямая речь вводится безличным или неопределенно-личным предложением): Не даром говорится: дело мастера боится (посл.); Про него говорили: строгий, но справедливый;

б) если в прямую речь вставлено вводное слово говорит, указывающее на источник сообщения: Я, говорит, хочу закончить институт, профессию получить; или если прямое указание на источник сообщения оформлено как вводная конструкция: Статья ученого, сообщает критик, вызвала большой интерес общественности.

В этом предложении однако — союз.

Корректно: Вспоминаю ту поразившую меня картину. Собрались все, и вовремя (в значении 'и притом вовремя').

Запятая не требуется.

Корректно: В ответ он заулыбался и, тихо напевая: «...как свежи были розы...» — прошел в спальню.