В предложении пропущено подлежащее при сказуемых обнимал и вспоминал, вряд ли подлежащим является слово голос. Нужно дополнить или переформулировать предложение, а потом ставить знаки препинания.

Правила постановки знаков препинания при прямой речи, находящейся внутри авторских слов, таковы.

Если прямая речь оказывается внутри слов автора, то она заключается в кавычки, а перед ней ставится двоеточие; прямая речь начинается с прописной буквы. После прямой речи знаки препинания расставляются следующим образом:

а) запятая ставится, если она была необходима в месте разрыва вводящих слов автора: Сказав: «До скорой встречи», она быстро вышла из комнаты;

б) тире ставится в случае отсутствия знака препинания на месте разрыва вводящих слов автора: Перебарывая неловкость, он пробормотал студенческую остроту: «У меня бабушка корью заболела» — и хотел придать начатому разговору непринужденную легковесность (Бонд.);

в) тире ставится, если прямая речь заканчивается многоточием, вопросительным или восклицательным знаком: Дети ожидали, что он похвалит их, но дедушка, покачав головой, сказал: «Этот камень лежит здесь много лет, здесь ему место...» — и рассказал о подвиге трех советских разведчиков (Сух.); Петр Михайлыч хотел сказать: «Не впутывайся ты, пожалуйста, не в свои дела!» — но промолчал (Ч.); Она [собака] останавливается. Я повторяю: «Что сказано?» — и держу ее долго на стойке (Пришв.);

г) если прямая речь непосредственно включается в авторское предложение в качестве его члена, то она заключается в кавычки, знаки же препинания ставятся по условиям авторского предложения: Сказав Гричмару фразу «Легкой жизни не бывает, есть лишь легкая смерть», Крымов поймал на себе беспокойный, предупреждающий взгляд Стишова (Бонд.).

Примечание. Прямая речь не выделяется кавычками:

а) если нет точного указания, кому она принадлежит (прямая речь вводится безличным или неопределенно-личным предложением): Не даром говорится: дело мастера боится (посл.); Про него говорили: строгий, но справедливый;

б) если в прямую речь вставлено вводное слово говорит, указывающее на источник сообщения: Я, говорит, хочу закончить институт, профессию получить; или если прямое указание на источник сообщения оформлено как вводная конструкция: Статья ученого, сообщает критик, вызвала большой интерес общественности.

В Вашем вопросе две части. Постараемся ответить.

Пунктуация перед авторскими словами регулируется правилом препинания в цитатах. Знаки препинания речи.135.

1. Если прямая речь стоит перед вводящими ее словами автора, то после прямой речи ставится запятая и тире, а слова автора начинаются со строчной буквы: «Мы всё прекрасно понимаем, Николай Васильевич», — съязвил про себя Солодовников, присаживаясь на белую табуретку (Шукш.). Если после прямой речи стоит вопросительный, восклицательный знак или многоточие, то эти знаки сохраняются, а запятая не ставится; слова автора, как и в первом случае, начинаются со строчной буквы: «Да проститься же надо было!..» — понял он, когда крытая машина взбиралась уже на взвоз (Шукш.); «Голубоглазый мой ангел-хранитель, что ты смотришь на меня с такой грустной тревогой?» — хотел иронически сказать Крымов (Бонд.).

Если на месте разрыва оказывается восклицательный или вопросительный знак, то он сохраняется, далее следует тире перед словами автора (со строчной буквы), после этих слов ставится точка и тире; вторая часть прямой речи начинается с прописной буквы: «Даю ли я сейчас счастье многим людям, как это было ранее? — думал Кипренский. — Неужели только глупцы пытаются устроить благополучие своей жизни?» (Пауст.); «Да тихо! — приказал дежурный. — Можете вы помолчать?!» (Шукш.).

2. А вот точку в конце предложения (после кавычек) ставить нужно.

...Если перед закрывающей кавычкой стоит знак вопросительный, восклицательный или многоточие (и на этом предложение заканчивается), то те же знаки, необходимые по условиям всего предложения, не повторяются после закрывающей кавычки; неодинаковые знаки (перед кавычкой и после кавычки) ставятся; ср.: «Вы читали романы «Что делать?» и «Кто виноват?»; Кто не знает великолепных слов А. Блока: «Сотри случайные черты. И ты увидишь — мир прекрасен...»?; Неужели вы не прочитали роман «Что делать?»!