Примеры в справочниках показывают, что в Вашем случае нужно поставить тире. Д. Э. Розенталь пишет: «И только когда он шептал: "Мама! Мама!" — ему становилось как будто легче (Ч.) — тире после восклицательного знака, которым заканчивается прямая речь». В этом предложении прямая речь находится в конце придаточной части, после нее должна ставиться запятая, но рекомендуется ставить тире, так как прямая речь завершается восклицательным знаком. Подобный пример находим и в Полном академическом справочнике под ред. В. В. Лопатина: Петр Михайлыч хотел сказать: «Не впутывайся ты, пожалуйста, не в свои дела!» — но промолчал (Ч.).

Вместо тире нужно поставить запятую. 

Нужно поставить перед прямой речью двоеточие, а после прямой речи — тире вместо запятой. 

Возможны два варианта оформления. Без прямой речи: Он поздоровался и сказал спасибо. И с прямой речью: Он поздоровался и сказал: «Спасибо».

Если в конце прямой речи стоит восклицательный или вопросительный знак, точка после кавычек не ставится: Учитель сказал: «Народу здесь много!» Жань Ю спросил: «Народу здесь много, но что надо сделать для него?» Учитель ответил: «Надо сделать его богатым».

В русской печати устойчива традиция использовать именно кавычки «ёлочки». В качестве внутренних кавычек применяются кавычки «лапки». Об этом написано, например, в «Справочнике по пунктуации для работников печати» Д. Э. Розенталя (М., 1984):

5. Если в начале или в конце текста (прямой речи, цитаты) встречаются внутренние и внешние кавычки, то они должны отличаться рисунком («ёлочки» и «лапки»): Автор статьи указывает, что «в золотой фонд мировой литературы вошли такие произведения русской классики, как „Война и мир“» [§ 66.].

Вы расставили знаки верно. После прямой речи, стоящей внутри слов автора, запятая ставится, если она была необходима в месте разрыва авторских слов.

Согласно справочнику Д. Э. Розенталя, это возможно в одном случае.

Если слова автора, стоящие после прямой речи, представляют собой отдельное предложение, то они пишутся с прописной буквы:

— Скорей, загорелась школа! — И он побежал по домам будить людей.

В предложении пропущено подлежащее при сказуемых обнимал и вспоминал, вряд ли подлежащим является слово голос. Нужно дополнить или переформулировать предложение, а потом ставить знаки препинания.

Правила постановки знаков препинания при прямой речи, находящейся внутри авторских слов, таковы.

Если прямая речь оказывается внутри слов автора, то она заключается в кавычки, а перед ней ставится двоеточие; прямая речь начинается с прописной буквы. После прямой речи знаки препинания расставляются следующим образом:

а) запятая ставится, если она была необходима в месте разрыва вводящих слов автора: Сказав: «До скорой встречи», она быстро вышла из комнаты;

б) тире ставится в случае отсутствия знака препинания на месте разрыва вводящих слов автора: Перебарывая неловкость, он пробормотал студенческую остроту: «У меня бабушка корью заболела» — и хотел придать начатому разговору непринужденную легковесность (Бонд.);

в) тире ставится, если прямая речь заканчивается многоточием, вопросительным или восклицательным знаком: Дети ожидали, что он похвалит их, но дедушка, покачав головой, сказал: «Этот камень лежит здесь много лет, здесь ему место...» — и рассказал о подвиге трех советских разведчиков (Сух.); Петр Михайлыч хотел сказать: «Не впутывайся ты, пожалуйста, не в свои дела!» — но промолчал (Ч.); Она [собака] останавливается. Я повторяю: «Что сказано?» — и держу ее долго на стойке (Пришв.);

г) если прямая речь непосредственно включается в авторское предложение в качестве его члена, то она заключается в кавычки, знаки же препинания ставятся по условиям авторского предложения: Сказав Гричмару фразу «Легкой жизни не бывает, есть лишь легкая смерть», Крымов поймал на себе беспокойный, предупреждающий взгляд Стишова (Бонд.).

Примечание. Прямая речь не выделяется кавычками:

а) если нет точного указания, кому она принадлежит (прямая речь вводится безличным или неопределенно-личным предложением): Не даром говорится: дело мастера боится (посл.); Про него говорили: строгий, но справедливый;

б) если в прямую речь вставлено вводное слово говорит, указывающее на источник сообщения: Я, говорит, хочу закончить институт, профессию получить; или если прямое указание на источник сообщения оформлено как вводная конструкция: Статья ученого, сообщает критик, вызвала большой интерес общественности.

Это не ошибка, потому что выбор рисунка кавычек – это не вопрос правописания. В правилах пунктуации оговаривается только, что необходимо использовать кавычки разного рисунка для оформления цитаты (прямой речи) и включенных в нее закавыченных слов. Вот правило Д. Э. Розенталя:

Если в начале или в конце текста (прямой речи, цитаты) встречаются внутренние и внешние кавычки, то они должны отличаться рисунком («ёлочки» и «лапки»): Автор статьи указывает, что «в золотой фонд мировой литературы вошли такие произведения русской классики, как „Война и мир“».

Если между внутренними и внешними кавычками стоит вопросительный или восклицательный знак, то могут использоваться кавычки одного рисунка: Выдающимся публицистическим произведением А. М. Горького является статья «С кем вы, «мастера культуры»?».