Обороты со словами по (чьему-либо) мнению... указывают на источник сообщения и являются вводными выражениями. Они обособляются и в начале, и в середине, и в конце предложения. Подробнее см. в "Справочнике по пунктуации".

В предложении пропущено подлежащее при сказуемых обнимал и вспоминал, вряд ли подлежащим является слово голос. Нужно дополнить или переформулировать предложение, а потом ставить знаки препинания.

Правила постановки знаков препинания при прямой речи, находящейся внутри авторских слов, таковы.

Если прямая речь оказывается внутри слов автора, то она заключается в кавычки, а перед ней ставится двоеточие; прямая речь начинается с прописной буквы. После прямой речи знаки препинания расставляются следующим образом:

а) запятая ставится, если она была необходима в месте разрыва вводящих слов автора: Сказав: «До скорой встречи», она быстро вышла из комнаты;

б) тире ставится в случае отсутствия знака препинания на месте разрыва вводящих слов автора: Перебарывая неловкость, он пробормотал студенческую остроту: «У меня бабушка корью заболела» — и хотел придать начатому разговору непринужденную легковесность (Бонд.);

в) тире ставится, если прямая речь заканчивается многоточием, вопросительным или восклицательным знаком: Дети ожидали, что он похвалит их, но дедушка, покачав головой, сказал: «Этот камень лежит здесь много лет, здесь ему место...» — и рассказал о подвиге трех советских разведчиков (Сух.); Петр Михайлыч хотел сказать: «Не впутывайся ты, пожалуйста, не в свои дела!» — но промолчал (Ч.); Она [собака] останавливается. Я повторяю: «Что сказано?» — и держу ее долго на стойке (Пришв.);

г) если прямая речь непосредственно включается в авторское предложение в качестве его члена, то она заключается в кавычки, знаки же препинания ставятся по условиям авторского предложения: Сказав Гричмару фразу «Легкой жизни не бывает, есть лишь легкая смерть», Крымов поймал на себе беспокойный, предупреждающий взгляд Стишова (Бонд.).

Примечание. Прямая речь не выделяется кавычками:

а) если нет точного указания, кому она принадлежит (прямая речь вводится безличным или неопределенно-личным предложением): Не даром говорится: дело мастера боится (посл.); Про него говорили: строгий, но справедливый;

б) если в прямую речь вставлено вводное слово говорит, указывающее на источник сообщения: Я, говорит, хочу закончить институт, профессию получить; или если прямое указание на источник сообщения оформлено как вводная конструкция: Статья ученого, сообщает критик, вызвала большой интерес общественности.

Обороты обособляются как вводные, указывающие на источник сообщения.

Корректно обособление как вводного сочетания, указывающего на источник сообщения.

Эти слова могут обособляться как вводные, указывающие на источник сообщения.

Верен второй вариант. Обособляются вводные слова, указывающие на источник сообщения.