Предложенный Вами вариант вполне возможен, даже предпочтителен, чтобы не перегружать текст кавычками. Пунктуация верна.
Втайне — наречие со значением "скрывая от других; тайно". В тайне — существительное с предлогом.
Эти слова выполняют разную синтаксическую роль в предложении.