Предпочтительно согласование во мн. ч.
Поскольку здесь не возникает сомнений, что определение относится ко всем существительным, лучше использовать форму единственного числа: мое детство, отрочество и юность.
Постановка запятой зависит от интонации. Решение принимает автор.