Предпочтительно согласование во мн. ч.
Поскольку здесь не возникает сомнений, что определение относится ко всем существительным, лучше использовать форму единственного числа: мое детство, отрочество и юность.
Постановка запятой зависит от интонации. Решение принимает автор.
При существительных мужского и среднего рода, зависящих от числительных два, три, четыре, определение, находящееся между числительным и существительным, в современном языке ставится, как правило, в форме родительного падежа множественного числа. Верно: два шелковых платья.