Деепричастие обособляется в обоих случаях: Как, не воспитывая, воспитывать детей? Как воспитывать детей, не воспитывая?
Лучше: Слишком поздно спохватился, что нужно воспитывать ребенка. Обратите внимание, что глагол спохватился носит разговорный характер.
Вопросительный знак на месте, верная пунктуация: Автор размышляет над следующим вопросом: «Что необходимо воспитывать в человеке с детства, с ранних лет?».