Запятая нужна: Ребенок будет учиться держать голову, лежа на животе.

Большой толковый словарь

Хоть кол на голове теши (прост. неодобр) – об упрямом, не поддающемся уговорам или равнодушном человеке. Тесать кол – значит заострять палку (кол) при помощи топора. Таким образом, фразеологизм выступает как образная и шутливая характеристика твердости, крепкости головы упрямого человека.

В этих случаях сочетание начиная с потеряло глагольное значение и перешло в разряд предлогов, а потому обороты с ним не обособляются: Получаете призы начиная с пятой чашки кофе; Используете начиная с натуральной базы 3. Сравним: Начиная с пятой чашки кофе свой день, я готовился к худшему (слово начиная сохраняет глагольное значение и является деепричастием).

Корректная пунктуация: А съеденная однажды, уже в студенчестве, с жуткого голода у подружки в общежитии жареная картошка полностью реабилитировала горький корнеплод в моих глазах.

Такое употребление некорректно.

Ваши коллеги не вполне правы. Глагол пойти в конструкции пойду и (сделаю что-либо) имеет значение "приступить к действию, обозначенному вторым глаголом". Такие конструкции широко распространены в разговорной речи. Например: Вот пойду и мультики смотреть буду! А идти никуда не могу — тетя Диана так за меня боится… [Леонид Каганов. Танкетка (2011)]; И грозил со слезою в голосе: — Вот пойду и застрелюсь [В. Г. Галактионова. Спящие от печали (2010)]; Однажды на репетиции Завадский... вскочил и с криком «Пойду и повешусь!» выбежал из зрительного зала [Алексей Щеглов. Фаина Раневская: вся жизнь (2003)]. Очевидно, Ваши коллеги решили, что в произнесенной Вами фразе соседствуют два глагола движения (пойти и поехать), отчего она и действительно выглядит неловкой. Однако подчеркнем, что грамматически такая конструкция вполне закономерна. 

Эти слова - из стихотворения А. Плещеева «Старик»:

У лесной опушки домик небольшой
Посещал я часто прошлою весной.

В том домишке бедном жил седой лесник.
Памятен мне долго будешь ты, старик.

Как приходу гостя радовался ты!
Вижу как теперь я добрые черты...

Вижу я улыбку на лице твоем --
И морщинкам мелким нет числа на нем!

Вижу армячишко рваный на плечах,
Шапку на затылке, трубочку в зубах;

Помню смех твой тихий, взгляд потухших глаз,
О житье минувшем сбивчивый рассказ.

По лесу бродили часто мы вдвоем;
Старку там каждый кустик был знаком.

Знал он, где какая птичка гнезда вьет,
Просеки, тропинки знал наперечет.

А какой охотник был до соловьев!
Всю-то ночь, казалось слушать он готов,

Как в зеленой чаще песни их звучат;
И еще любил он маленьких ребят.

На своем крылечке сидя каждый день,
Ждет, бывало, деток он из деревень.

Много их сбегалось к деду вечерком;
Щебетали, словно птички перед сном:

"Дедушка, голубчик, сделай мне свисток".
"Дедушка, найди мне беленький грибок".

"Ты хотел мне нынче сказку рассказать".
"Посулил ты белку, дедушка, поймать".

"Ладно, ладно, детки, дайте только срок,
Будет вам и белка, будет и свисток!"

И смеясь, рукою дряхлой гладил он
Детские головки, белые как лен.

Ждал поры весенней с нетерпеньем я:
Думал, вот приеду снова в те края

И отправлюсь к другу старому скорей.
Он навстречу выйдет с трубочкой своей

И начнет о сельских новостях болтать.
По лесу бродить с ним будем мы опять,

Слушая как в чаще свищут соловьи...
Но увы! Желанья не сбылись мои.

Как с деревьев падать начал лист сухой,
Смерть подкралась к деду тихою стопой.

Одинок угас он в домике своем,
И горюют детки больше всех по нем:

"Кто поймает белку, сделает свисток?"
Долго будет мил им добрый старичок.

И где спит теперь он непробудным сном,
Часто голоса их слышны вечерком...