Это вполне корректный, хотя и устаревший оборот речи. Вот цитаты из "Национального корпуса русского языка":

Мо́жет быть, в глубине́ души́ импера́тор да́же пожале́л заключённого Конаки и вполне́ удовлетвори́лся ссы́лкою в ка́торжные рабо́ты престу́пной ба́бы-кабатчицы. [Ю. Н. Тынянов. Малолетный Витушишников (1933)]

Съезд выбрал из своего состава самостоятельное правительство «Терский народный совет», под председательством некоего Пашковского, сосланного некогда в каторжные работы за ограбление казначея реального училища и возвращенного) в силу общей амнистии, данной Временным правительством. [А. И. Деникин. Очерки русской смуты. Том II. Борьба генерала Корнилова (1922)]

Да за мои мысли меня бы, может, уж в каторжные работы давно угнали! [И. С. Шмелев. Человек из ресторана (1911)]

Глагол черпать имеет несколько значений, в частности:

1.     Набирать, доставать что-л. жидкое, сыпучее, захватывая чем-л. (обычно снизу, из глубины);

2.     Извлекать, заимствовать что-л. откуда-л.;

     и др.

От глагола несов. вида черпать в 1 значении образуется глагол сов. вида черпнуть, суффикс -ну- вносит значение ‘однократно, иногда также с небольшой интенсивностью совершить действие, названное производящим глаголом’.

От глагола черпнуть со значением ‘однократно или с небольшой интенсивностью набирать, доставать что-л. жидкое, сыпучее’ с помощью приставки под- образуется глагол подчерпнуть со значением ‘черпнуть немного’. Глагол малоупотребителен, поэтому фиксируется не всеми словарями.

От глагола несов. вида черпать во 2 значении с помощью приставки по- и суффикса -ну- образуется глагол сов. вида почерпнуть со значением ‘извлечь, позаимствовать что-л. откуда-л.’. По похожей модели, но с другой приставкой аналогичного значения образован глагол уснуть ← спать.

В данном случае перед предлогом начиная с запятая не нужна, поскольку здесь он указывает на исходный момент череды специальных штрафных ударов. Сравним примеры из «Справочника по пунктуации», в которых предлог начиная с указывает на время, дату начала чего-либо: Он воевал с Наполеоном начиная с 1805 года и был на полях больших битв. Ю. Тынянов, Гражданин Очер. Если бы я писал научно-популярную книгу, я бы прежде всего воспел дрозофилу, сочинил бы нечто вроде оды этому насекомому, верному помощнику тысяч генетиков начиная с 1909 года. Д. Гранин, Зубр. Начиная со вторника погода резко изменилась. Добавим, что словосочетание штрафной удар начиная с шестого набранного нарушения страдает неполнотой, в нем отсутствует глагольная форма, от которой зависит сочетание с предлогом начиная с, сравним: штрафной удар, назначаемый начиная с шестого набранного нарушения.

Однозначного ответа нет. Приставка "а" есть в греческом языке, из которого заимствовано (целиком) слово атеист.  С точки зрения синхронного (современного) словообразования приставка не вычленяется. При этом морфемные словари выделяют  в этом слове приставку и суффикс:  а/те/и'ст/.

Да, запятая нужна. Ответ исправлен. Спасибо за замечание!

Предлагаем Вам пользоваться также нашими замечательными электронными словарями (окно «Искать на Грамоте», набрать свекла).

Корректно: 

1. В предложении "Глубины Вселенной всегда притягивали человеческий взор, и космос был недосягаемой мечтой" запятая перед "и" нужна. Наличие общего второстепенного члена неочевидно.

2. В предложении "Однако всему этому предшествовала долгая история рождения и развития идеи полёта в космос" запятая после "однако" не ставится.

3. В предложении "Опьянённый радостью полёта, пылкий Икар поднялся слишком близко к солнцу, и жар растопил воск крыльев" запятая перед "и" нужна.

4. В случае с "Галилео Галилея, в первой четверти XVII века бросившего взгляд на Луну через телескоп" необходимо видеть полное предложение, чтобы корректно расставить знаки препинания. Но если "в первой четверти XVII века" относится к причастию бросившего, то запятая не нужна. 

5. Этот фундаментальный труд принёс белорусу с Витебщины мировую славу!

6. 50-е годы.

7. В. Г. Гусаков и государственный секретарь Союзного государства Д. Ф. Мезенцев.

Словарям доверять стоит, но с учетом их особенностей. «Русский орфографический словарь» под ред. В. В. Лопатина и О. Е. Ивановой, на который Вы ссылаетесь, – это академический орфографический словарь. Он отражает современную орфографическую норму, т. е. помогает установить, какое написание является правильным. Однако фиксация слова в словаре не означает, что это слово уместно в любой ситуации, в любом стиле речи. Например, в словаре зафиксированы слова на фиг и пофиг. Это означает, что если у пишущего возникнет потребность написать эти грубые слова (например, в тексте сценария фильма, в речи персонажей), то сделать это нужно в соответствии с правилами орфографии, т. е. так, как зафиксировано в этом словаре. 

Словарь Т. Ф.  Ефремовой – это авторский толковый словарь. Его многие ценят за то, что в нем зафиксированы новые слова, еще не вошедшие в академические словари.

Однако в случае орфографических расхождений руководствоваться следует академическим орфографическим словарем.

Слова по-ее, по-его, по-их, по-ихнему  употребляются крайне редко и являются стилистически сниженными.