Обороты структуры начиная с (чего-либо) и заканчивая (чем-либо) не кодифицированы справочниками по пунктуации, однако для постановки сразу двух знаков нет оснований. Рекомендуемый вариант: Начиная с первого и заканчивая последним курсом — все они были на своих занятиях.
В этом предложении нужен только один знак препинания – точка в конце. Обороты с предлогом начиная с (чего-либо) не обособляются, если предлог в буквальном смысле указывает на время, дату начала чего-либо (при этом слово начиная обычно можно опустить).
Запятая не нужна. Обороты с предлогом начиная с (чего-либо) не выделяются запятыми, если предлог в буквальном смысле указывает на время, дату начала чего-либо (при этом слово «начиная» обычно можно опустить).
В данном случае перед предлогом начиная с запятая не нужна, поскольку здесь он указывает на исходный момент череды специальных штрафных ударов. Сравним примеры из «Справочника по пунктуации», в которых предлог начиная с указывает на время, дату начала чего-либо: Он воевал с Наполеоном начиная с 1805 года и был на полях больших битв. Ю. Тынянов, Гражданин Очер. Если бы я писал научно-популярную книгу, я бы прежде всего воспел дрозофилу, сочинил бы нечто вроде оды этому насекомому, верному помощнику тысяч генетиков начиная с 1909 года. Д. Гранин, Зубр. Начиная со вторника погода резко изменилась. Добавим, что словосочетание штрафной удар начиная с шестого набранного нарушения страдает неполнотой, в нем отсутствует глагольная форма, от которой зависит сочетание с предлогом начиная с, сравним: штрафной удар, назначаемый начиная с шестого набранного нарушения.
С точки зрения авторов толковых словарей варианты равноправны. Однако в справочнике Д. Э. Розенталя «Управление в русском языке» приведена такая рекомендация: с помощью – обычно при указании орудия, средства совершения действия, при помощи – при указании лица.
Рекомендация нашего «Справочника по пунктуации» состоит в том, что присоединяемые предлогом «начиная с», обычно обособляются. Обособление не требуется, если предлог «начиная с» в буквальном смысле указывает на время, дату начала чего-либо (при этом слово «начиная» обычно можно опустить). Следовательно, в данном случае правильный вариант: Все члены ряда, начиная с пятого, больше нуля.