Рекомендация нашего «Справочника по пунктуации» состоит в том, что присоединяемые предлогом «начиная с», обычно обособляются. Обособление не требуется, если предлог «начиная с» в буквальном смысле указывает на время, дату начала чего-либо (при этом слово «начиная» обычно можно опустить). Следовательно, в данном случае правильный вариант: Все члены ряда, начиная с пятого, больше нуля.
Верен первый вариант: у составных порядковых числительных склоняется только последнее слово.
Верно: ...одних только «Красных Октябрей» был выставлен не один десяток.
Правильно: обучающегося в пятом классе (но ср.: учащегося пятого класса).
Верно: до тысяча девятьсот пятого года.
Корректно в им. п.: три целых и две десятых. Выбор падежной формы определяется традицией и обусловлен, вероятно, влиянием числительных пять, шесть, семь и т. д. (целых, десятых).