Это форма дательного падежа числительного, и это не ошибка, а следы употребления, когда-то широко распространенного, а ныне воспринимаемого как устаревшее. Числительные от пяти до десяти, числительные на -надцать, -дцать, -десят, а также сорок и сто могли употребляться в форме как винительного, так и дательного падежей после предлога по в составе конструкции с т. н. распределительным значением: раздали по двадцать рублей и раздали по двадцати рублей (ср. у Ф. М. Достоевского в «Братьях Карамазовых»: Иван Федорович подарил всем по десяти рублей). Употребление формы дательного падежа в составе этой конструкции частотно в текстах XVIII и XIX века, но в течение XX века постепенно сошло на нет. Однако существительные в составе этой конструкции и сейчас употребляются в форме именно дательного падежа (у всех по рублю). Поэтому те числовые обозначения, которые грамматически являются существительными (тысяча, миллион, миллиард), принимают в этой конструкции форму дательного падежа: у каждого по тысяче, по миллиону, по миллиарду.

Использовать кавычки не требуется.