Это форма дательного падежа числительного, и это не ошибка, а следы употребления, когда-то широко распространенного, а ныне воспринимаемого как устаревшее. Числительные от пяти до десяти, числительные на -надцать, -дцать, -десят, а также сорок и сто могли употребляться в форме как винительного, так и дательного падежей после предлога по в составе конструкции с т. н. распределительным значением: раздали по двадцать рублей и раздали по двадцати рублей (ср. у Ф. М. Достоевского в «Братьях Карамазовых»: Иван Федорович подарил всем по десяти рублей). Употребление формы дательного падежа в составе этой конструкции частотно в текстах XVIII и XIX века, но в течение XX века постепенно сошло на нет. Однако существительные в составе этой конструкции и сейчас употребляются в форме именно дательного падежа (у всех по рублю). Поэтому те числовые обозначения, которые грамматически являются существительными (тысяча, миллион, миллиард), принимают в этой конструкции форму дательного падежа: у каждого по тысяче, по миллиону, по миллиарду.

Тысяча первый – составное порядковое числительное. В таких числительных склоняется только последнее слово. Правильно: в тысяча первый раз.

Правильно: на сумму более 53,7 тысячи. Существительным управляет дробная часть: семь десятых тысячи.

Обе формы сказуемого возможны.

Правильно: вы потратили тысячу пятьсот рублей на продукты. В составных количественных числительных склоняются все части, в данном случае все они должны стоять в форме винительного падежа. 

Верно: тысячеамперный, тысячеваттный, тысячевольтный, тысячеметровый и т. п. (см. словари).

Правильно: в тридцать девять школ-интернатов.

Да, редукция в этом случае происходит. Звук э может находиться только в ударной позиции; попадая в безударную, он редуцируется. В школе обычно этот безударный звук называют звуком [и], хотя правильнее говорить о некотором промежуточном звуке между [и] и [э]. Его называют и с призвуком э и обозначают так: [и^э]. Ср.: тема [т'э] – тематический [т'и^э],  о враче [ч'э] – о тысяче [ч'и^э].