Я не вижу различий в категоричности между этими двумя примерами. Различие вижу только в том, что употребление глагола СВ в прошедшем времени (в отличие от будущего) в сочетании с никогда в принципе противоречит семантике этого наречия: никогда означает, что было много случаев [сказать слова упрека], но ни в одном из них этого действия не было. Речь, соответственно, идет о некотором множестве потенциальных осуществлений действия: для этой цели используется НСВ.

*Никогда не пришел почти так же плохо, как *Иногда пришел. Единственный случай, когда никогда не пришел более или менее допустимо, — это конструкция с так и: Много раз собирался ко мне в гости, грозился зайти буквально завтра, но потом неожиданно уехал и так никогда и не пришел.

Поэтому хороший русский язык НЕ ПРЕДПОЛАГАЕТ употреблений типа *Никогда не сказал ни одного слова упрека. В любом подобном употреблении я вижу или небрежность говорящего, или слабость языкового чутья, или влияние какого-нибудь иностранного языка.

Давайте разбираться. "В разы" - просторечное выражение (это не совсем то же самое, что речевая ошибка). А вот примеры употребления в ином значении: в прошлые разы, в последние разы и т. п.