Словари фиксируют только глагол истерить. См., например: Толковый словарь русской разговорной речи. Вып. 1. А—И / Отв. ред. Л. П. Крысин. — М.: Языки славянской культуры, 2014.
Глаголы истерить и истериковать стали употребляться в разговорной речи во 2 половине XX века. Первый глагол встречается в одном из стихотворений Владимира Высоцкого. Второй глагол отмечен в издании «Новое в русской лексике — 1982» (М., 1986). Иллюстрацией служит строка из повести «О» Андрея Вознесенского.