Вариант со второй частью а и некорректен.
Необходимости в постановке тире нет. Но оно вполне возможно как интонационный знак. Решает автор текста.
Если это все предложение или конец предложения, то указанная запятая не требуется.
Верно: Как только меня не терзали!
Запятая перед только нужна.
Союзная конструкция: не только... но и.