Варианты допустимы. Выбор одного из них определяется смысловыми особенностями высказывания. Можно предположить, в частности, что речь идет об отказе отвечать, и в этом случае форма единственного числа существительного ответ окажется предпочтительной. Но описываемая ситуация может быть другой, когда некто отказывается от ответов на вопросы.