В подобных сочетаниях с числительными два, три, четыре прилагательное обычно ставится в форме родительного падежа, если существительное относится к мужскому или среднему роду, и в форме именительного, если существительное женского рода. Таким образом, верно: два ваших ответа. Существительное ответ стоит в форме род. падежа ед. числа, и в этой форме с существительным согласуется местоимение ваш.
Вообще говоря, род не принято определять у существительных, не имеющих формы множественного числа. Но "Грамматический словарь" А. А. Зализняка считает слово очки существительным мужского рода.
Если же речь о форме мн. ч. слова "очко", то род, разумеется, средний.