В «Русском правописании с комментариями» читаем:

«В причастиях и отглагольных прилагательных, оканчивающихся на сочетание «гласная + н(н)ый», образованных от глаголов на -ать(-ять), пишется гласная а(я) (недослушанный — ср. недослушать, подержанный, резаный, выгулянный, выменянный, нечаянный), в причастиях и отглагольных прилагательных, образованных от глаголов не на -ать(-ять), пишется гласная е (вверченный — ср. ввертеть, виденный, крашеный, положенный, стриженый, укушенный, хоженый).

Исключения: выровненный (хотя выровнять), подравненный (хотя подравнять), приравненный (хотя приравнять), сравненный (хотя сравнять), уравненный (хотя уравнять), защекоченный (хотя защекотать), поколебленный (хотя поколебать), саженый (хотя сажать, от прост. садить)».

Правило звучит так: в отглагольных прилагательных и причастиях на «гласная + н(н)ый», образованных от глагола на -ать(-ять), пишется гласная а(я) (нечаянный, выгулянный, недослушанный, подержанный, выменянный, резаный), в словах, образованных от глагола не на -ать(-ять), пишется гласная е (укушенный, положенный, хоженый, крашеный). Глагол отвергнуть оканчивается не на -ать(-ять), поэтому перед нн пишется е.

Правило таково: в отглагольных прилагательных и причастиях на «гласная + н(н)ый», образованных от глаголов на -ать (-ять), пишется а (я): нечаянный, недослушанный, подержанный, выменянный, резаный, в словах, образованных от глаголов не на -ать (-ять), пишется е: укушенный, положенный, хоженый, крашеный.

Таким образом, правильно: отчаянный, т. к. это слово образовано от отчаяться. Написание буквы я в глаголе подчиняется следующему правилу: после гласных перед -ть пишутся буквы и или я. Буква и пишется после гласного о, напр.: стоить, строить, успокоить; буква я — после гласных а, е, у: лаять, таять, каяться, отчаяться, веять, надеяться, лелеять, сеять, затеять, чуять. Исключения: глаголы драить и клеить.