Словари фиксируют только одно значение слова инфант: 'в Испании и Португалии при монархическом правлении: титул принца; лицо, носящее этот титул'; значения 'инфантильный человек' у слова инфант не отмечается. Поэтому с написанием без кавычек трудно согласиться: кавычки здесь как раз к месту (т. к. слово употребляется не в своем обычном значении).