Значение слова дикарь 'человек, отдыхающий где-либо или путешествующий неорганизованно, без путевки' уже вошло в толковые словари, оно не воспринимается как новое, непривычное, поэтому корректно писать без кавычек: отдыхать дикарем.
Как правило, открывающие кавычки ставятся перед сложным словом или перед словом с определением, которое присоединяется дефисом: нашествие "туристов-дикарей".