Следует писать через тире с пробелами: Папуа – Новая Гвинея (если написать через дефис, получится сложное слово Папуа-Новая, т. е. будут нарушены смысловые отношения между единицами). Написание через тире Папуа – Новая Гвинея  зафиксировано нормативными словарями русского языка, в том числе «Русским орфографическим словарем» Российской академии наук.

Говоря о нарицательных словах, вы, вероятно, имеете в виду правило 1956 года: «После согласных пишется е, кроме слов пэр, мэр, сэр, а также некоторых собственных имен, например: Улан-Удэ, Бэкон, Тэн». С середины ХХ века список исключений к правилу значительно пополнился новыми заимствованиями (например: бэкграунд, сэндвич (наряду с сандвич), фэнтези, хетчбэк), а также старыми словами, которые устойчиво писались с э вопреки правилу и первоначальной фиксации в орфографическом словаре (пленэр, мэтр). Более полный список слов с э дан в справочнике ресурса «Орфографическое комментирование русского словаря» (см. правило 6).  

Для русской передачи иностранных собственных имен были разработаны специальные рекомендации, см., например:

Р. С. Гиляревский, Б. А. Старостин. Иностранные имена и названия в русском тексте. 3-е изд., испр. и доп. М., 1985;

Инструкция по русской передаче английских географических названий / Гл. упр. геодезии и картографии при Совете Министров СССР. М., 1975.