Оба варианта правильны.

Найти такие слова, действительно, непросто. Это связано с тем, что имена существительные, оканчивающиеся на -е, – это либо обычные существительные среднего рода (море, солнце, сердце, честолюбие), либо слова мужского рода с экспрессивными суффиксами (носище, усище, голосище), либо несклоняемые слова иноязычного происхождения. В подавляющем большинстве такие слова тоже относятся к среднему роду (биде, драже, безе, саке, реле, божоле, кабаре, купе и т. п.), слов мужского и женского рода среди них единицы.

Мужской или женский род несклоняемые слова иноязычного происхождения приобретают только в тех случаях, когда к такому же роду относится русский синоним или слово, обозначающее родовое понятие, а также в тех случаях, когда они называют лиц или животных мужского (женского) пола. Так, к мужскому роду относятся слова атташе, конферансье (названия профессий – традиционно слова мужского рода), мсье, падре (названия лиц мужского пола). Медресе – существительное среднего рода. К женскому роду относятся слова протеже, кутюрье (если обозначают лиц женского пола), шимпанзе (если обозначает самку животного), цеце (влияние слова муха), биеннале (в значении 'выставка').

Заметим, что именно по указанным выше причинам такие трудности вызывает слово кофе. Это слово (несклоняемое нарицательное существительное иноязычного происхождения) самой системой языка втягивается в парадигму среднего рода, хотим мы того или нет. Мужской род (появившийся под влиянием прежних форм кофий, кофей) пока еще поддерживается традицией (и охраняется словарями), пока еще употребление слова кофе как существительного среднего рода допустимо лишь в непринужденной разговорной речи, но налицо все предпосылки для окончательного перехода  кофе  в разряд слов среднего рода (возможно, это случится через столетие, возможно, раньше).

Ответ на Ваш вопрос (в том виде, в каком Вы его сформулировали) может занять не один десяток страниц. В каждой стране свои традиции и правила обращения к другому человеку.