Слово кафе заимствовано из французского языка. В заимствованных словах перед звуком [э] может произноситься как мягкий согласный звук (пике, тетрадь, демократ, эпидемия), так и твердый (карате, варьете, пенсне, пюре, теннис, идентификация, дзен). В первом случае буква е обозначает мягкость предшествующего согласного, во втором — нет. Заимствованные слова имеют тенденцию к смягчению согласного перед [э], так как в русских словах перед [э] произносится только мягкий согласный. Например, раньше слово музей произносилось с сочетанием [зэ], а теперь с [з'э]. Произношение некоторых заимствованных слов сейчас колеблется. Так, произносятся вариативно и с твердым, и с мягким согласным перед [э] слова бассейн, сейф, кемпинг. Написание буквы е после согласных в заимствованных словах не препятствует их фонетическим изменениям в соответствии с закономерностями русской фонетики.

Правило существует для конца слов. В конце иноязычных слов после как твердых, так и мягких согласных пишется буква е, напр.: алиготе, амбре, анжанте, антре, апплике, аутодафе, безе, буриме, бурре, галифе, глясе, гофре, декольте, де-юре, кабаре, канапе, карате, каре, консоме, купе, кураре, кюре, макраме, мачете, моралите, нотабене, падре, пенсне, пике, пирке, плиссе, подшофе, пюре, резюме, реноме, руте, саке, соте, суаре, сюзане, тире, удэге, форте, фрикасе, фуэте, экспозе, эмансипе, эссе (кроме удэ, мохэ).

О собственных именах в правилах русской орфографии говорится, что во многих именах иноязычного происхождения пишется буква э. Как передавать по-русски японское имя, нужно спросить у специалистов по передаче японских собственных имен. Мы можем только констатировать, что в текстах встречаются оба варианта. 

В разговорной речи допустимо: нет баклажан, пюре из баклажан. Но строгая литературная норма: нет баклажанов, пюре из баклажанов.