Разница в значении есть. См. «Современный словарь иностранных слов» Л. П. Крысина:
…фил
[< греч. philos друг, любящий < phileō люблю]. Конечная составная часть сложных слов, обозначающих человека, любящего что-н., расположенного к чему-н., напр.: библиофил.
…ман
[< греч. mania безумие; страсть, влечение]. Конечная составная часть сложных слов, обозначающих страстных любителей чего-л. или тех, кто страдает болезненной склонностью к чему-л., напр.: библиоман.