То есть как отличить? Например, небо было пасмурно (род прилагательного соответствует роду определяемого слова) и на улице было пасмурно (определяемого слова нет и быть не может).
«Решает», какого рода то или иное слово, язык. Грамматические свойства слов формируются в языке естественным путем, лингвисты фиксируют сложившиеся нормы и могут с помощью кодификации (фиксации в нормативных источниках) немного направлять этот процесс, но только в рамках возможностей, которые дает нам язык. Мы можем сказать моя коллега, но сочетание красивый модель невозможно. Язык сделал выбор.