Конечно же, нельзя упрощать язык – например, признавать именами прилагательными только такие слова, которые изменяются по адъективному склонению (бежевый, бордовый). Нет, к разряду имен прилагательных относятся и неизменяемые слова беж, бордо  и многие-многие другие (ажур, аллегри, ампир, апаш, аплике, банту, барокко и т. д.) Это несклоняемые прилагательные с нулевыми флексиями, достаточно подробно они описаны в академической «Русской грамматике» 1980 года.

Вадим, склоняемость / несклоняемость не есть основной признак для классификации частей речи. Главный признак слов, объединяемых в одну часть речи, – наличие обобщенного значения, абстрагированного от лексических и морфологических значений всех слов данного класса. У имен прилагательных такое значение – выражение непроцессуального признака предмета: апельсины цвета (какого?) беж, юбка (какая?) мини и т. п.  Да, большинство прилагательных выражают это значение в словоизменительных морфологических категориях рода, числа и падежа – но далеко не все.