Существует ряд критериев для отнесения слова к той или иной части речи. Это тип лексического значения слова, его грамматические свойства (например, род, число, падеж, лицо и др.), а также типичная синтаксическая функция. Очень условно интересующие Вас слова можно классифицировать как междометия.

Воспользуйтесь окном «Искать на Грамоте» (толково-словообразовательный словарь).

Вы правы, ряд существительных в именительном падеже слово, части речи, члены предложения и предложения нельзя считать рядом однородных членов с обобщающим словом категорий, поскольку это существительное стоит в форме родительного падежа. Конструкция может быть интерпретирована как бессоюзное сложное предложение с неполной второй частью: Синтаксис рассматривался учёным в его исторических изменениях на основе взаимосвязи главнейших грамматических категорий: [к ним относятся] слово, части речи, члены предложения и предложения.