Допустимо не склонять, имея в виду приведенный Вами аргумент.
Правильно: Мумбаи (это несклоняемое существительное). Именно такой вариант фиксируют современные лексикографические издания, в их числе: словарь Ф. Л. Агеенко «Собственные имена в русском языке» (М., 2001), «Словарь образцового русского ударения» М. А. Штудинера (М., 2005) и др.
Разнобой в написании и наличие варианта Мумбай объясняется влиянием прежнего названия – Бомбей, а также тем обстоятельством, что подобные несклоняемые названия для русского языка нехарактерны.
С помощью специалистов по языкам народов Сибири и Дальнего Востока нам удалось выяснить, что стойбища в разных регионах России называют по фамилиям или именам (как правило, хозяев стойбищ), а также по местным географическим ориентирам (например, рекам). Фамилия в названии может стоять в форме не только родительного падежа единственного и множественного числа, обозначая принадлежность, но и именительного падежа множественного числа. Например, род. пад. ед. и мн. ч.: юрты (стойбище) Ачимова (от фамилии Ачимов), стоянка Тазрановых (Тазранов), зимник семьи Ак-оола (Ак-оол); им. пад. мн. ч.: стойбище Тайлаковы (Тайлаков).
Название стойбища, данного по имени рода в именительном падеже, встретилось в романе В. Каверина «Два капитана»: В общем, примерно так: в прежнее время, когда еще «отец отца жил», в род Яптунгай пришел человек, который назвался матросом со зверобойной шхуны, погибшей во льдах Карского моря. Этот матрос рассказал, что десять человек спаслись и перезимовали на каком-то острове к северу от Таймыра. Потом пошли на землю, но дорогой «очень шибко помирать стали». А он «на одном месте помирать не захотел», вперед пошел. И вот добрался до стойбища Яптунгай.
Название по географическому ориентиру – реке: зимник на Чээнеке.
Названия стойбищ относятся к географическим, заключать их в кавычки не нужно. Ср. с названиями других населенных пунктов, данными по именам людей и ориентирам: города Гагарин, Жуковский, Пушкин, Барановичи, деревня У Речки Даниловка.
О том, когда в географических названиях кавычки ставятся, можно прочитать в правиле, размещенном в «Академосе».
Названия этностойбищ как туристических организаций заключаются в кавычки.
Рекомендуем писать Большой Харзыцк с большой буквы по аналогии с Большим Лондоном и Большой Ялтой.
Правила этого не регламентируют. Решение остается за автором.
Согласно современным нормам (см. словарь «Как правильно? С большой буквы или с маленькой?» В. В. Лопатина, И. В. Нечаевой, Л. К. Чельцовой) правильно со строчной буквы: администрация Псковской области, администрация Алтайского края. Но: Администрация Президента РФ (с прописной). О названиях, связанных с религией, см. ответ № 238229.
См. в «Письмовнике»: Как склонять географические названия?
