Из Вашего очень длинного и эмоционального письма, кажется, можно сделать такой вывод: Вы считаете, что лингвисты, вместо того чтобы установить простые и понятные правила, намеренно усложняют их, подстраивая под капризы классиков, из-за чего в нашем языке плодятся десятки и сотни исключений, правильно? Попробуем прокомментировать эту точку зрения.

Во-первых, русский язык действительно живой – а как без этого тезиса? Если бы мы создавали язык как искусственную конструкцию, у нас были бы единые правила произношения и написания, мы бы аккуратно распределили слова по грамматическим категориям без всяких исключений и отклонений... Но русский язык не искусственная модель, и многие странные на первый взгляд правила, многие исключения обусловлены его многовековой историей. Почему, например, мы пишем жи и ши с буквой и? Потому что когда-то звуки ж и ш были мягкими. Они давно отвердели, а написание осталось. Написание, которое можно объяснить только традицией. И такие традиционные написания характерны не только для русского, но и для других мировых языков. Недаром про тот же английский язык (который «не подстраивают под каждый пук Фицджеральда или Брэдбери») есть шутка: «пишется Манчестер, а читается Ливерпуль».

Во-вторых, нормы русского письма (особенно нормы пунктуации) как раз и складывались под пером писателей-классиков, ведь первый (и единственный) общеобязательный свод правил русского правописания появился у нас только в 1956 году. Поэтому справочники по правописанию, конечно, основываются на примерах из русской классической литературы и литературы XX века. Но с Вашим тезисом «все справочники по языку – это не своды правил, а своды наблюдений» сложно согласиться. Русская лингвистическая традиция как раз в большей степени прескриптивна, чем дескриптивна (т. е. предписывает, а не просто описывает): она обращается к понятиям «правильно» и «неправильно» гораздо чаще, чем, например, западная лингвистика.

В-третьих, лингвисты не занимаются усложнением правил – как раз наоборот. Кодификаторская работа языковедов на протяжении всего XX века была направлена на унификацию, устранение вариантов, именно благодаря ей мы сейчас имеем гораздо меньше вариантов, чем было 100 лет назад. Именно лингвисты, как правило, являются наиболее активными сторонниками внесения изменений в правила правописания  и устранения неоправданных исключений – не ради упрощения правил, а ради того, чтобы наше правописание стало еще более системным и логичным. А вот общество, как правило, активно препятствует любым попыткам изменить нормы и правила.

Всё верно, нужная Вам грамматическая информация дана в орфографическом словаре. 

Корректно без запятой: «Вишнёвая скатерть бабушки Ани» — именно так мы называем эту скатерть. 

Что Вы называете йотированными окончаниями в приведенных примерах?

Эти местоимения нельзя считать "окончаниями", однако они употреблены в соответствующем каждому существительному грамматическом роде и числе, при этом определенные закономерности в склонении существительных и местоимений действительно существуют (в современном русском языке эти закономерности легче проследить по полным прилагательным).

Д. п. - Лилии.

Ваше написание корректно.

Все глаголы, которые не относятся ко II спряжению, относятся к I спряжению. Подробнее см. в "Правилах русской орфографии и пунктуации".

Да, слова зря и зреть 'видеть, глядеть' этимологически родственные. Зря по происхождению – деепричастие настоящего времени от зреть (т. е. буквально зря – 'глядя'). Это слово (книжное по происхождению) получило новое значение в народной речи. Н. М. Шанский предполагает, что современное значение зря 'напрасно' возникло из оборота делать на зря 'делать на глазок, как следует не рассмотрев'.

В «Русской грамматике» (1980, т. I, § 239: https://rusgram.narod.ru/208-255.html#239) и «Морфемно-орфографическом словаре» А. Н. Тихонова в отглагольных существительных типа презрение выделяется словообразующий суффикс -ни[j]-, который присоединяется к производящей глагольной основе на гласный. При этом суффиксальные варианты -ни[j]- и -ени[j]- считаются одним суффиксом (алломорфами одного суффикса), с помощью которого образуются существительные, обозначающие предмет, характеризующийся действием, названным производящим словом (субъект, объект или результат этого действия).

Варианты -ни[j]- выступает после гласных (при сохранении конечной гласной производящей глагольной основы); вариант -ени[j] ― после парно-мягких согласных, ср.: презре-ть → презре-ни[j-е], видеть → виде-ни[j-е] и т. п.; расти (раст-ут) → раст-ени[j-е] и т. п.

Второй суффикс в слове презрение и в других словах, образованных по этой словообразовательной модели, при морфемном разборе вычленяется в производящей глагольной основе презр-е-.

Однако возможен другой подход к анализу структуры отглагольных существительных этого типа с основой на гласную, при котором в существительном выделяется суффикс -ени[j]-, присоединяемый к усеченной производящей основе глагола (презре-ть → презр-ени[j-е]). Такой подход представлен в «Словообразовательном словаре русского языка» А. Н. Тихонова.