В этом случае нужен более широкий контекст. Конструкция может заменять собой вводное предложение с союзом как, например в речи персонажа, который испытывает чувство гордости от того, что выполнил сложное задание: Ну что, ай да я, [как] сказал бы Пушкин. Конструкция может сопровождать предполагаемую речь Пушкина: «Ай да я», — сказал бы Пушкин в такой ситуации.

Нет, такое оформление недопустимо. Правильно: Он сказал: «Я уезжаю» или Он сказал, что уезжает.

Корректно: ребенок впервые сказал (слово) "мама".

В этом предложении из «Сказки для детей» М. Ю. Лермонтова союз но противопоставляет содержание шестой строфы содержанию пятой строфы, сравним:

5
То был ли сам великий Сатана
Иль мелкий бес из самых нечиновных,
Которых дружба людям так нужна
Для тайных дел, семейных и любовных?
Не знаю! Если б им была дана
Земная форма, по рогам и платью
Я мог бы сволочь различить со знатью;
Но дух — известно, что такое дух!
Жизнь, сила, чувство, зренье, голос, слух —
И мысль — без тела — часто в видах разных;
(Бесов вобще рисуют безобразных.)

6
Но я не так всегда воображал
Врага святых и чистых побуждений.
Мой юный ум, бывало, возмущал
Могучий образ; меж иных видений,
Как царь, немой и гордый, он сиял
Такой волшебно-сладкой красотою,
Что было страшно... и душа тоскою
Сжималася — и этот дикий бред
Преследовал мой разум много лет.
Но я, расставшись с прочими мечтами,
И от него отделался — стихами!

Нужно поставить запятую или тире.

Запятая стоит верно.

Нет, не является.

Это слова из стихотворения Е. А. Баратынского «Муза»:

Не ослеплен я музою моею:
Красавицей ее не назовут,
И юноши, узрев ее, за нею
Влюбленною толпой не побегут.
Приманивать изысканным убором,
Игрою глаз, блестящим разговором
Ни склонности у ней, ни дара нет;
Но поражен бывает мельком свет
Ее лица необщим выраженьем,
Ее речей спокойной простотой;
И он, скорей чем едким осужденьем,
Ее почтит небрежной похвалой.