Этимологически во всех словах, кроме слов примитивный и приоритет, выделяются омонимичные приставки при-, имеющие различное значение и участвующие в реализации нескольких словообразовательных моделей.

Слово прибаутка образовано от утраченного в современном языке существительного баутка ‘короткий забавный рассказ анекдотического или поучительного характера’ с помощью приставки при-, которая придает значение ‘присоединения, прибавления чего-либо дополнительного к основному’, ср.: приговорка, призвук, присказка.

Слово привередливый образовано от утраченного прилагательного вередливый ‘изнеженный, слабый’ с помощью приставки при- со значением ‘немного, слегка’, ср.: открытый → приоткрытый, спущенный → приспущенный.

О слове пригожий см. ответ на вопрос № 318502.

Слово признание образовано суффиксальным способом от глагола признать. Для этого слова утраченные значения приставки при- и производящего глагола знати являются предметом научной дискуссии. Однако выделение в слове признать этимологической приставки при- очевидно.

Слово приключение произошло от глагола приключитися ‘случиться, произойти’, образованного с помощью приставки при- со значением совершенного вида от глагола несовершенного вида ключитися ‘случаться, происходить’. Глагол несовершенного вида в современном языке утрачен, модель образования глаголов совершенного вида от глаголов несовершенного вида с помощью приставки при- непродуктивна, но сохраняется, ср.: готовить → приготовить.

Слово притязать (буквально: ‘тянуть на себя’) образовано от тязати ‘тянуть’, ср.: тянуть → притянуть.

Слово приличный образовано от существительного приликъ, которое в древнерусском языке означало ‘схожесть (лицом)’, а прилагательное приличный значило ‘похожий’, то есть ‘сообразный’. В современном языке изначальное значение утрачено, слово стало значить ‘подобающий, соответствующий’.

Слово причудливый образовано суффиксальным способом от слова причуда, для которого производящим является слово чудо. Изначально приставка при- придавала значение ‘присоединения, прибавления чего-либо дополнительного к основному’. То есть причуда — нечто, возникшее в результате чуда или как его оттенок. Уже в древнерусском языке слово причуда стало означать странность, каприз, необычное желание — что-то, что примыкает к чуду, но не является чудом в полном смысле. Это же значение сохраняется в относительном прилагательном причудливый.

Слово прискорбный образовано от существительного прискорбие, которое произошло от вышедшего из употребления глагола прискорбеть со значением ‘начать скорбеть, приблизиться к состоянию скорби’ (производящее слово — глагол скорбеть). Таким образом, изначально прискорбный — это ‘начинающий скорбеть, приближающийся к скорби’, такое значение вносила приставка при-. В современном языке слова прискорбие и скорбь, прискорбный и скорбный употребляются как синонимы, которые отличаются только стилистически или контекстуально.

Во всех рассмотренных словах при синхроническом словообразовательном анализе возникают сомнения, является ли при- приставкой или входит в корень. Современные словообразовательные словари рассматривают этимологическую приставку в этих словах как часть корня. При собственно морфемном анализе, который учитывает не только формо- и словообразовательную структуру слова, но и членение по аналогии приставка при- может выделяться.

Слово примета в современном языке сохраняет словообразовательные связи с производящим глаголом приметить, образованным от метить с помощью приставки при- со значением результата действия (совершенного вида), ср.: бить → прибить → прибой. Поэтому в этом слове приставка выделяется и при синхроническом словообразовательном, и при собственно морфемном анализе.

В словах примитивный и приоритет приставка не выделяется. Это заимствования.

Правилен второй вариант. Опереться можно на примеры в правиле о подлинных выражениях, вставленных в текст. Подлинные выражения, представляющие собой законченные предложения, начинаются с прописной буквы. 

«Подлинные выражения, вставленные в текст в качестве элементов предложения, выделяются кавычками, но двоеточие перед ними не ставится: Это «не хочу» поразило Антона Прокофьевича (Г.); Предположение дневального, что «взводный нажрался и дрыхнет где-то в избе», всё больше собирало сторонников (Ф.); Он вспомнил пословицу «За двумя зайцами погонишься — ни одного не поймаешь» и отказался от первоначального плана; С криком «Спасайте детей!» юноша бросился в горящее здание» (Розенталь Д. Э. Справочник по пунктуации для работников печати. М., 1984).

.«...Если прямая речь непосредственно включается в авторское предложение в качестве его члена, то она заключается в кавычки, знаки же препинания ставятся по условиям авторского предложения: Сказав Гричмару фразу «Легкой жизни не бывает, есть лишь легкая смерть», Крымов поймал на себе беспокойный, предупреждающий взгляд Стишова (Бонд.) (Правила русской орфографии и пунктуации. Полный академический справочник / Под ред. В. В. Лопатина. М., 2006)».

Обратите внимание: в конце предложения нужно поставить точку. 

Однажды я застал забавный диалог, один из участников которого задавался вопросом «Почему в нашем мире нет магии?». 

Возможен и другой вариант.

Однажды я застал забавный диалог, один из участников которого задавался вопросом: «Почему в нашем мире нет магии?»

Слово символ в любом случае грамматически остается неодушевленным, поэтому верно: символ посадили на диету.

Оба варианта верны.

Байка – короткий забавный рассказ анекдотического или поучительного характера; побасёнка. // Вымысел, выдумка, небылица.

Именно слово байка указывает на то, что фраза ставит под сомнение сжигание.

Сочетание казусный случай неправильно, оно лексически избыточно: казус – происшествие, событие, случай (обычно сложный, запутанный или необычный, смешной). Со мной произошел забавный казус – корректно.