Крайний раз – некорректно, верно: последний раз. Суждение, что нельзя употреблять слово последний, можно только крайний (в том числе в очереди: Кто крайний?), действительно, весьма распространено, однако это не более чем нелепое суеверие, один из мифов о русском языке, существующих в сознании людей. Таких мифов, к сожалению, немало, можно привести еще один пример: якобы нельзя говорить садитесь, можно только присаживайтесь, потому что слово садитесь будто бы связано исключительно с тюремными ассоциациями. На самом деле всё наоборот: слово садитесь литературное и употребление его вполне корректно, а вот употребление присаживайтесь несет в себе двусмысленность: приставка при- обозначает неполноту действия (присесть можно ненадолго, на краешек стула), поэтому присаживайтесь можно расценить как намек на то, что человеку предложили ненадолго присесть, а потом уйти.

Но вернемся к слову последний. Предрассудок возник из-за того, что среди значений слова последний – ''такой, за которым не следует, не ожидается что-либо подобное': последняя электричка, последний сын, последняя глава, а также 'предсмертный'; 'совершаемый при похоронном обряде': последняя воля, последний путь, последние почести; кроме того, у слова последний есть и значение 'низший в ряду подобных; очень плохой': последний негодяй. Но последний – многозначное слово, среди его значений и такие, не имеющие никаких отрицательных коннотаций: 'самый новый'; 'современный'; 'только что появившийся': последние технологии, последние известия, прочитать в последнем номере журнала и т. п. Так что стремление любыми способами избежать употребления слова последний – всего лишь нелепый предрассудок, а бездумная замена его словом крайний – нарушение норм русского языка.

О выражении Кто последний? см. также ответ на вопрос № 227359.

Ваш тезис верный, но не исчерпывающий. Действительно, если сочетание фиксируется словарем без кавычек, это достаточное основание для написания без кавычек.