Нет, название орудия катюша в кавычки не заключается.
Кавычки уместны, если нужно обратить внимание адресата текста на слово нейронка или если нужно употребить это разговорное слово в нейтральном контексте.
Кавычки можно не ставить, если нет сомнений в том, что слово будет понятно читателю, и если стиль текста дает возможность употреблять разговорные слова.
Нет, не нужно.
Да, это сочетание плеонастично, т. к. привилегия — исключительное право пользования чем-либо, предоставляемое кому-либо в отличие от других. Тем не менее сочетание это встречается и в публицистике, и в художественной речи, ср.: Валерия рассуждала с такой убежденностью, точно ей была дана исключительная привилегия знать и объяснять, что делается на небесах (М. Н. Волконский. Гамлет XVIII века. 1903); Но создание новой культуры — исключительная привилегия Советской власти, ленинской национальной политики («Химия и жизнь». 1969).