Особого правила для написания названий тюрем нет, поэтому нужно руководствоваться общими правилами употребления кавычек (см. «Письмовник»).

Названия тюрем можно разделить на две группы: реальные собственные наименования, которые следует писать без кавычек, и условные наименования, которые в кавычки заключать нужно. К первой группе относятся названия типа Владимирский централ, Акатуйская каторжная тюрьма, Лефортовская тюрьма (в них родовое слово стоит после названия, выраженного прилагательным) и иностранные Бастилия, Гуантанамо, Синг-Синг (они тоже воспринимаются как прямые собственные наименования). Все остальные образуют группу условных названий. Это хорошо знакомые топонимы Таганка, Бутырка, Лефортово, Матросская Тишина и нарицательное существительное кресты, сочетание белый лебедь.

Нет, это закономерное сочетание. См., например, 

Большой универсальный словарь русского языка

НАИЗУСТЬ, нареч.

1.0. В такой степени, к-рая позволяет дословно воспроизводить текст, не глядя в источник, где он зафиксирован графически. Син. на память, по памяти.

Выучить что-л. (заучить что-л., затвердить что-л., запомнить что-л., помнить несов. что-л., знать несов. что-л., читать, цитировать, шпарить зд. несов., разг. …) наизусть. □ Это стихотворение я знаю наизусть. ● 1.1. Очень хорошо, подробно, со всеми деталями, во всех подробностях.   Син. прекрасно. Ну что ты с ним споришь, он же юрист и знает этот закон, что называется, н. Я н. знаю всё, что она мне может сказать.

Обороты как слышишь и как говоришь по форме представляют собой неполные придаточные предложения. В составе сложного предложения придаточные обособляются. Подобные части не обособляются, если образуют цельные по смыслу выражения, то есть выражения, эквивалентные члену предложения (ср.: найду чем заняться = найду дело, сделать как следует = сделать хорошо, приходить когда вздумается = приходить в любое время). В справочниках по пунктуации обороты как слышишь и как говоришь в ряду цельных выражений не упоминаются и на письме обычно обособляются. Однако можно предположить, что в контексте у них появится фразеологически связанное значение, при котором обособление будет не нужно, например: Девочка талантлива, пишет как говорит (то есть пишет легко, свободно).  

В толковых словарях русского языка слово будень отмечено как устаревшее и просторечное (о чем и должен сообщать ответ справочной службы). Стилистические особенности слова иллюстрируются цитатами из художественных произведений: «Ведь ты знаешь, что в будень мне некогда, я занят; в воскресенье, если погода будет хороша, пожалуй, съездим» [А. Н. Анненская. Мои две племянницы (1882)]; «Упражнять вас в этом чувстве мы по-настоящему должны всегда, в будень и в праздник» [А. П. Чехов. Праздничные (1884–1885)]; «Приехала с мужем, в будень, в четыре часа, нарядная, любезная, благоухающая сладкою фиалкою...» [Ф. К. Сологуб. Мелкий бес (1902)].

Частица не с прилагательными может писаться как слитно, так и раздельно. Слитное написание подчеркивает утверждение называемого признака (неплох = хорош), а раздельное, напротив, подчеркивает отрицание (не плох = отнюдь не плох).     

Этот вопрос хорошо бы задать составителям. Вообще самым правильным было бы выделить оба варианта как допустимые. Да, когда-то вариант ржавЕть, заржавЕть не разрешался. Например, в словаре «Русское литературное произношение и ударение» под ред. Р. И. Аванесова и С. И. Ожегова (1959) указывалось: ржАветь (не ржавЕть), заржАветь (не заржавЕть). Но это было более полувека назад. И хотя некоторые носители языка (особенно те, кто пользуется старыми словарями) до сих пор убеждены, что ржавЕть, заржавЕть – ошибка, этот вариант уже не одно десятилетие считается нормой. В словарях современного русского языка варианты ржАветь и ржавЕть, заржАветь и заржавЕть даются как равноправные, а в некоторых изданиях ударение ржавЕть, заржавЕть даже считается предпочтительным.

Обособление вовсе не обязательно. Эти слова выделяются (запятыми, тире или скобками), если подчеркиваются интонационно, если содержат дополнительное замечание или попутное пояснение, если автор хочет обратить на них внимание читателя. Решение здесь полностью за автором текста.