Верно: Каторжного.
Особого правила для написания названий тюрем нет, поэтому нужно руководствоваться общими правилами употребления кавычек (см. «Письмовник»).
Названия тюрем можно разделить на две группы: реальные собственные наименования, которые следует писать без кавычек, и условные наименования, которые в кавычки заключать нужно. К первой группе относятся названия типа Владимирский централ, Акатуйская каторжная тюрьма, Лефортовская тюрьма (в них родовое слово стоит после названия, выраженного прилагательным) и иностранные Бастилия, Гуантанамо, Синг-Синг (они тоже воспринимаются как прямые собственные наименования). Все остальные образуют группу условных названий. Это хорошо знакомые топонимы Таганка, Бутырка, Лефортово, Матросская Тишина и нарицательное существительное кресты, сочетание белый лебедь.
Это вполне корректный, хотя и устаревший оборот речи. Вот цитаты из "Национального корпуса русского языка":
Мо́жет быть, в глубине́ души́ импера́тор да́же пожале́л заключённого Конаки и вполне́ удовлетвори́лся ссы́лкою в ка́торжные рабо́ты престу́пной ба́бы-кабатчицы. [Ю. Н. Тынянов. Малолетный Витушишников (1933)]
Съезд выбрал из своего состава самостоятельное правительство «Терский народный совет», под председательством некоего Пашковского, сосланного некогда в каторжные работы за ограбление казначея реального училища и возвращенного) в силу общей амнистии, данной Временным правительством. [А. И. Деникин. Очерки русской смуты. Том II. Борьба генерала Корнилова (1922)]
Да за мои мысли меня бы, может, уж в каторжные работы давно угнали! [И. С. Шмелев. Человек из ресторана (1911)]