Корректно (в разг. речи): на минувшей неделе.
При обозначении арабскими цифрами порядковых числительных буквенные наращения необходимы (на 35–36-й неделе), при обозначении арабскими цифрами количественных числительных буквенные наращения не нужны (с 37 недель). Подробнее см. в "Письмовнике".
Правильно написать без кавычек и со строчной буквы.