Общепринятых сокращений нет. Возможны варианты: маг-т, маг-р, бак-р или м-т, м-р, б-р.
В таких случаях можно писать строчными (если не требуется передать на письме официальное наименование).
СО РАН (отделение) обязано.
Название института предпочтительно заключить в кавычки и не склонять: Учреждение Российской академии наук «Институт физики твердого тела», Учреждению Российской академии наук «Институт физики твердого тела», Учреждением Российской академии наук «Институт физики твердого тела».