Запятые расставлены верно, но после них не хватает пробелов.

Оба варианта возможны, но употребительнее: учитель математики.

СЛУШАТЬ, -аю, -аешь; нсв. 1. (кого-что и с придат. дополнит.).Обращать, направлять слух на какие-л. звуки, чтобы услышать; воспринимать слухом. С. лекцию. С. музыку. С. радио. С. сказки. С. пластинку. Все, затаив дыхание, слушали рассказчика. Люблю с. шум моря. С. Баха (музыку Баха). Слушаю вас (речевая формула, которую употребляют, снимая трубку, в ответ на вызов по телефону). 2. (св. выслушать). кого-что. Исследовать путём выслушивания состояние и работу какого-л. внутреннего органа; прослушивать. С. сердце. С. лёгкие. Врач внимательно слушал больного. 3. что. Публично разбирать (какое-л. судебное дело). С. дело в суде. // Знакомиться на слух с чем-л. публично оглашаемым. С. отчёт о конференции. 4. что. Изучать что-л., посещая лекции. С. курс высшей математики. С. лекции академика Шахматова. Начал с. курс русской истории в университете. 5. кого-что. (нсв. послушать). =Слушаться (1 зн.). С. родителей. С. врача. С. чьи-л. советы, наставления. Ребёнок никого не слушает. Совсем перестал с. старших. Обещай, что будешь с. бабушку. Не слушай его! Ничего не хочет с. (не реагирует на чьи-л. слова, советы, просьбы). <Слушай; слушайте, в зн. межд. Разг. Употр. при обращении к кому-л. в начале разговора для привлечения внимания. Слушай, давай уйдём отсюда. Слушайте, вы когда уезжаете? Слушание, -я; ср. (1-4 зн.). С. лекций. С. дела. Слушаться,-ается; страд. (1-4 зн.). 

СЛЫШАТЬ, -шу, -шишь; слышимый; -шим, -а, -о; нсв. (св.услышать). 1. (кого-что, также с придат. дополнит.). Различать, воспринимать слухом издаваемое, производимое кем-, чем-л. С. смех. С. стук. С. крик. С. гром. Я вас не слышу, говорите громче. Не слышал, как звенел будильник. Своими собственными ушами слышал что-л. С. похвалы. С. возражения. Вы слышали вопрос? И с. об этом не хочу (категорически отказываюсь принимать участие в чём-л., делать что-л. и даже обсуждать предлагаемое). 2.Обладать слухом (1 зн.). Левое ухо совсем не слышит. Плохо слышу этим ухом. Старик не слышит (глухой). 3. что, о ком-чём, про кого-что или с придат. дополнит. Иметь какие-л. сведения, знать по разговорам, слухам и т.п. Слышали анекдот? Это имя я где-то уже слышал. Слышал, что вы побывали в Италии. Не раз слышал о повадках этого зверя от местных жителей. Ты что-нибудь слышал про Петрова? Что я слышу! (возглас удивления услышанным). 4. что и с придат. дополнит. Разг. Распознавать путём ощущения; ощущать, чувствовать, замечать. С. запах, аромат. С. сердцем, душой. В покорности ягуара дрессировщик слышал угрозу. Не слышал, что его толкают. Сердце слышит беду. Земли под собой не слышать (испытывать сильную радость, быть в восторге). Не слышать ног под собой (испытывать чрезмерно сильную усталость от бега, ходьбы или восторга). Себя не слышать от чего(забывая всё, горячо, полностью отдаваться чему-л., какому-л. чувству). 5. кого-что. Разг. Распознавать чутьём; чуять (о животных). Пёс слышит дичь. Старая кошка не слышит мышей. <Слышишь; слышите, в зн. межд. Разг. Употр. для подчёркивания сказанного, настоятельного указания на что-л. Вечером я вас жду, слышите. Тебе нужно отдохнуть, слышишь. 

Раздел математики называется теория вероятностей. На вопрос "почему" лучше ответят математики.

Правильно написание строчными буквами и без кавычек: институты математики и радиофизики.

Ударение падает на первый слог: Остовное.

Оба варианта корректны.

Корректно: ...на базе Федерального государственного бюджетного учреждения науки «Институт математики...» или на базе Института математики...

Знаки препинания не нужны.

Кавычки не требуются: отец математики (то же, что родоначальник, основоположник).