Знаки препинания не нужны.
Вы написали правильно: онлайн- и офлайн-школы математики.
Подлежащее отнюдь не обязано обозначать кого-то или что-то, кто (или что) выполняет действие. Точно так же, как сказуемое не обязано обозначать именно действие. В предложении Математика — интересная наука ни подлежащее, ни сказуемое не обозначают ни действия, ни того, кто его выполняет, но ведь это не означает, что в этом предложении нет подлежащего и сказуемого. В предложениях тождества (а к ним относятся оба примера: и про учительницу, и про математику) речи о действиях вообще не идет.
Вы правы, однако, в том, что предложения с подлежащим это стоят особняком и отличаются даже от предложений типа Математика — интересная наука. Обычное свойство стандартного подлежащего — контроль согласовательной формы сказуемого. Это значит, что глагол-сказуемое или вспомогательный глагол-связка в составе сказуемого должен принять форму того же рода, что и существительное-подлежащее. Например: Наша учительница была педагог с огромным стажем. Связка была принимает форму ж. р., потому что в подлежащем — сущ. ж. р. Если речь идет, наоборот, о мужчине, увидим иную картину: Наш директор был хитрая лиса. Ни в первом, ни во втором случаях род существительного — именного компонента сказуемого не оказывает влияния на форму рода связки.
Но как только позицию подлежащего занимает местоимение это (и то), оно уступает контроль согласовательной формы сказуемого именному компоненту этого сказуемого — что и наблюдается в вашем примере. Ср. также: Ах, витязь, то была Наина! (Пушкин).
Есть еще одна особенность: при обычном подлежащем форма И. п. в сказуемом может чередоваться с формой Т. п. (Наша учительница была опытным педагогом; Наш директор был хитрой лисой), а при подлежащем это такое чередование невозможно.
Но на этом особенности предложений с подлежащим это заканчиваются. В вашем примере — предложение, суть которого заключается в отождествлении двух сущностей. Разница с примерами про директора и подобными им только в том, что обычное подлежащее называет предмет или лицо, идентифицируемое с кем-то или чем-то, а в данном случае подлежащее только указывает на него.
Можно еще добавить, что функция идентификации в предложениях тождества часто совмещается с функцией характеризации, а иногда и вытесняется ею: это особенно хорошо видно в примере про директора — хитрую лису.
И еще одно: на самом деле, когда нам нужно сообщить о приходе кого-либо, мы используем соответствующий глагол (например, пришла). Употребить в этом смысле была невозможно: нас просто неверно поймут. Глагол-связка не обозначает ни действия, ни состояния, он лишь выражает необходимые грамматические значения, которые именным частям речи недоступны.
Несклонение может быть оправдано тем, что фамилия Кутта имеет ударение на последнем слоге. Лучше использовать несклоняемый вариант, если он закрепился в речевой практике.
Такова сложившаяся практика письма.
2. Корректно: Возьмём числа a и b, такие, что a + b = 4.
В правилах недостаточно разъяснений о том, от чего в подобных предложениях зависит выбор двоеточия и тире. На наш взгляд, тире нужно ставить в том случае, если главную информацию передают однородные компоненты, на них падает логическое ударение. Двоеточие нужно поставить, если главное в предложении то, сколько было предметов, логическое ударение падает на словосочетание с количественным значением. Информация о том, какие были предметы, второстепенная, дополнительная.
Более вероятна такая расстановка знаков:
Открытие произошло на стыке двух наук — математики и физики.
В набор входит три карандаша: синий, красный и зеленый.
Здесь возможно и единственное, и множественное число сказуемого. Обычно, если автор текста стремится обратить внимание на количество, названное в подлежащем, выбирается форма единственного числа (шесть уток плавало). Но и множественное число (шесть уток плавали) ошибкой не будет.