Правильно: ростовая кукла. Прилагательное ростовой внесено в список исключений. См., например: 

рос(т) — рас(т) — ращ. На месте безударного гласного пишется: а) перед с (без последующего т) — буква о: росла´, росли´, вы´рос, вы´росший, за´росль, по´росль, во´доросль, не´доросль; исключение — о´трасль и производные от него (отраслево´й, межотраслево´й, многоотраслево´й); б) перед ст — буква а, напр.: расти´, расту´, расти´ть, подрасти´, вы´расти, вы´растить, вы´расту, выраста´ть, прораста´ть, произраста´ть, нараста´ть, возрасти´, возраста´ть, во´зраст, расте´ние, расти´тельность, дикорасту´щий; исключения: росто´к, ростово´й, ростовщи´к, вы´рост, выростно´й, вы´росток, за´росток, про´рость, подростко´вый (наряду с вариантом подро´стковый); в) перед щ всегда а, напр.: ращу´, вы´ращу, вы´ращенный, прираща´ть, нараще´ние, сраще´ние. Под ударением перед с (с последующим т и без него) — только о, напр.: рост, наро´ст, отро´сток, подро´сток, переро´сток; рос, заро´с, подро´сший, ро´слый, дикоро´сы.

(https://gramota.ru/biblioteka/spravochniki/pravila-russkoy-orfografii-i-punktuatsii/osobennosti-napisaniya-otdelnykh-korney). 

Вероятно, дело в том, что до массового появления ростовых кукол прилагательное ростовой было малоизвестным, вот его и не включали в школе в список исключений.