Орфографических ошибок нет.
Действительно, сочетание избыточно, тем не менее оно широко употребляется и зафиксировано в словарях как корректное.
Действительно, запятые нужны, так как несогласованные определения обособляются, если относятся к сочетаниям существительных и распространяющих их необособленных определений, — см. параграф 54 справочника «Правила русской орфографии и пунктуации» под ред. В. В. Лопатина.
Корректно: сорок один балл с половиной; сорок один и пять десятых балла.
Верно: семь с половиной очков, недель; 7,5 (семь и пять десятых) очка, недели.
Предпочтительно: 23 456 человек.
Кавычки не нужны, фразеологизмы (устойчивые выражения) обычно не заключаются в кавычки.
Верно: возбужденО уголОвное дЕло.
Возможны оба варианта: в отношении его и в отношении него.