В этом предложении нужен только один знак препинания – точка в конце. Обороты с предлогом начиная с (чего-либо) не обособляются, если предлог в буквальном смысле указывает на время, дату начала чего-либо (при этом слово начиная обычно можно опустить).
Запятая не нужна. Обороты с предлогом начиная с (чего-либо) не выделяются запятыми, если предлог в буквальном смысле указывает на время, дату начала чего-либо (при этом слово «начиная» обычно можно опустить).
С точки зрения авторов толковых словарей варианты равноправны. Однако в справочнике Д. Э. Розенталя «Управление в русском языке» приведена такая рекомендация: с помощью – обычно при указании орудия, средства совершения действия, при помощи – при указании лица.
Корректно: начиная с применения простого анальгетика - парацетамола.