В этом случае запятая не ставится. Но: сделал всё, что мог.

Как только — союз со значением времени, указывающий на быструю смену событий. В предложении, таким образом, происходит «стык» двух союзов — но и как только. Запятая между ними может ставиться или не ставиться в зависимости от того, присоединяет ли первый союз (в нашем случае — союз но) всё сложноподчиненное предложение целиком или только его главную часть, находящуюся после придаточной. Формальным показателем этого служит наличие или отсутствие второй части (коррелята) подчинительного союза, сравним примеры, приводимые в параграфе 123 полного академического справочника «Правила русской орфографии и пунктуации» под ред. В. В. Лопатина: Собака приостановилась, и, пока она стояла, человек видел, как солнечный луч обласкал всю полянку (Пришв.); Думал я, что если не случится в этот час перемены, то  судье уток не стрелять этим утром (Пришв.). Если в первом примере придаточную часть можно изъять или переместить (сравним: Собака приостановилась, и человек видел, как солнечный луч обласкал всю полянку, пока она стояла), то во втором сделать это мешает коррелят то. В нашем случае у союза как только нет второй части, а значит, запятая перед ним нужна: Вокруг не было ни души, когда я приходил на реку порыбачить, но, как только я закидывал удочки, из балки появлялись босоногие мальчишки.

Добавим, что, как указано в этом же параграфе, запятая на стыке сочинительного и подчинительного союзов может не ставиться даже в том случае, если подчинительный союз не имеет второй части, но сочинительный союз при этом должен иметь присоединительное значение. В нашем случае значение союза но противительное.

Соединение — подлежащее, что за — сказуемое. Ковпак — подлежащее, кто такой — сказуемое.

Такое построение предложений встречается, но оно, конечно, плеонастично и требует корректировки. Сочетание таким образом уже указывает на последующий вывод.

См. См.  в учебнике С. Г. Бархударова «Правила русской орфографии и пунктуации».

.

В обоих случаях запятая нужна: она ставится между частями сложного предложения.