안녕하세요. 이해원 연구소 yz입니다.

먼저, 해당 문제의 경우 확률로 접근하는 것이 유리한 것이 맞습니다.

다만 경우의 수로 푸는 것이 불가능한 것은 아닙니다. 근원사건의 기대되는 정도가 모두 동일하도록 표본공간을 설정해주면 경우의 수와 수학적 확률의 정의를 이용해 해결할 수 있습니다. 아래에 경우의 수 풀이를 간단하게 설명하였으니 필요하시다면 참고해주세요. 그러나 이는 '가능하긴 하다'라는 것을 보여드리는 것 뿐이고, 읽어보시면 확률로 접근하는 것이 훨씬 효율적인 것을 알 수 있을 것입니다.

-----------------------------------------------------------------------------------------------
x 또는 y좌표가 3이 되면 시행을 멈추므로 이 시행은 최대 5번까지 반복됩니다.
따라서 동전을 5번 던진 결과를 (앞, 앞, 뒤, 뒤, 앞)와 같이 5개의 순서쌍으로 나타내고, 이 결과들의 집합을 표본공간으로 설정하면 각각의 근원사건이 같은 정도로 기대되는 것을 알 수 있습니다. (모든 근원사건이 기대되는 정도가 같도록 시행을 멈추지 않고 5번까지 반복한다고 가정합니다. 아래에서 이 가정이 문제가 없음을 확인합니다.)

예를 들어 사건 'yyy'는
집합 {(뒤, 뒤, 뒤, 앞, 앞), (뒤, 뒤, 뒤, 앞, 뒤), (뒤, 뒤, 뒤, 뒤, 앞), (뒤, 뒤, 뒤, 뒤, 뒤)}
로 표현되는데, 여기에서

'yyy'의 확률 = 4/32 = 1/8 이고, 이는 '뒷면이 세 번 연달아 나올 확률'로 구한 (1/2)^3과 일치함을 알 수 있습니다.

마찬가지로 다른 사건들도 'xyyy' = {(앞, 뒤, 뒤, 뒤, 앞), (앞, 뒤, 뒤, 뒤, 뒤)}와 같이 나타낼 수 있습니다.

따라서 각 사건의 경우의 수를 모두 구해 확률의 정의에 따라 계산할 수 있습니다.
-----------------------------------------------------------------------------------------------

*답변 내용에서 이해가 되지 않는 것이 있다면 새로운 게시글로 추가 질문해 주세요.