프롬프트 잘 쓰는 법 왜 다 거기서 거기 같을까

소셜 미디어 알고리즘에 생성형 AI가 녹아들었다면 다양한 프롬프트 잘 쓰는 법 콘텐츠를 심심찮게 마주칠 수 있을 겁니다. 저는 그런 '프롬프트 잘 쓰는 법'을 볼 때마다 내용이 다 비슷한 것 같다는 생각을 했습니다. 원하는 바를 자세히 개조식으로 써야 한다. Goal, Tone, Format 같은 목차를 이용해서 구조화해야 한다. 예시를 꼭 같이 주면 좋다는 점이 공통적으로 언급됩니다. COSTAR, CARE등, 이름이 다르지만 제안하는 바가 본질적으로 달라 보이진 않았습니다.

내가 뭘 할 지 알고 있다면 프롬프트는 쓰면 그만입니다. 그런데 정말 알고 있는게 맞을까요?

새로운 기술을 익히면 기초부터 익히면서 할 만 한데?라고 생각했다가, 막상 내 업무에 실제 적용해보니 기초 사용법은 말 그대로 기초 체력에 불과하다는 것을 깨닫게 되는데요. 생성형 AI 프롬프팅도 마찬가지라고 생각합니다. 프롬프트 작성 요령이 대부분 비슷한 내용을 담고 있는 건 맞습니다. 그도 그럴게, 프롬프트 작성법은 "생성형 AI가 주어진 요구사항을 어떻게 더 잘 이해하게 만들까"에 초점이 맞춰져 있습니다. 여기서 우리가 정말로 집중해야 하는 점은 "주어진 요구사항"이 무엇인가"입니다.

"내가 AI로 무엇을 하고 싶은가?"에 답하려면 "일단 그게 현재 AI 성능 수준에서 어디까지 가능한가?"라는 질문으로 이어집니다. 내 실제 업무에 정말로 도움되는 수준이어야 한다는 전제 조건을 붙이면 생각외로 불가능할 작업일 수 있습니다. 가능하다고 치면, "그 목표한 결과물에 어떻게 도달할 것인가? 프롬프트 한 번 던져서 가능한가?"를 따져봐야 합니다. 여기까지 답을 알고 있다면, 즉 내가 무엇을 해야 할 지 알고 있다면 프롬프트야 그냥 쓰면 그만입니다. 심지어는 프롬프트를 쓰는 것도 AI에게 시킬 수 있습니다. AI에게 내가 원하는 걸 알려주고 프롬프트를 대신 써달라고 하면 온라인 상에 널려 있는 프롬프트 작성법 자료를 찾아 좋은 프롬프트로 만들어 줍니다. 그러니 정작 내 시간이 많이 들어가는 단계는 프롬프트 작성이 아닙니다. 프롬프트로 무엇을 할 지 '설계'하는 과정이 훨씬 더 오래 걸리고 어렵습니다.

이는 프롬프트로 가능한 일을 떠올리는 것부터가 관건이기 때문입니다. 예를 들어 저는 AI를 주로 '자료의 분석/요약' 용도로만 사용하려 했는데요. 최근에 다른 분이 '리뷰/평가' 용도로 활용하신 사례를 보고 나서야 이런 것도 가능하다는 생각을 할 수 있었습니다. 좀 더 멋있는 표현을 써보자면 인지(Recognition)보다 회상(Recall)이 더 어렵다는 원리를 적용할 수 있습니다. 사례를 알고 나면 그걸 내 상황에 적용하는 건 쉽지만, 시도해본 적 없는 새로운 Usecase를 떠올리는 건 생각보다 쉽지 않습니다.

저는 그래서 "생성형 AI를 업무에 적용하는 과정"이 그림 못 그리는 사람이 애플 펜슬이랑 Procreate 앱을 구매하는 것과 비슷하다고 생각합니다. (제 이야기입니다 😅) 똑같은 도구를 프로 일러스트레이터에게 주면 엄청난 풍경화가 나오는데 내가 쥐면 뭘 그리는게 문제가 아니라 뭘 그려야 할지도 모르겠는 지경이 됩니다. 어떤 색상의 조합이 아름다운지, 브러쉬를 커스터마이징해서 어떤 모양의 선을 그릴 수 있는지도 초보자는 모릅니다. 더 원초적인 단계로 올라가면 내가 수채화를 그리고 싶은지 캐릭터 일러스트레이션을 그리고 싶은지에 따라서도 툴 활용 방법이 무궁무진하게 달라지겠죠.

나는 AI로 뭘 하고 싶은가?에 답할 수 있다는 것은 AI가 어디까지 되는 지를 "구체적으로, 그리고 정확하게" 알고 있다는 것을 의미합니다. 애플 펜슬로 Procreate 앱을 켜서 무언가 그리는 행위 그 자체는 하면 그만입니다. 그런데 애초에 뭘 그리고 싶은건지, 그것이 Procreate 앱으로 그려질 수 있는 그림인지가 훨씬 더 중요하고, 어렵고, 복잡한 문제입니다.

AI가 실제로 할 수 있는 일(B)과 내가 생각하기에 AI가 할 수 있는 일(A)의 간극을 줄여나가는 과정이 생성형 AI 활용 능력을 높이는 과정이라 생각합니다.

생성형 AI 프롬프팅의 Landscape를 그려보자.

저는 현재 B2B SaaS의 Product Manager로 근무하고 있고, 업무에 생성형 AI를 여러모로 활용하고 있습니다. 그런데 저는 생성형 AI를 단순히 고도화된 검색 엔진으로 쓰고 싶지는 않았습니다. '업무 목적'의 활용이라면 제가 직접 하던 실제 업무를 최소한 대체해야 한다고 생각했습니다. Cursor를 써서 AI에 인생 가장 진심으로 와우!를 외친 후로 신나서 온갖 시도를 해보았는데요. 되는 것도 있었지만 안 되는 것도 많았습니다. 한편으론 대체라는 관점으로 접근한 것이 발상력의 부족이었기도 했습니다. '대체'는 안 되는데 제가 '못 하는 걸 해낸' 사례도 있었거든요. 좌충우돌을 겪어 보니 이제 다시 초심으로 돌아가서 큰 그림을 제대로 채워나가듯 공부해야겠다 싶었습니다.

생성형 AI 프롬프팅의 구성 요소

생성형 AI 프롬프팅의 구성 요소

이 글에서 다루는 '생성형 AI 프롬프팅'은 자연어 텍스트 생성형 AI를 실제 업무에 적용하는 과정에 초점이 맞춰져 있습니다. 저는 위의 그림과 같이 생성형 AI 프롬프팅이 크게 5가지 요소로 구성된다고 생각합니다.

• 프롬프트 목표 : AI로 수행하려는 작업이 무엇이고 그 결과로서 얻을 산출물을 말합니다. 내 업무를 대체하는 것이 목적이라면 내가 직접 하던 업무가 곧 AI로 확보하려는 산출물의 정의가 됩니다.
• 프롬프트 워크플로우 : 쉽게 말하자면 내 목적에 도달하기까지 AI가 몇 번 실행되어야 하는지, 각각의 실행 결과를 어떻게 연계할 지를 말합니다. 주어진 자료를 단 한 번의 프롬프트로 분석하라고 시킬 수도 있는데요. 자료를 일정 기준으로 쪼개서 각각 분석하라고 시킨 뒤, 그 결과물을 다시 모아 요약하라고 시킬 수도 있습니다. 그래서 프롬프트 워크플로우는 하나의 프롬프트에 투입되는 input 정의가 중요합니다.
• 프롬프트 목차 : COSTAR 프레임워크처럼 AI에 요구사항을 어떤 목차로 정리해서 줄 지를 말합니다. 프롬프트 프레임워크는 '목차'를 제시하는 경우도 있고 '원칙'을 제시하는 경우도 있기 때문에 저는 쉬운 표현으로 '목차'를 사용했습니다.
• 프롬프트 문체 : 명확하고 자세히 쓰기, 글쓰기 구분 기호(해시태그, 따옴표 등) 사용하기, 항상 예시를 제공하기 등의 프롬프트 작성 '원칙'을 말합니다. 마치 소설처럼 감성적으로 프롬프트를 작성하지는 않죠. 목차에 비하면 프롬프트 전체적으로 적용되는 권장 양식이기 때문에 '문체'라는 표현을 사용했습니다.
• 프롬프트 평가 : 지금 내가 AI로 얻은 결과가 불만족스럽다면 이는 AI 성능의 한계일까요? 아니면 프롬프팅을 개선해서 더 나아질 수 있는데 포기해버리는 걸까요? 개선하려면 평가해야 하고, 평가하려면 평가 기준이 필요합니다. 사람을 평가하려면 정성적 기준을 적용할 수밖에 없어서 객관적인 판단이 어려운데요. AI를 평가하는 과정도 일일이 사람 눈으로 보고 평가하는 식으로 돌아가기 쉽습니다. 정답이 요구되는 반복적인 작업일수록 어떻게 하면 더 일관되고 효율적으로 평가할 수 있는지가 중요해 집니다.

다음 글에 이어서

위의 5가지 항목 하나하나에 대해서 이야기할 거리가 너무나 많습니다. [프롬프트 목표]는 [프롬프트 워크플로우]와 긴밀하게 연관되어 있습니다. [프롬프트 워크플로우]를 설계하는 과정이 곧 [프롬프트 목표] 달성율을 끌어올리는 과정이 됩니다. [프롬프트 목차]와 [문체]는 요령이라기보다는 원칙을 이해하는 과정으로 접근해야 한다고 생각합니다. 생성형 AI가 어떻게 사고하는지를 이해해야 생성형 AI 관점의 자연어를 작성할 수 있을텐데요. [프롬프트 목차]와 [문체]에 대해 시중에 공개되어 있는 자료를 보다보면, 이러한 생성형 AI의 동작 원리를 이해하기에 큰 도움이 되었습니다. 마지막으로 [프롬프트 평가] 단계는 확립된 방법론을 찾아 참고하기 가장 어려운 단계라고 생각합니다. 확률로 동작하는 생성형 AI 특성상 일관된 결과를 얻기 어려우므로 정량적인 평가 기준을 적용하기 쉽지 않습니다. 여기서 [프롬프트 목표]도 따져봐야 합니다. 동작이 수행되지 않거나(실패), 틀린 답변을 내놓더라도(오류) 괜찮은 목표가 있는가 하면 실패/오류 가능성을 단 10%도 감내할 수 없는 목표도 있습니다.

다음 글에서는 [프롬프트 목표]를 더 자세히 살펴보겠습니다. 다양한 생성형 AI 활용 사례를 손쉽게 찾아볼 수 있는데요. 그걸 한 데 모아보면 생성형 AI가 사람의 어떤 능력을 어느 수준까지 해내는지를 알 수 있습니다. 아직 생성형 AI는 마법의 지팡이가 아닙니다. 신입 사원이 들어오면 기대 역량을 논의하듯이, AI에 대한 기대 설정(expectation setting)을 진행해보겠습니다.