May 29, 2024

바야흐로 생성형 AI의 시대이다. LLM(Large Language Model)에게 여러가지 질문을 일단 무지성으로 쏟아내고 있지만, 우리는 그들이 좋은 답변을 충분히 잘 전달하고 있는지 답변을 검증하기 전까지는 알 수 없다.

검증하기 전에, 질문을 하기 위해 필요한 정보를 답변자에게 주는 것은 당연히 매우 중요하다. (우리는 가끔 이런 중요한 기초를 잊고 시작하니까) 그래서, LLM들에게 어떻게 질문하면 좋은 지 다음과 같은 질문을 남겨 보았다.

안녕하세요 너에게 물어볼 때 어떻게 물어봐야 좋은 답변을 받을 수 있는 지 궁금합니다. 내가 알고싶은 것을 얻기 위해서 어느 정도 수준으로 어떻게 물어봐야 잘 대답해 줄 수 있나요?

그러자, LLM은 아래와 같이 답했다.

• GPT-4o의 답변
• Claude 3 Sonnet의 답변
• Llama 3 70B Instruct의 답변

정리하면, 사람에게 질문하는 것과 크게 다르진 않는 것 같다. 듣고싶은 답에 대한 충분한 배경 지식과, 어려운 부분에 대한 구체적인 질문을 구성해야 하겠다. 예시 상황 맥락이 충분히 제시되어야 좋은 답변으로 이어질 수 있다.

특이한 점은 LLM은 내 입맛에 맞게 답변을 제공해 줄 수 있기 때문에 질문의 의도를 명확히 하고, 답변의 포맷을 알려주거나 예시를 들어주면 그에 맞는 답변을 해 줄수 있을 것 같다.

잘 모르기 때문에 하는 것이 질문이고 답을 통해 새로운 통찰을 얻어가는 과정에서 LLM은 그 답변이 환각으로 잘못 나갈 수 있을 지언정 날 도우려고 해 줄거라 생각한다. 빠르게 해결책 또는 비슷한 방법을 알아내고 다음 단계로 나아가자.