[연재] 편향은 어디에 생길까요 — 도구인가, 저인가

지난 연재를 마치면서 사람 몫이 세 자리라고 정리했습니다. 정하는 자리, 자료를 대는 자리, 됐다고 판정하는 자리요.

그 뒤로 제가 실제로 한 일은 좀 우스꽝스러웠습니다. 창을 두 개 열어놓고 몇 주 동안 복사와 붙여넣기를 했어요.

왜 그러고 있었냐면, 한 곳에만 묻다 보니 답이 다 비슷하게 오는 느낌이 들어서였습니다. 저는 그게 그쪽 문제인 줄 알았어요. 이번 편은 그게 아니었다는 얘기입니다.

창이 두 개 떠 있었습니다

화면 왼쪽에 하나, 오른쪽에 하나.

왼쪽에 뭘 물어보고, 답이 나오면 그걸 통째로 긁어서 오른쪽에 붙입니다. "이거 어떻게 생각해?" 하고요. 오른쪽에서 답이 오면 그걸 다시 긁어서 왼쪽에 붙입니다. "이런 얘기가 나왔는데."

이걸 한 번 하면 왕복 한 바퀴예요. 기획 하나 잡는 데 대여섯 바퀴는 돕니다.

그날도 그러고 있다가 문득 손을 멈췄습니다. 제가 지금 뭘 하고 있는 거지.

<!-- 사진 자리 ①: 창 두 개 나란히 띄운 화면 -->

처음엔 저쪽이 편향된 줄 알았습니다

한동안은 한 곳만 썼습니다. 잘 됐어요. 시키면 만들어주고, 고치라면 고쳐줬습니다.

그런데 어느 순간부터 답이 다 비슷하게 오는 느낌이 들더라고요. 그때 제가 세운 가설은 단순했습니다. 이 도구가 한쪽으로 치우쳐 있구나. 뭘 물어도 "그럼 이렇게 만들면 됩니다"로 왔습니다. 만드는 얘기요.

문제는 제가 물어본 게 그게 아닐 때도 그랬다는 겁니다. "이걸 만드는 게 맞을까?"라고 물었는데도 만드는 방법이 왔어요. 잘 만드는 쪽이라 그런지, 질문을 만드는 얘기로 바꿔서 듣더라고요.

그래서 다른 데다 같은 걸 던져봤습니다. 답이 확실히 달랐어요. 이쪽은 "그거 말고 이런 각도는 어때요" 쪽으로 왔습니다.

한동안 두 곳을 오가면서 제가 내린 결론은 이겁니다.

둘 다 똑똑한데, 잘하는 자리가 달랐어요. 사람도 그렇잖아요. 그래서 물을 걸 나눠 묻기 시작한 겁니다.

그런데 치우친 건 저쪽이 아니었습니다

여기까지가 제 첫 답이었습니다. 도구가 치우쳤으니 다른 도구를 붙이면 된다. 몇 주는 그 답으로 굴러갔어요.

그런데 왕복을 하다가 이상한 걸 봤습니다. 제 질문이 달라져 있었어요.

한 곳만 오래 쓰면 어떻게 되냐면요. 답이 잘 나오는 방식으로 질문이 다듬어집니다. 저는 그게 "프롬프트를 잘 쓰게 됐다"인 줄 알았어요. 실은 그 도구가 잘 대답할 수 있는 것만 물어보게 된 것이었습니다.

기획을 물으면 실행이 오니까, 어느새 기획은 안 물어보고 있었습니다. 물어봐야 그 답이 오니까요. 안 물어본 걸 못 받았다고 할 수는 없잖아요.

편향은 저쪽에 있는 게 아니었습니다. 제 질문 목록에 생겨 있었어요. 그게 무서운 게, 목록이 줄어드는 건 눈에 안 보입니다. 남은 질문은 다 잘 굴러가니까요.

한 곳하고만 오래 일하면, 답이 닮기 전에 질문이 먼저 닮습니다.

그래서 결과가 실제로 달라지냐고요

여기서 솔직히 짚고 갈 게 있습니다. 손이 두 배로 드는 일이니까요.

한 번 겪은 걸로 답을 대신할게요.

봇들이 뭘 하고 있는지 보는 현황판이 있는데, 거기 칸을 하나 붙였습니다. 다 만들고 나서 "검사 228가지 전부 통과"라는 보고를 받았어요. 하나도 안 빨간불이었습니다.

그날 저녁에 그 코드를 반대편 창에 붙여봤습니다. 습관처럼요. 11초 뒤에 답이 왔는데 첫 줄이 이랬습니다.

"이 줄이 화면 전체를 최대 90초 멈춥니다."

맞았습니다. 10분에 한 번씩 바깥에 뭘 물어보게 해놨는데, 그 물어보는 동안 화면이 통째로 멈추는 구조였어요. 감시하려고 만든 화면이 10분마다 눈을 감는 겁니다.

검사 228가지가 왜 못 잡았냐면, 그 값들은 전부 맞게 나오거든요. 틀린 게 아니라 느린 거였고, 검사는 시간을 안 봤습니다. 그리고 무엇을 검사할지 정한 사람도 저였고요.

이 얘기는 따로 한 편이 필요해서 뒤에서 다시 하겠습니다. 지금 말씀드리고 싶은 건 하나예요. 왕복이 값을 하냐면, 합니다. 다만 그 값이 어디서 나오는지는 제가 생각한 데가 아니었어요.

값은 '두 배로 똑똑해지는 것'에서 안 나옵니다

처음엔 이렇게 기대했습니다. 둘한테 물으면 더 나은 답이 나오겠지.

그건 별로 안 그랬어요. 대개는 비슷한 소리를 두 번 듣습니다.

값이 나오는 자리는 따로 있었습니다. 한쪽이 당연하게 여긴 걸 다른 쪽이 안 당연하게 볼 때요. 위의 90초짜리도 그랬습니다. 만든 쪽은 "10분에 한 번이니까 싸다"는 생각을 들고 코드를 봤고, 처음 보는 쪽은 그 생각이 없으니까 적힌 숫자를 그냥 읽었어요.

그러니까 이건 지능 싸움이 아니라 처지 싸움입니다. 만든 사람은 못 보는 자리가 있고, 그건 오래 볼수록 오히려 더 확신이 붙어요. 집 지은 사람이 자기 집 하자를 못 보는 거랑 같습니다. 여기 이렇게 한 이유를 아니까요.

그런데 이걸 사람이 하고 있었습니다

문제는 이 왕복을 제 손이 하고 있었다는 겁니다.

긁고, 붙이고, 창 바꾸고, 다시 긁고. 한 바퀴에 30초쯤 걸립니다. 별거 아닌 것 같은데 하루에 열 바퀴면 5분이고, 진짜 비용은 시간이 아니었어요.

귀찮으면 안 물어보게 됩니다.

이게 핵심입니다. 손이 드니까 "이 정도는 그냥 넘어가지" 하게 돼요. 그런데 하필 그 "이 정도"에서 90초짜리가 나옵니다. 물어볼지 말지를 판단이 아니라 귀찮음이 정하고 있었어요.

그래서 붙이기로 했습니다. 문장 끝에 짧은 기호 하나만 달면 자동으로 양쪽에 물어보게요.

붙이는 데 두 번 막혔습니다

쉬울 줄 알았어요. 창 두 개를 프로그램으로 잇는 거니까요.

첫 번째로 막힌 데는 좀 황당했습니다. 저쪽 앱 입력칸에 글자가 안 들어갔어요. 붙여넣기도 안 먹고 메뉴로 해도 안 먹었습니다. 네 번 다르게 시도했는데 전부요. 창을 열고 닫는 건 되는데 글자만 안 들어갑니다.

두 번째는 돈 얘기라 좀 깁니다. 공식 도구를 쓰려고 했더니 "지원하지 않는 클라이언트"라며 막더라고요. 그러다 더 이상한 걸 봤습니다. 분명히 유료로 쓰고 있는데 화면에는 '무료 등급'이라고 떴어요.

이게 왜 그런지는 다음 편에서 말씀드리겠습니다. 결론만 미리 적으면, 구독이 잘못된 게 아니었습니다. 돈을 내는 창구가 다른 곳이었어요.