이 글은 코칭 앱과 직접 연결되지는 않습니다. 다른 프로젝트들을 붙들고 지내는 동안, 하나의 주제로 묶기엔 작지만 그냥 흘려보내기엔 마음에 남던 생각 몇 가지를 모았습니다. 평소보다 가벼운, 메모에 가까운 글입니다.
요즘 제 곁을 스쳐 간 것들에는 묘한 공통점이 있었습니다. 분명히 보긴 봤는데, 정작 손에 쥐어지지는 않더군요. 잠깐 만져보고 놓친 것, 멀리서 반짝이지만 다가갈 수 없는 것, 다 만들어두고도 아직 만나지 못한 것. 그 사이에 제가 실제로 손에 쥔 작은 것 하나를 끼워서, 네 가지를 적어봅니다.
1. 잠깐 손에 쥐었다 빼앗긴 도구
한동안 저는, 평소 쓰던 것보다 한 세대 앞선 AI 모델을 쓸 수 있었습니다. 당시 가장 앞서 있던, Fable 5라는 이름의 모델이었습니다.
차이는 미묘하지 않았습니다. 코딩을 시킬 때, 그동안 자주 겪던 두더지 잡기가 눈에 띄게 줄었습니다. 하나를 고치면 다른 데가 깨지고, 어제 고친 게 슬그머니 되돌아와 있던 그 반복이요. 이 모델은 제가 전체적으로 무엇을 하려는지를 먼저 쥐고 움직였습니다. 눈앞의 한 줄이 아니라, 일의 윤곽 전체를 보고 있는 느낌이었죠. 긴 글을 다룰 때도 그랬습니다. 한참을 이어가도 처음의 결을 놓치지 않았고, 문장이 한 단계 다른 데가 있었습니다.
그 시간이 영영 이어지지 않으리란 건 어렴풋이 알고 있었습니다. 그래서 그 며칠 동안 더 매달렸는지도 모르겠습니다. 그리고 어느 날, 늘 하던 대로 그 모델을 불렀는데 — 그 자리에 더는 없었습니다.
전해 듣기로, 닫힌 이유는 뜻밖이었습니다. 가격도, 제 요금제 문제도 아니었습니다. Fable 5의 힘이 너무 셌다는 것이었습니다. 이만한 능력을 가진 모델이 만에 하나 탈취되거나 엉뚱한 손에 넘어갔을 때 무슨 일이 벌어질 수 있는지 — 누군가 그걸 진지하게 계산하기 시작한 겁니다. 한 사람의 손끝에서 들어주던 비서가, 관점을 바꾸면 한 사람이 나라 하나만큼의 일을 벌일 수 있는 지렛대이기도 하니까요. 결국 미국 정부 쪽에서, 안전장치가 충분히 갖춰질 때까지 접근을 묶는 긴급 조치를 내렸다고 합니다. 어제까지 열려 있던 문이 그렇게 하룻밤 새 닫혔습니다.
묘한 기분이었습니다. 제 손을 떠난 이유가 ‘쓸모가 없어서’가 아니라 ‘너무 강력해서’라니요. 잠깐 빌려 탔던 그 차는, 알고 보니 아무에게나 열쇠를 쥐여줄 수는 없는 종류의 물건이었던 셈입니다. 저는 다시 그전에 쓰던 모델로 돌아왔습니다. 그것도 여전히 훌륭한 도구입니다. 다만 한번 더 나은 걸 쥐어보고 나니, 이제는 그 빈자리가 자꾸 눈에 들어옵니다.
정직하게 덧붙이면, 이 아쉬움의 얼마쯤은 새것에 대한 들뜸일 수 있습니다. 표본은 저 하나고, 며칠뿐이었으니까요. 그래도 길고 어려운 작업에서 느낀 그 차이만큼은, 지금도 그리울 만큼 분명했습니다.
2. 캐싱이라는 살림 — 쉽게 풀어보기
얼마 전, 제가 쓰는 AI를 만드는 회사로부터 ‘캐싱(caching)‘에 관한 안내를 받았습니다. 우리 시스템에도 이미 들어가 있는 장치인데, 이참에 코드를 몰라도 알아들을 수 있게 한번 풀어두려 합니다. 좋은 개념일수록 쉬운 말로 옮겨두면 두고두고 쓸모가 있으니까요.
먼저 짚어둘 사실 하나. AI는 대화와 대화 사이에 기억이 없습니다. 우리가 한 마디 더 건넬 때마다, AI는 그 대화의 처음부터 전부를 다시 읽고 답합니다. 매번 첫 페이지부터요. 짧은 대화면 괜찮은데, 앞에 깔아둔 설명이나 규칙이 길수록 같은 걸 매번 처음부터 다시 읽느라 시간과 비용이 듭니다.
캐싱은 여기서 나온 살림의 지혜입니다. 안 바뀌는 앞부분을 한 번 읽어둔 채로 잠깐 보관해두는 겁니다. 다음 질문이 오면 그 부분은 다시 읽지 않고, 보관해둔 걸 꺼내 씁니다. 그러면 두 가지가 좋아집니다. 빨라지고, 싸집니다. 다시 꺼내 쓸 때 드는 비용이 처음 읽을 때의 10분의 1 수준이거든요.
선생님으로 비유하면 이렇습니다. 질문마다 교과서를 1쪽부터 다시 펴 읽는 대신, 안 바뀌는 부분엔 책갈피를 꽂아두고 거기서 바로 이어가는 것. 책갈피 덕에 같은 데를 또 읽지 않아도 됩니다.
다만 두 가지 단서가 있습니다.
하나, 그 책갈피는 영원하지 않습니다. 보통 5분쯤 지나면 지워집니다. 더 오래(한 시간쯤) 붙들어 둘 수도 있지만 보관하는 값이 더 듭니다. 그리고 미리 정리해두는 첫 한 번은 오히려 비용이 살짝 더 듭니다. 그러니 같은 걸 두세 번 넘게 재사용할 때라야 이득입니다. 한 번 쓰고 말 거면, 굳이 책갈피를 꽂는 수고가 손해죠.
둘, 무엇을 앞에 두고 무엇을 뒤에 둘지가 중요합니다. 책갈피는 안 바뀌는 부분에만 꽂을 수 있습니다. 앞쪽에 매번 달라지는 것(오늘 날짜라든가, 그때그때의 질문)을 끼워 넣으면 그 뒤로는 책갈피가 통째로 무효가 됩니다. 그래서 변하지 않는 건 앞에 모아두고, 매번 달라지는 건 맨 뒤로 미루는 게 요령입니다.
쓰고 보니 익숙한 모양새였습니다. 결국 이것도 무엇이 변하지 않는가를 앞에 가지런히 모아두는 일이니까요. 얼마 전 ‘진실은 약속된 한 자리에’라고 적었던 이야기와, 생각보다 멀지 않은 데 있었습니다.
3. 무료라는데, 손에 닿지 않는
요즘 오픈소스 AI 모델들이 무섭게 좋아진다는 소식이 자주 들립니다. 큰 회사 모델 못지않은 것들이, 그것도 무료로 공개된다고요. 솔깃했습니다. 무료라면 우리 같은 작은 살림은 비용에서 자유로워질 길 아닌가. 그래서 숫자를 들여다봤습니다.
우리가 매일 일을 맡기는 (클라우드의) 모델은, 한 번의 요청에 초당 수천 개의 토큰을 처리하며 움직입니다. 토큰은 글자보다 조금 큰, 말의 알갱이라고 보면 됩니다. 그 속도 덕에 긴 문서도 몇 초 만에 읽고 답이 나옵니다.
그런데 같은 급의 큰 오픈소스 모델을 보통 노트북에 올려 돌리면, 잘 나와야 초당 십수 개, 흔하게는 한 자릿수 토큰입니다. (고성능 노트북에서 큰 모델이 초당 30~45개, 보급형이나 메모리가 빠듯한 경우엔 8~18개 수준이라는 게 2026년의 실측들입니다. 그나마 모델이 너무 크면 아예 올라가지도 않습니다.)
수천 대 십수. 거칠게 잡아도 수백 배 느린 셈입니다. 클라우드에서 몇 초면 끝날 일이, 노트북에선 몇 분, 길면 그 이상으로 늘어진다는 뜻이죠. 무료로 풀리는 건 모델 그 자체지, 그걸 쓸 만한 속도로 돌리는 힘은 따라오지 않았습니다.
그 격차를 장비로 메우려면 어떻게 될까. 요즘 시세로, 고성능 그래픽카드 한 장이 500만~600만 원, 개인용 소형 AI 장비가 650만 원 선입니다. 그걸 갖춰도 클라우드 근처엔 못 갑니다. 정말 비슷한 속도를 내려면 한 장에 3,000만~5,000만 원 하는 데이터센터용 카드를 여러 장 꽂아야 하고, 거기에 그것들을 쉴 새 없이 돌릴 전기까지 — 금세 억 단위입니다.
그러니까 우리 같은 1인 규모에겐, 그 ‘무료’는 손에 닿지 않는 곳에 있었습니다. 멀리서 보면 분명 거기 있는데, 다가가면 장비의 벽에 막히는 신기루처럼요.
물론 단서는 답니다. 작은 모델을 가볍게 돌려 쓰는 길은 분명히 있고, 용도에 따라선 그걸로 충분하기도 합니다. 다만 우리가 필요로 하는 품질과 양에선 아직이라는 이야기고, 이 바닥은 워낙 빨라서 한두 해 뒤엔 또 다른 풍경일 수도 있습니다. 지금 시점의 셈일 뿐입니다.
4. 앱은 만들면 끝이 아니다 — 오래 품어온 생각
이건 새삼 깨달은 이야기가 아닙니다. 오래전부터 품어온 생각이고, 요즘 다시 그 앞에 서 있을 뿐입니다. 앱은 만들어진 순간에 완성되는 게 아니라는 것. 그 진짜 생애는, 누군가 그것을 쓰기 시작하는 순간에야 비로소 시작됩니다. 만드는 일이 출산이라면, 키우는 일은 그다음이고 더 길죠.
저는 아직 그 사용자들을 기다리고 있습니다. 그리고 그 기다림이 마냥 가만한 것만은 아니어서, 자꾸 같은 질문을 하게 됩니다. 언젠가 기회가 왔을 때 더 많은 사람을 만나려면, 그 전에 무엇이 갖춰져 있어야 할까.
그 고민의 일환으로, 며칠 전엔 홈페이지에 손을 댔습니다. 적어도 사람들이 우리를 발견이라도 할 수 있게요. 그동안 이 블로그에 글을 여러 편 써서 쌓아뒀는데, 정작 검색에는 거의 잡히지 않고 있었습니다. 집을 지어놓고 문패도, 길 안내도 안 붙여둔 셈이었죠. 구체적으로는 이런 일을 했습니다.
- 사이트 지도(사이트맵)를 만들어 검색엔진에 건넸습니다. “우리 집엔 이런 방들이 있습니다” 하고 목록째 내미는 일입니다. 그래야 검색엔진이 글 하나하나가 거기 있다는 걸 압니다.
- 검색엔진이 알아볼 수 있게 글마다 꼬리표를 달았습니다. 누가 쓴 무슨 글이고 언제 올렸는지를, 사람 눈이 아니라 기계가 읽는 형식으로 함께 적어둔 겁니다.
- 링크를 나눌 때 뜨는 미리보기 카드도 손봤습니다. 그전엔 주소를 공유하면 휑한 빈칸이 떴는데, 이제 제목과 그림이 함께 뜹니다. 카카오톡에 한 줄 붙여넣었을 때의 첫인상이 달라지는 부분이죠.
대단한 토목공사는 아닙니다. 다만 찾으려는 사람이 찾을 수 있는 길은, 이제 열어둔 셈입니다.
그리고 길목을 하나 더 보고 있습니다. 유튜브입니다. 글로만 닿을 수 있는 사람과 영상으로 닿을 수 있는 사람은 다르니까요. 아직 준비 단계지만, 사람을 만날 또 다른 문을 거기에도 내볼 생각으로 이것저것 매만지는 중입니다. 발견된다고 곧장 쓰임으로 이어지는 건 아니겠죠. 그건 그다음, 아마 더 어려운 숙제일 겁니다. 그래도 문은 여러 개 열어두려 합니다.
마치며
네 가지를 늘어놓고 보니, 제 마음이 유독 쥐지 못한 것들 위에 오래 머물렀다는 걸 알겠습니다. 앞섰던 도구는 잠깐 쥐었다 빼앗겼고, 무료라던 모델은 장비의 벽 너머에 있었고, 사용자는 아직 오지 않았습니다.
그래도 그 사이에 제가 한 일도 있습니다. 캐싱 같은 걸 남들도 알아듣게 풀어 적어둔 것, 그리고 우리 집에 문패를 달고 — 유튜브라는 또 다른 길목에도 슬슬 푯말을 세워보기 시작한 것. 대단한 일은 아닙니다. 다만 잡히지 않는 것들을 바라보고 있는 동안에도, 손에 쥘 수 있는 건 쥐어야 한다고 — 그렇게 며칠을 보냈습니다.
기다리는 쪽에서 할 수 있는 게, 마냥 기다리는 것만은 아니더군요. 그 사이에 문패라도 달고, 길목마다 푯말이라도 세워두는 일. 요즘 제가 한 일은 대략 그 정도입니다.