1. 와인 앱
지금 6분간격으로 50개의 와인정보를 들고오는 스크립트를 짜서 배치로 돌리고 있다. 자주호출하면 ip blocking되더라..ㅠ 3~4일 정도 돌리면 모두 수집될 것 같은데 수집되고 나서도 데이터 정제과정이 많이 필요하다ㅠ 일단 모두 수집하고 정제 과정은 앱 개발과 병렬로 수행할 예정이다.
바코드로 와인정보를 가져오는 피처는 포기했다. 바코드로 정보와 상품정보 맵핑된 데이터 찾기가 쉽지 않다. 바코드 표준에 따른 meta 데이터 정보만 알 수 있다. 한국에서 생성된 바코드는 코리아넷에 검색하면 되는데 요거 api 신청은 돈이 들고 기업형으로 개방된 것 같아서 포기, 크롤링하고 싶어도 관련 정보 제공해주는 사이트를 찾기 힘들다. 모로가도 서울만 가면 된다고 라벨 검색을 할 수 있는 API가 있나 싶어 네이버 이미지 검색 API를 찾아봤는데 이건 이제 관리를 안하는지 업데이트된지 몇년된 것 같아서 포기. response도 빈약하다.
생각해보니 모바일기반 앱이기에 ocr을 하면 되겠다싶어 flutter package 검색해보니 유명한거 3개 정도 있어서 요거 사용하면 될 듯하다. label 읽어서 와인 명 검색하면 왠만한거 다 찾을 수 있을 것 같다. 바코드 처럼 빠르고 완벽하게 찾지는 못하겠지만 그래도 원하는 결과는 얻을 수 있을꺼라 생각도 들고 바코드 찾을 시간도 아꼈다. 추가로 장점 하나 더 말하자면 바코드는 병을 뒤집어서 스캔해야하는데 라벨 ocr은 바로 검색할 수 있어서 좋은 것 같다. 이걸 어떻게 빠르고 간편하게 할 수 있을지 ux는 많이 고민을 해봐야겠지만 말이다.
추가로 밑에 글쓴 EO 영상을 보고 크롤링하는걸 auto gpt를 이용해서 할 수 있지 않았을까? 생각도 든다.
2. EO "글로벌 6위 한국의 인공지능 기업들의 생존전략" 영상 요약
https://www.youtube.com/watch?v=rhTwR9vdApQ
Tortoise에서 발표한 글로벌 국가별 AI 랭킹에 따르면 한국은 2023년 6위를 달성했다고 한다.
네이버 클라우드: 생성형 AI는 hype이 아니라 10~15년 사이에 오는 주기에 있다고 말하고 있다. 기존에는 복잡한 과정을 통해서 어디에 있는지 알아야되고 복잡하게 써있는걸 이해할 수 있어야 했는데 생성형 AI는 말한마디에 알려주고 이해도가 떨 어지면 이해도에 맞춰서 알려주고. 정보를 주는 것 뿐 아니라 나 대신 일을 해줄 수 있는 지경이다. 생성형 AI는 언어모델에서 시작되었는데 앞에 봤던 글자들을 보고 그 다음에 오는 글자가 어떠한 것인지를 확률적으로 맞추는 것을 부단히 노력한 결과물이다. '동해물과 백두산이'한 다음에 '마'가 나와야 하는걸 아는 확률적인 모델이다. 처음에 Open AI GPT 3가 나왔을 때 그래도 애는 글을 잘쓰는 것 같아. 그래도 추론은 하지 못한다. 그런게 일반적인 인식이였습니다. 현재 생성형 AI는 추론을 꽤 잘 합니다.
왜 한국어 초대규모 AI가 필요한가?
AI 주권이라는 걸 3년전 부터 이야기 했고 생성형AI 시장이라는게 GDP랑 연결이 된다. 만약 좋은 AI를 가지고 있지 않으면 외산 AI를 사용하게 될 것이고 무료로 그들이 공급할 리가 없습니다. 어떤 기업이라도 그렇게 하겠지, 뭐 나쁜게 있어? 하실 수 있지만 그게 만약 우리나라 기업이 아니면 문제가 됩니다. 우리나라 생산활동의 대부분을 어떤 외산 AI를 사용한다면 우리는 그들에게 우리나라 GDP의 4% 수준의 비용을 지불하게 됩니다. 이건 조용하게 당하는 AI 식민지가 될 확률이 높다고 봤고요. 이런 문제는 대부분의 나라들이 자각하고 있다. 영국과 이스라엘도 자체 AI를 만든다고 선언했다.
eo: 처음에는 굉장히 회의적인 목소리가 많았다. 조금있으면 언어적인 장벽이 허물어질꺼다. 돈만 쓰는거 아니냐, 경쟁력이 있겠냐 등등. 하지만 AI가 모든 영역에 거쳐 인간의 삶을 근본적으로 변화시킬 것이기 때문에 다른 국가들도 이럴 때일수록 자체 AI 인프라 가술을 갖춰야한다고 말하고 있다.
뤼튼: 인터넷 시대의 프론트 엔드는 이런 검색 화면이 우리의 첫 화면을 차지했습니다. 이런 인터넷과 모바일의 프론트엔드를 대체할 대화형 AI 프론트엔드가 되어 사람들의 첫 화면으로 자리잡고자 합니다.
질의응답
1. 생성형 AI 시대가 되면서 검색이 어떻게 달라질 수 있는가?
인터넷이 나온 이래에 가장 큰 어플리케이션이 검색이다. 시장규모로 봤을 때. 1994년에 야후가 검색엔진을 만든 이래로 30년동안 검색 결과 화면이 링크의 나열이다. 어떻게 보면 프로덕트의 혁신이 딱히 없던 영역이다. 물론 검색창 뒤에 있는 기술은 엄청나게 발전했지만 사람들이 원하는건 링크의 나열이 아니라 사실 링크 뒤에 있는 답이다. 정보인데, 어떻게 하면 정보를 더 앞단으로 끌어와서 질문을 하는 순간 답을 바로 줄수 있을까? 이걸 해결하는게 저는 궁극의 검색이라고 생각하는데 이걸 해낼 수 있는 기술이 딱히 없다가 거대 언어모델이 이걸 할 수 있게 도와준거 같다. 한편으로 검색이 생성형 검색으로 완전히 대체될 것인가 한다면 개인적으로 그렇게 생각하지는 않는다. 내가 직접 탐색해보고 싶은 니즈도 있기 때문이다. 링크의 나열 검색과 답을 바로 얻는 생성형 검색이 같이 있는게 가장 이상적인 형 태라고 생각한다.
2. 정교하게 잘 쓴다는 정도가 아니라 회사에서 생각하는 프롬프트 엔지니어링이라는게 어떤것인가?
GPT 3 이후에 나왔던 퓨샷 패러다임에 있어서 기존에 특정 목적의 인공지능 모델을 학습할 때 천 개 또는 만 개 이상의 라벨링된 데이터가 있어야 학습할 수 있었는데 이제 적은양의 모델만으로도 어느정도 수준을 낼 수 있는 모델을 만들 수 있다는 것이 가장 큰 장점이였다고 생각한다. Chat GPT 이후에 모델이 너무 똑똑해 지면서 프롬프트 엔지니어링 난이도도 쉬워졌다.
사람들이 자연어로 말을 걸면서 답을 얻어내는 건데 말을 거는 상대가 똑똑해질 수록 개떡같이 말해도 찰떡같이 알아듣는 일들이 일어나는 것 같다. 예전에는 '정보 검색사'라고 해서 검색엔진에 검색했을 때 답을 찾기가 너무 어려우니 검색 스킬을 가진 사람들이 자격증이 있고 직업이 있었는데 그런데 지금은 많이 없어졌다. 웬지 5~10년이 지나면 모델 자체가 개떡같이 말해도 찰떡같이 알아들음으로 인해서 프롬프트 엔지니어링 영역이 덜 중요해지지 않을까 생각이 있다. 그때 그 영역을 대체하게 될 건 사용자 경험을 잘 챙길 수 있는 것들이 이걸 대체하게 될 것 같다.
지금 프롬프트를 잘 쓰는 것도 두 가지 측면이 있는 것 같다. 어쨌든 자연스러운 인간이 이해할 수 있는 언어로 수렴할 것이고 지금은 첫 사이클을 돌고 있는 것이기 때문에 인공적인 부분이 있는 거라고 생각한다. 점점 더 자연어로 수렴하려면 사람들이 AI에게 일을 시킬 때 어떤 언어로 어떤 식으로 일을 시켜야 하는지 알아야 되는데 지금 첫 사이클이라 이 부분에 대한 정보가 많이 없으니까 지금은 억지로 프롬프트 엔지니어링을 많이 해야하는 상황이다. 사람들이 이런 식으로 일을 시킬 때 이런식으로 말하는구나 라는걸 알면 그게 학습에 사용되면서 이상하게 이야기해도 좋은 아웃풋이 나오는 방식으로 발전될 것이다.
마무리
AI 업계에 계신 분들이 AI 라는 파도와 글로벌 전쟁이라는거에 심각하게 받아들이고 있었다. 뭔가 신기한게 나왔다고 치부해버리기에는 인간 삶에 너무나도 근본적인 변화가 일어나고 있는 것이기 때문에 이 부분에 대해서 자체적인 역량과 성공사례를 만들어내지 못한다면 많은 부분 사회에서 비효율이 발생할 것이다.
Chat GPT가 과거에 학습한 걸 바탕으로 결과를 보여주는 거라면 Auto GPT는 인공지능에 목표를 주고 일을 시키는 것이다. 예를 들어 지난 주에 세계에서 가장 많이 투자받은 스타트업 10개를 찾아서 어떤 회사들이 투자받았고, 그 회사들이 왜 투자받았는지를 리스트업 해줘 라고 명령하면 5분정도 만에 해준다. 1불~5불정도 든다. 이런 조사 수십개를 동시에 수행하기도 한다. 숙련된 사람이 리서치해서 큐레이션도 하고 다듬어야 하는 일들을 수십명이 해야하는 일들을 AI가 몇 천원주면 해줄 수 있는 세상이 되었다.