청버둥

NC가 AI관련된 인력충원과 사옥건설 등 투자를 계속하더니 드디어 무언가 출시했다.

과연 썸띵 디퍼런트일까?

한국어 멀티모달 벤치마크 5종 

• 기존 영미권 벤치마크(MMBench 등)를 기반으로 한국어 특화 기준을 추가 개발.
• K-DTCBench: 한국어 문서, 표, 차트 이해를 검증하는 새로운 벤치마크 포함.

VARCO-VISION의 특징

• 한국어 및 영어 지원: 이미지와 텍스트를 이해하는 중소형 오픈소스 모델.
• 텍스트-이미지 통합 처리: 단일 모델로 이미지-텍스트 작업과 텍스트 전용 작업 모두 가능.
• 우수한 성능: 한국어 분야에서 동급 모델 중 1위.
• 적용 가능성: 이미지 인식, 질의응답, OCR, 사물 위치 검출 등 다양한 AI 서비스 개발에 활용 가능.

요약하자면, 

VARCO-VISION은 이미지-텍스트 통합 이해 능력에 특화되었고 멀티모달은 벤치마크를 통해 한국버전을 만들었다는 것.

해외 대기업의 AI  API에 의존하고 있는 AI산업시장을 바꾸는 판도가 되려나 ?

게임 산업에 미칠 영향

몰입형 게임 경험 제공

이미지-텍스트 통합 이해 능력으로 NPC와 더욱 자연스러운 상호작용이 가능하다

- 사용자의 행동이나 글에 따라 NPC와 동적인 대화 가능

- 사용자의 플레이를 실시간으로 분석해 자연스러운 개인화된 게임 경험 제공

컨텐츠 제작 효율성 향상

개발 과정에서 이미지 생성과 설명 자동화 기능으로 효율적인 개발지원

-기획단계에서 중세풍의 판타지스러운 숲이라고 입력하면 요소를 분석하여 제공

콘텐츠 산업에서의 활용 가능성

창작물 제작 지원

멀티모달 AI를 통해 제작자는 제작 시간을 줄일 수 있음

- 이미지-텍스트 결합 스토리 제작 자동화

- 시각자료를 분석해 이미지 제공 혹은 창작물 제작

데이터 기반 마케팅

OCR, 그라운딩 기능을 통해 이미지 - 텍스트를 동시 분석해 고객 맞춤 추천이나 선호도 측정 가능

- 제품 이미지와 사용 후기 분석하여 고객이 어떤 요소를 통해 구매를 결정했는지 파악가능

- 같은 맥락으로 SWOT도출 가능

문화 컨텐츠와 현지화 강화

한국어 특화 모델인 만큼 해외 컨텐츠의 현지화 작업이 더욱 정교해진다.

게임이나 창작물에 대한 번역과 자막의 자동 생성

산업적 잠재력

오디오, 비디오영역의 확장성 기대

- 음악, 비디오제작 등 관련된 다양한 산업에서 확장될 가능성 농후하다. 자막 자동 생성, 음악 자동 삽입, 비디오 제작 자동화도 가능할 것 같고 영화산업에서 현지화 작업을 거칠 때 또한 유용해보임

크로스 플랫폼

크로스 플랫폼의 중요도는 이미 게임산업에서 익히 알려져있다.

영화, 게임, 음악 등을 고객 맞춤으로 제작할 수 있을 것 같다. 예를 들면, 유저의 게임 플레이를 애니메이션화 하거나 영화 - 게임 - 웹툰에서 세계관 공유 컨텐츠 생성 등 다양하게 진입할 수 있을 것 같다. 물론 드라마, 유튜브 등 모두 가능한 이야기

결론

얼마나 자연스럽게 기능하는지 AI성능이 어느정도냐에 따라 다르겠지만 가히 새로운 패러다임을 열 수도 있다고 생각.

한류 < - > 해외에 VARCO-VISION이 중심창구가 될 수도 있다고 생각. 이 기술이 발전할 수록 창작의 경계를 허물고 플레이어와 창작자에게 새로운 경험을 제공할 것이며 산업자체가 VARCO-VISION에 맞춰 흘러갈 수도 있다! 

과연 썸띵 디퍼런트일까?