들어가며 링크 복사
안녕하세요. 카카오모빌리티 클라이언트 개발자 케빈, 맥스웰, 휴, 헬레나입니다.
AI가 산업 전반의 핵심 기술로 자리 잡은 지금, AI 서비스는 대부분 클라우드 기반으로 구현되어 있습니다. 하지만 실제 사용자 환경에서는 응답 지연, 네트워크 의존성, 개인정보 보호 등의 문제가 지속적으로 발생합니다. 이런 한계를 극복할 수 있는 대안으로 On-Device AI, 즉 디바이스 자체에서 AI 연산을 수행하는 방식이 주목받고 있습니다.
On-Device AI는 개인정보를 외부로 전송하지 않고도 빠른 응답이 가능하며, 서버 비용까지 절감할 수 있는 장점이 있습니다. 그러나 지금까지는 주로 제조사나 플랫폼 애플리케이션(이하 앱) 위주로만 구현되어 왔고, 외부 서비스 기업이 실제 서비스에 적용한 사례는 드물었습니다.
카카오모빌리티는 구글 클라우드와 협력하여 Gemini Nano Early Access Program(이하 EAP)에 참여했고, Android에서는 Gemini Nano를, iOS에서는 자체 ML 모델을 통해 On-Device AI를 직접 구현했습니다.
나아가 On-Device AI의 한계를 극복하기 위해 Cloud AI와 결합한 하이브리드 전략을 도입했으며, 이를 실제 서비스에 적용해 안정성과 유연성을 확보했습니다. 이 글에서는 외부 서비스 기업으로서 이 기술을 어떻게 설계하고 운영했는지, 실제 경험을 공유하고자 합니다.
📚 추천 독자
On-Device AI와 하이브리드 전략에 관심 있는 분들, 특히 모바일 클라이언트 개발자, PM, 서비스 기획자분들이 읽으시면 더욱 좋아요!
Android 개발기: Gemini Nano와의 도전 링크 복사
구글의 Gemini Nano를 활용해 Android 앱에서 On-Device AI 기능을 구현한 과정을 소개합니다.
1. 동작 원리 링크 복사
Gemini Nano는 Android OS 내의 AICore에 탑재된 경량 모델입니다. 외부 서비스 기업은 AI Edge SDK를 통해 AICore와 통신하며 모델을 다운로드하고 질의할 수 있습니다. LoRA(Low Rank Adaptation)를 활용한 파인 튜닝과 프롬프트 입력, 결과 출력을 위한 안전 필터(Safety filter)로 구성되어 있으며, 특히 개인정보 보호를 위해 강력한 필터링이 적용됩니다.
2. 한계와 극복 링크 복사
초기에 Gemini Nano1로 테스트했을 때는 메시지에서 어느 정도 의미 있는 데이터를 찾아냈으나 성공률이 높지 않았습니다. 성능 향상을 기대했던 Gemini Nano2에서는 오히려 안전 필터 강화로 인해 성공률이 0%대까지 하락해 대부분의 추출이 실패했습니다.
주된 원인은 다음과 같습니다.
- 한국어 데이터 학습량 부족
- 한국식 주소, 이름, 전화번호 체계에 대한 이해 부족
- 강화된 개인정보 필터링 정책
이를 해결하기 위해 구글 클라우드팀과 정기적으로 협업하여 모델 학습 개선을 요청하고, 한국어 처리와 주소 체계 인식을 위한 학습 데이터를 보완했습니다. EAP 참여사로서 인증을 받아 보다 효과적인 필터링 적용한 결과, 성공률을 개선할 수 있었습니다.
3. 프롬프트 최적화 링크 복사
모바일 기기에서 On-Device AI를 실행할 때는 성능 제약으로 인해 프롬프트 최적화가 필수적입니다. 초기에는 “안녕”이라는 간단한 프롬프트에도 2~3초가 소요되었고, 실제 사용 환경에서 100자가 넘는 프롬프트에 사용자의 텍스트(50~300자)를 추가하면 응답 시간이 4초에서 최대 15초까지 걸렸습니다.
이를 개선하기 위해 토큰 수를 최소화하고 불필요한 문맥을 제거하는 방식으로 프롬프트를 최적화했고, 최종적으로 평균 4~5초 수준의 응답 시간을 달성했습니다.
이후에도 지속적인 성능 개선과 정책 개선 미팅을 통해 최소한의 응답 시간과 신뢰성을 확보했지만, 서비스 레벨에서는 아직 해결해야 할 과제가 남았습니다. 이에 저희는 Cloud AI와의 상호보완적인 해결 방안(하이브리드)을 모색하게 되었습니다.
iOS 개발기: Core ML로 자체 모델 개발 링크 복사
구글의 AI 지원을 받을 수 있는 Android와 달리, iOS에서는 OS 차원에서 제공되는 AI API가 제한적이어서 Text Recognition에 특화된 On-Device AI 모델을 자체적으로 학습시켜야만 했습니다.
1. 동작 원리 링크 복사
Create ML을 통해 자체 학습한 모델을 Core ML 포맷으로 변환하여 앱에 탑재했습니다. 이 모델은 CPU, GPU, Neural Engine을 활용해 네트워크 연결 없이 온전히 디바이스 내에서 실행됩니다
2. 데이터 전처리와 튜닝 링크 복사
Word Tagger를 활용해 필요한 정보를 추출하는 방식을 도입했습니다. 학습 데이터에서 이모티콘, 특수문자 등 노이즈를 제거하고 의미 있는 샘플 데이터로 모델을 학습시켰습니다.
태그의 종류와 개수는 모델 성능에 큰 영향을 미치므로, 다양한 조합을 실험하여 최적의 태그 구성을 찾는 데 집중했습니다.
Xcode Create ML의 시각적 튜닝을 활용해 모델을 최적화했습니다. 이렇게 완성된 모델을 iOS 앱에 탑재함으로써 특정 목적에 특화된 자체 On-Device AI 기능을 구현하는 기술력을 확보했습니다.
Cloud AI + On-Device AI = 하이브리드 AI 개발기 링크 복사
초기 단계인 On-Device AI는 결괏값의 정확도와 디바이스 환경에 따른 응답 시간 차이라는 문제점이 있었습니다. 이를 해결하기 위해 Cloud AI와의 상호보완적 방안을 모색했고, On-Device AI와 Cloud AI의 하이브리드 전략을 동적 제어 방식으로 구현하여 On-Device AI의 약점을 극복할 수 있었습니다. 이 방안에 대해 공유하려고 합니다.
1. 프롬프트 동적 구성 링크 복사
On-Device AI는 기기별, OS별로 동작 결과가 달라질 수 있습니다. 이를 해결하기 위해 프롬프트를 서버에서 동적으로 구성하고, AICore 종류, OS, 기기 특성에 따라 분기 처리하는 시스템을 설계했습니다. 어드민 시스템을 통해 효율적으로 관리하고 실시간 업데이트가 가능하게 했습니다.
2. AICore 개념과 AI Client Library 링크 복사
초기에는 Gemini Nano를 단일 구성으로 사용했으나, API 변경, 라이브러리 의존성, 테스트 제약 등 여러 문제가 발생했습니다. 이를 해결하기 위해 AICore라는 개념을 도입했습니다.
AICore는 Gemini Nano, Gemini Flash, Playground Server AI 등 외부 제공 AI 기능을 독립적인 Core로 표현한 개념입니다. 각 AICore를 라이브러리화하여 필요에 따라 유연하게 사용할 수 있는 아키텍처를 구축했습니다.
예를 들어, Playground Server AICore로 테스트를 진행하고 검증된 결과를 기반으로 GeminiNanoCore로 전환하는 워크플로가 가능해졌습니다.
3. 하이브리드 응답 전략 링크 복사
카카오모빌리티는 최상의 품질을 위해 Cloud AI와 On-Device AI를 동시에 호출하여 토큰 크기, 응답 속도, 정확도, 비용 등을 종합적으로 고려하여 상호보완적으로 최적의 결과를 선택하는 방식을 채택했습니다. 안정화 이후에는 Remote Config를 통해 두 AI 시스템을 동적으로 전환할 수 있도록 설계했습니다.
이러한 하이브리드 전략으로 다양한 디바이스 환경과 앱 버전에 의존적인 On-Device AI를 효과적으로 제어할 수 있게 되었으며, Cloud AI와의 상호보완적 구성을 통해 시너지를 창출했습니다.
4. 하이브리드 On-Device AI 발전 방향성 링크 복사
On-Device AI는 지연(Latency)과 네트워크 의존성을 줄이고 개인정보 보호를 강화할 수 있습니다. 다만 디바이스 리소스 한계와 모델 크기 제한 등 현실적 제약도 분명합니다.
이러한 한계를 극복하고자 저희는 하이브리드 방식을 도입했습니다. 향후 하드웨어 성능 향상과 경량화된 모델 최적화 기술의 발전으로 병렬 하이브리드에서 직렬 하이브리드로의 전환할 수 있을 것입니다. 이를 통해 On-Device AI와 Cloud AI를 상황에 맞게 선택적으로 활용할 수 있을 것으로 기대합니다.
궁극적으로 저전력으로도 고성능 AI를 구현할 수 있는 시대가 열릴 것입니다.
실제 적용 사례: 카카오T 퀵 - AI 기반 지능형 주소 자동 입력 링크 복사
카카오T 퀵 서비스는 사용자들에게 빠르고 편리한 배송 서비스를 제공합니다. 하지만 받는 사람의 이름, 전화번호, 주소 등을 일일이 입력하거나 복사·붙여 넣는 과정은 사용자에게 불편함을 주고 서비스 진입 장벽이 되었습니다.
이를 해결하기 위해 저희는 AI 기반으로 사용자가 복사한 문장에서 필요한 정보를 자동으로 추출(Parsing)하는 기능을 개발했습니다. 특히 개인정보 보호와 서버 비용을 고려해 On-Device AI로 이 기능을 구현하는 것을 목표로 했고, 병렬로 구성된 하이브리드 방식의 On-Device AI를 기반으로 했습니다.
그림 3 | 카카오T 퀵에서 복사한 문자 메시지에서 배송 정보를 AI 기반으로 자동 입력하는 모습
그림 | 화면 예시
카카오T 퀵 서비스의 실제 데이터에 따르면, AI 주소 자동 입력 기능 사용 시 접수 완료까지 평균 24% 시간이 단축되었고, 접수 완료율은 기능 미사용 대비 13.39% 상승하는 사업적 성과를 달성했습니다.
마치며 링크 복사
이번 프로젝트는 단순한 기술 도입을 넘어, 외부 서비스 기업이 Android와 iOS 플랫폼 모두에서 On-Device AI를 실제 서비스에 적용하고, 하이브리드 전략을 통해 안정성과 확장성을 확보한 첫 사례라는 점에서 의미가 큽니다.
카카오모빌리티는 이 경험을 바탕으로 구글 클라우드팀과의 협업 역량과 자체 ML 기술력을 더욱 강화하고 있으며, 퀵 서비스를 넘어 다양한 영역으로 하이브리드 AI 적용을 확대해 나갈 계획입니다.
On-Device AI는 이제 특정 제조사만의 기술이 아닙니다. 누구나 도전할 수 있고, 저희처럼 실제 환경에 적용해 나갈 수 있습니다. 저희가 직접 겪고, 고민하고, 개선해 온 경험이 앞으로 더 많은 팀과 기술 개발에 도움이 되기를 바랍니다.