naver.HOW data lake by AI

[카테고리:] 미분류

  • TensorFlow Lite와 LiteRT의 차이점

    단순한 이름 변경이 아닌 비전의 확장

    TensorFlow Lite와 LiteRT는 기본적으로 같은 기술입니다. 하지만 중요한 차이점이 있습니다. TensorFlow Lite는 2024년 9월에 공식적으로 LiteRT(Lite Runtime)로 이름이 변경되었습니다[1][2]. 이는 단순한 브랜딩 변경이 아니라, Google의 온디바이스 AI 전략의 확장을 반영한 것입니다.

    주요 변화 사항

    멀티 프레임워크 지원 확장
    기존 TensorFlow Lite는 주로 TensorFlow 모델에 초점을 맞춰 이름에 혼란을 주었지만, LiteRT는 PyTorch, JAX, Keras로 작성된 모델을 동일한 수준의 최고 성능으로 지원합니다[1][3]. 이는 Google의 “멀티 프레임워크 비전”을 실현하는 것으로, 개발자들이 널리 사용되는 모든 프레임워크에서 시작해서 탁월한 성능으로 온디바이스에서 모델을 실행할 수 있도록 합니다.

    Google AI Edge 생태계 통합
    LiteRT는 이제 Google AI Edge 도구 모음의 일부로 위치하며, Android, iOS 및 임베디드 기기에 ML 및 AI 모델을 원활하게 배포할 수 있게 해주는 런타임입니다[1][4]. 이는 더 포괄적인 온디바이스 AI 개발 환경을 제공합니다.

    기술적 호환성

    API 호환성 유지
    중요한 점은 LiteRT API는 TensorFlow Lite API와 동일한 메서드 이름을 사용하므로, 기존 애플리케이션의 마이그레이션 시 상세한 코드 변경이 필요하지 않습니다[5][6]. 패키지 이름을 제외하고는 작성한 코드를 변경하지 않아도 됩니다.

    모델 파일 형식 호환성
    .tflite 파일 확장자나 형식은 변경되지 않습니다. 변환 도구는 여전히 .tflite 플랫버퍼 파일을 출력하며, 기존 .tflite 파일은 LiteRT에서 읽을 수 있습니다[1]. 이는 기존 모델들이 그대로 사용 가능함을 의미합니다.

    개발자 관점에서의 차이

    패키지 의존성 변경
    실제 개발 환경에서는 패키지 의존성을 업데이트해야 합니다:

    • Android: org.tensorflow:tensorflow-lite에서 com.google.ai.edge.litert로 변경[6][7]
    • Python: tflite-runtime에서 ai-edge-litert로 변경[6][8]

    새로운 기능 업데이트
    모든 새로운 개발과 업데이트는 LiteRT 패키지에만 포함됩니다[6]. TensorFlow Lite 패키지를 사용하는 애플리케이션은 계속 작동하지만, 새로운 기능을 사용하려면 LiteRT로 이전해야 합니다.

    성능 및 기능 개선

    향상된 하드웨어 가속
    LiteRT는 GPU 가속 기술인 MLDrift를 포함하여 더 빠른 성능과 개선된 기능을 제공합니다[9]. 특히 CNN과 Transformer 모델에서 CPU 대비 월등히 빠른 성능을 달성했습니다.

    NPU 지원
    NPU(Neural Processing Units) 지원이 추가되어 CPU 대비 최대 25배 빠른 속도와 최대 5배 향상된 전력 효율을 제공합니다[9]. 이는 MediaTek 및 Qualcomm과 공동 개발한 기능입니다.

    실용적 영향

    기존 앱에 대한 영향
    현재 TensorFlow Lite를 사용하는 앱은 영향을 받지 않으며[1], Google Play 서비스를 통해 TensorFlow Lite를 사용하는 경우 현재로서는 변경할 필요가 없습니다[6].

    미래 지향적 접근
    LiteRT로의 전환은 Google의 온디바이스 AI 미래 비전을 반영하며, 다양한 모델에서 가장 사용하기 쉽고 성능이 가장 뛰어난 런타임을 만들겠다는 목표를 담고 있습니다[1].

    결론

    TensorFlow Lite와 LiteRT는 본질적으로 같은 기술이지만, LiteRT는 더 넓은 프레임워크 지원, 향상된 성능, 그리고 포괄적인 온디바이스 AI 생태계를 제공합니다. 개발자들은 점진적으로 LiteRT로 이전하여 새로운 기능과 성능 향상을 누릴 수 있으며, 기존 코드의 대부분은 그대로 유지할 수 있습니다.

    출처
    [1] TensorFlow Lite가 이제 LiteRT가 되었습니다 https://developers.googleblog.com/ko/tensorflow-lite-is-now-litert/
    [2] TensorFlow Lite is now LiteRT – Google Developers Blog https://developers.googleblog.com/en/tensorflow-lite-is-now-litert/
    [3] AI Edge Torch: 모바일 기기에서 Pytorch 모델의 고성능 추론 https://developers.googleblog.com/ko/ai-edge-torch-high-performance-inference-of-pytorch-models-on-mobile-devices/
    [4] LiteRT : 엣지 온디바이스 기기를 위한 AI 런타임 – AI 탐구노트 – 티스토리 https://42morrow.tistory.com/entry/LiteRT-%EC%97%A3%EC%A7%80-%EC%98%A8%EB%94%94%EB%B0%94%EC%9D%B4%EC%8A%A4-%EA%B8%B0%EA%B8%B0%EB%A5%BC-%EC%9C%84%ED%95%9C-AI-%EB%9F%B0%ED%83%80%EC%9E%84
    [5] LiteRT 개요 | Google AI Edge – Gemini API https://ai.google.dev/edge/litert
    [6] TensorFlow Lite에서 LiteRT로 이전 | Google AI Edge – Gemini API https://ai.google.dev/edge/litert/migration
    [7] com.google.ai.edge.litert – Maven Repository https://mvnrepository.com/artifact/com.google.ai.edge.litert
    [8] ai-edge-litert – PyPI https://pypi.org/project/ai-edge-litert/
    [9] LiteRT: 성능은 극대화하고, 사용은 간편하게 https://developers.googleblog.com/ko/litert-maximum-performance-simplified/
    [10] TensorFlow Lite(TFLite) vs TensorRT 비교 – AI 연구하는 깨굴이 https://hsyaloe.tistory.com/176
    [11] google-ai-edge/LiteRT – GitHub https://github.com/google-ai-edge/LiteRT
    [12] [TFLite] TensorFlow Lite 개념 – 꾸준희 – 티스토리 https://eehoeskrap.tistory.com/678
    [13] TensorFlow vs TensorFlow Lite vs TensorFlow for Microcontrollers … https://hobbylife.tistory.com/entry/TensorFlow-vs-TensorFlow-Lite-vs-TensorFlow-for-Microcontrollers-%ED%8A%B9%EC%A7%95-%EB%B0%8F-%EB%B9%84%EA%B5%90-%EC%9D%B8%EA%B3%B5%EC%A7%80%EB%8A%A5%EB%A8%B8%EC%8B%A0%EB%9F%AC%EB%8B%9D
    [14] LiteRT 모델 빌드 | Google AI Edge – Gemini API https://ai.google.dev/edge/litert/models/build
    [15] [ 인공지능 / AI ] TensorFlow Lite(TFLite) 특징과 사례 https://sosodev.tistory.com/entry/AI-TensorFlow-LiteTFLite-%ED%8A%B9%EC%A7%95%EA%B3%BC-%EC%82%AC%EB%A1%80
    [16] Google AI Edge – 온디바이스 크로스플랫폼 AI – GeekNews https://news.hada.io/topic?id=21249
    [17] TensorFlow Lite 소개 – 취미로 코딩하는 개발자 https://devinlife.com/tensorflow%20lite/intro-tflite/
    [18] RAM 2.9GB로 ‘8B AI’를 돌린다고? 구글 오픈소스 Gemma 3n 이야기 https://www.threads.com/@hon_coding/post/DJ5WbObyw5B/77-matformer%EB%8A%94-2023%EB%85%84-10%EC%9B%94-%EB%85%BC%EB%AC%B8%EC%97%90%EC%84%9C-%EC%B2%98%EC%9D%8C-%EB%93%B1%EC%9E%A5%ED%95%9C-%EA%B8%B0%EC%88%A0%EC%9D%B8%EB%8D%B0-%EC%9D%B4%EB%B2%88%EC%97%90-%EA%B5%AC%EA%B8%80%EC%9D%B4-%EC%B5%9C%EC%B4%88%EB%A1%9C-%EB%8C%80%EA%B7%9C%EB%AA%A8-ai-%EB%AA%A8%EB%8D%B8gemma-3n%EC%97%90-%EC%A0%81%EC%9A%A9%ED%95%B4%EC%84%9C-%EC%8B%A4%EC%A0%9C%EB%A1%9C
    [19] LiteRT 및 TensorFlow 연산자 호환성 | Google AI Edge – Gemini API https://ai.google.dev/edge/litert/models/ops_compatibility
    [20] 구글I/O 2025에서 발표된 개발자 AI 도구 총정리 – 바이라인네트워크 https://byline.network/2025/05/21-471/
    [21] Tensorflow Lite (TFLite) 로 효율적으로 배포/추론하기 https://heesunpark26.tistory.com/22
    [22] 검색 – Google Developers Blog – BugSmash https://https-developers_googleblog_com.proxy.bugsmash.io/ko/search/?tag=Google+I%2FO+2025
    [23] [DL] TFLite 와 TensorRT 간단 비교 – 우노 – 티스토리 https://wooono.tistory.com/407
    [24] TFLite 뽀개기 (1) – TFLite 기본 이해 및 사용하기 – da2so – 티스토리 https://da2so.tistory.com/10
    [25] [Tensorflow/TFLite] Tensorflow 모델을 Tensorflow Lite로 바꾸는 법 … https://hsyaloe.tistory.com/49
    [26] TensorFlow Lite 시작하기 https://www.tensorflow.org/lite/guide/get_started
    [27] Android에서 커스텀 TensorFlow Lite 모델 사용 | Firebase ML https://firebase.google.com/docs/ml/android/use-custom-models
    [28] Android에서 TensorFlow Lite로 꽃 인식 – Google Codelabs https://codelabs.developers.google.com/codelabs/recognize-flowers-with-tensorflow-on-android
    [29] TensorFlow Lite 변환기 https://www.tensorflow.org/lite/convert
    [30] 사용자 정의 연산자 – TensorFlow https://www.tensorflow.org/lite/guide/ops_custom
    [31] 배포를 위해 TFLite로 모델 내보내기( YOLO11 )에 대한 가이드 https://docs.ultralytics.com/ko/integrations/tflite/
    [32] 기기에서 사용자 설정 LLM을 위한 AI Edge Torch Generative API https://developers.googleblog.com/ko/ai-edge-torch-generative-api-for-custom-llms-on-device/
    [33] LiteRT 시작하기 | Google AI Edge – Gemini API https://ai.google.dev/edge/litert/inference
    [34] 4-03 .tflite로 모델 확장자 변경하기 – 위키독스 https://wikidocs.net/216620
    [35] tf.lite.Interpreter | TensorFlow v2.16.1 https://www.tensorflow.org/api_docs/python/tf/lite/Interpreter
    [36] google-ai-edge – GitHub https://github.com/google-ai-edge
    [37] Edge AI 와 On-device AI 의 의미 차이 https://aaaiiee.tistory.com/108
    [38] 구글 AI 엣지 갤러리: 온디바이스 AI의 미래를 손안에서 경험하다 https://fornewchallenge.tistory.com/entry/%F0%9F%93%B1%F0%9F%A4%96%EA%B5%AC%EA%B8%80-AI-%EC%97%A3%EC%A7%80-%EA%B0%A4%EB%9F%AC%EB%A6%AC-%EC%98%A8%EB%94%94%EB%B0%94%EC%9D%B4%EC%8A%A4-AI%EC%9D%98-%EB%AF%B8%EB%9E%98%EB%A5%BC-%EC%86%90%EC%95%88%EC%97%90%EC%84%9C-%EA%B2%BD%ED%97%98%ED%95%98%EB%8B%A4
    [39] TensorFlow Lite 및 TensorFlow 연산자 호환성 https://www.tensorflow.org/lite/guide/ops_compatibility
    [40] Google AI Edge Gallery: Android 기기에서 다양한 생성형 AI App을 … https://discuss.pytorch.kr/t/google-ai-edge-gallery-android-ai-app/7045
    [41] Google AI Edge Portal – Gemini API https://ai.google.dev/edge/ai-edge-portal
    [42] 기존 커스텀 모델 API에서 마이그레이션 | Firebase ML https://firebase.google.com/docs/ml/android/migrate-from-legacy-api
    [43] Google AI 에지 | Google AI Edge | Google AI for Developers https://ai.google.dev/edge
    [44] API 업데이트 | TensorFlow https://www.tensorflow.org/lite/models/convert/api_updates
    [45] [Rasberry Pi 4] Tensorflow lite MobileBert 사용하기 – velog https://velog.io/@limelimejiwon/Tensorflow-lite-MobileBert-%EC%82%AC%EC%9A%A9%ED%95%98%EA%B8%B0