MediaPipe 相关文章
Android 端侧大模型推理全链路:从 LiteRT 到 MediaPipe LLM Inference API 的引擎选型与工程化实践
深入探讨 Android 端侧 LLM 推理的引擎选型(LiteRT、ONNX Runtime、MediaPipe LLM Inference API)、INT4 量化策略、GPU Delegate 调度优化与机型降级方案,提供可落地的工程化实践参考。
Read Post
深入 Android 端侧 RAG 检索增强生成实战:从本地向量数据库到 LLM 推理的知识增强全链路
本文介绍在 Android 端侧落地 RAG 检索增强生成的全链路实践,涵盖文档向量化、SQLite 本地向量检索、MediaPipe LLM 推理等关键技术选型与性能优化。
Read Post