大模型 相关文章
Android 端侧大模型推理全链路:从 LiteRT 到 MediaPipe LLM Inference API 的引擎选型与工程化实践
深入探讨 Android 端侧 LLM 推理的引擎选型(LiteRT、ONNX Runtime、MediaPipe LLM Inference API)、INT4 量化策略、GPU Delegate 调度优化与机型降级方案,提供可落地的工程化实践参考。
Read Post
提示词工程:从核心原则到前沿实践
GPT-3.5 发布已过去三年多,AI 能力已深入渗透到我们工作与生活的方方面面。值此之际,我们重新审视 LLM 最基础的部分——Prompt,看看是否真正掌握了驾驭 LLM 的要诀。
Read Post