Gemma on-device trong Flutter: flutter_gemma và LiteRT-LM
AI cloud không phải đường duy nhất. Model on-device giữ dữ liệu cục bộ, chạy offline và cắt cost theo request. Câu chuyện Flutter ở đây là flutter_gemma cộng runtime LiteRT-LM của Google.
Vì sao LiteRT-LM quan trọng
Nó trừu tượng hóa khác biệt phần cứng và nhắm tăng tốc GPU/NPU trên Android, iOS, Web, Windows, Linux, macOS — đúng sáu đích Flutter ship.
Pattern sản phẩm hiệu quả
- Trợ giúp thị giác — frame camera → mô tả ngắn có cấu trúc (kiểu Gemma Vision).
- Huấn luyện task — kế hoạch nhiều bước local, không round trip.
- Dictation/note nhạy privacy — text không rời máy.
Checklist kỹ thuật
- UX tải model (vài trăm MB) có resume.
- Ngân sách thermal/battery trên phone tầm trung.
- Path fallback khi thiếu NPU/driver.
- Thông điệp rõ: xử lý nằm trên máy.
Cạm bẫy
- Đừng chặn UI isolate khi sinh token.
- Đánh đổi quantization: đo chất lượng trên task của bạn, không chỉ benchmark.