Tiny Models, Big Impact: On-Device AI for Real Apps
Dag 1, 21. mai 2026 · kl 10:15 · Hammad Akram · 📋 i programmet · 🌐 offisiell beskrivelse
Hammad Akram viste hvordan små språkmodeller (SLM-er) kan kjøre direkte på Android-enheter via Llama Stack Kotlin SDK-en, som pakker inn ExecuTorch og lar utviklere bytte mellom lokal og fjern inferens med tilnærmet identisk kode. Han demonstrerte praktiske bruksområder som chat-fullføring, RAG med on-device vektordatabaser og bildeforståelse, uten at brukerdata må forlate telefonen.
Foredraget var ærlig om avveiningene ved on-device AI: latens og personvern vinner, men du må designe rundt modellstørrelse på disk, batteribruk under generering og at kvaliteten ligger et hakk under skybaserte flaggskipmodeller. Akram plasserte tilnærmingen som et komplement til JetBrains sin bredere AI-satsning (der Koog og MCP dekker agentflyter og IDE-integrasjon), mens SLM-er på enhet passer best i personvernkritiske og offline-scenarier. Konklusjonen var at en riktig valgt liten modell allerede kan levere reell nytteverdi i produksjonsapper, så lenge man er bevisst på begrensningene.
Tags: Lyntale · AI · LLM · On-device · Llama Stack · Android