Home
» Mobiele tips
»
Hoe u LLM lokaal op een Android-telefoon installeert en uitvoert
Hoe u LLM lokaal op een Android-telefoon installeert en uitvoert
Als u grote taalmodellen (LLM's) lokaal op uw Android-telefoon uitvoert , hebt u toegang tot deze AI-modellen zonder dat u afhankelijk bent van cloudservers of een internetverbinding . Deze lokale configuratie waarborgt uw privacy doordat uw gegevens veilig op het apparaat blijven. Dankzij de vooruitgang in mobiele hardware is het mogelijk geworden om AI-modellen lokaal uit te voeren. Met de MLC Chat-app kunt u deze krachtige technologie eenvoudig op uw telefoon ervaren.
In dit artikel wordt uitgelegd waarom het belangrijk is om LLM lokaal uit te voeren op Android-telefoons. Ook vindt u stapsgewijze instructies voor het installeren en uitvoeren ervan via de MLC Chat-app.
Waarom LLM op een Android-telefoon volgen?
LLM's worden doorgaans op cloudservers uitgevoerd, omdat hiervoor veel computerkracht nodig is. Hoewel Android-telefoons bepaalde beperkingen hebben bij het uitvoeren van LLM, bieden ze ook een aantal interessante mogelijkheden.
Verbeterde privacy : Omdat al het computerwerk op uw telefoon plaatsvindt, blijven uw gegevens lokaal, wat belangrijk is voor gevoelige informatie die u deelt.
Offline toegang : Er is geen permanente internetverbinding vereist om toegang te krijgen tot deze modellen of ermee te communiceren. Dit is vooral handig voor gebruikers in afgelegen gebieden of die een beperkte internetverbinding hebben.
Kosteneffectief : het uitvoeren van LLM op cloudservers brengt operationele kosten met zich mee, zoals cloudopslag en verwerkingskracht. Deze methode biedt gebruikers een kosteneffectieve oplossing.
Stapsgewijze handleiding voor het installeren en uitvoeren van MLC Chat op Android
Met de MLC Chat-applicatie kunnen gebruikers grote taalmodellen (LLM's) lokaal op verschillende apparaten, waaronder mobiele telefoons, uitvoeren en ermee communiceren zonder afhankelijk te zijn van cloudgebaseerde services. Volg de onderstaande stappen om LLM lokaal op uw Android-apparaat uit te voeren.
Stap 1: MLC Chat-applicatie installeren
Download eerst de APK voor de MLC Chat-app (112 MB) via onderstaande link.
Zodra de APK is gedownload, tikt u op het bestand om de installatie te starten.
Stap 2: Download LLM
Nadat u de app succesvol hebt geïnstalleerd, opent u de app. U ziet dan een lijst met LLM's die u kunt downloaden. Er zijn modellen van verschillende afmetingen en mogelijkheden beschikbaar, zoals de LLama-3.2, Phi-3.5 en Mistral. Selecteer het model dat u nodig hebt en klik op het downloadpictogram ernaast om het downloaden te starten. Als u bijvoorbeeld een telefoon uit het middensegment gebruikt, zoals de Redmi Note 10, kies dan voor een lichtgewicht model, zoals de Qwen-2.5, voor soepelere prestaties.
Download LLM
Stap 3: Voer de geïnstalleerde LLM uit
Zodra het model is gedownload, verschijnt er een chatpictogram naast. Klik op het pictogram om te beginnen met modelleren.
Voer de geïnstalleerde LLM uit
Zodra het model klaar is, kunt u beginnen met het typen van opdrachten en communiceren met de lokale LLM.
Op een apparaat als de Redmi Note 10 levert een kleiner model als Qwen2.5 bijvoorbeeld een behoorlijk vloeiende ervaring op, met een snelheid van ongeveer 1,4 tokens per seconde. Hoewel de prestaties trager zijn dan bij geavanceerde apparaten zoals de Galaxy S23 Ultra , werken deze nog steeds prima voor basistaken zoals korte chats en het maken van simpele content.
Door LLM lokaal op Android-apparaten uit te voeren via de MLC Chat-app, kunt u op een toegankelijke en privacybeschermende manier met AI-modellen communiceren. De prestaties zijn sterk afhankelijk van de hardware van de telefoon. Deze oplossing is ideaal voor gebruikers die offline toegang nodig hebben tot AI-modellen, LLM's in realtime willen testen of zich zorgen maken over hun privacy. Naarmate mobiele hardware blijft verbeteren, zullen de mogelijkheden van lokale LLM alleen maar toenemen. Dit is een spannend gebied voor AI-technologie.