Pour Google, l'IA est un gouffre à mémoire RAM et 8 Go ne suffisent pas
Début mars, Google expliquait que seul le Pixel 8 Pro (la version la plus onéreuse) pourrait faire tourner son modèle d'IA en local, Gemini Nano. Le Pixel 8 et le Pixel 8 Pro étant assez proches, certains se demandaient pourquoi le premier n'aurait pas droit à cette possibilité, et Google a répondu : à cause de la mémoire vive.
Le Pixel 8 n'intègre que 8 Go de RAM, comme n'importe quel Mac d'entrée de gamme, alors que le Pixel 8 Pro, lui, contient 12 Go de RAM. Et Seang Chau, un responsable de Google, l'explique bien dans un podcast : les 4 Go supplémentaires font une vraie différence. Google a donc décidé de ne pas activer Gemini Nano par défaut sur le Pixel 8 pour ne pas dégrader l'expérience des utilisateurs, même s'il sera possible de l'activer manuellement comme l'explique Ars Technica. Ce ne sera pas pour autant une option réellement accessible : elle nécessitera de se rendre dans les menus liés aux développeurs, cachés par défaut.
Une robe menthe et de nouvelles fonctions d’IA pour la gamme Pixel 8
Le principal défaut des modèles d'IA vient du fonctionnement même de ces derniers et des usages : pour être efficaces, ils doivent être accessibles rapidement et donc rester dans la mémoire vive en permanence. Le système ne peut pas — comme pour les autres applications — décider de les fermer et de rechercher les données à la demande, ne serait-ce que pour des questions de performances. Charger les quelques Go nécessaires depuis le stockage interne peut en effet amener une latence assez désagréable à l'usage. Mais laisser le modèle en mémoire sur un appareil un peu limité en RAM peut amener d'autres contraintes qui peuvent expliquer les choix de Google : personne n'a envie de revenir à l'époque où chaque changement d'application nécessitait un chargement complet faute de mémoire vive.
C'est un problème qui n'est pas nécessairement mis en avant car les capacités de calcul des NPU intégrés dans les systèmes sur puce sont un peu plus visuelles et simples à appréhender, mais les modèles de calcul pour les IA demandent énormément de mémoire vive. Et c'est aussi (peut-être) une des raisons de l'absence de ce type de modèle dans les iPhone : les smartphones d'Apple1 ont peu de mémoire vive. Les iPhone 15 se limitent à 6 Go, quand les iPhone 15 Pro montent à 8 Go de RAM. Il s'agit d'une capacité respectable dans l'absolu compte tenu des limites du système d'exploitation, mais elle semble ridicule quand de nombreux modèles sous Android intègrent 12, 16 ou même 24 Go.
Nul doute qu'un représentant d'Apple viendra nous expliquer un jour ou l'autre que 8 Go dans un iPhone correspondent à 16 Go dans un smartphone Android. Et comme dans les Mac, ce sera évidemment faux.
Non Apple, 8 Go dans un Mac ne correspondent pas à 16 Go dans un PC
-
Tout comme les Mac ou les iPad, d'ailleurs. ↩︎
@MarcMame
Oui 🤷🏼♂️
@CtrlMaster
N'oublie pas ton kit d'orpaillage. En même temps, en 1 mois d'orpaillage, je ne sais pas si tu pourras rembourser un produit Apple.
@v1nce29
Je vais surtout acheter une bombe anti insecte 😂
lol, je ne savais pas que mon Pixel avait 12 GB de mémoire.
C’est un téléphone. 12 GB de mémoire.
Sacrée époque.
@fte
Certains android possèdent 24 Go de Ram comme le Asus Rog phone 8 pro !
@powergeek
Je pense qu’en 2024, il est un peu trop tôt pour surdimensionner la mémoire vive à 24Go de LPDDR5X dans un smartphone, car je suppose que cela doit, dans la majorité des usages faits actuellement par les utilisateurs, augmenter la consommation électrique quand la mémoire est en veille, et donc soit diminuer l’autonomie, soit nécessiter une plus grosse batterie.
Il faudra attendre la LPDDR6 (2025 ? 2026 ?) pour baisser un peu plus la consommation pour que l’impact de plus de mémoire soit moins sensible coté consommation d’énergie.
Idéalement, en théorie, cela montre bien tout l’intérêt qu’apporterait une mémoire non-volatile type SOT-MRAM utilisée comme DRAM principale : c’est sur ce genre de projets que Tim Cook aurait du allouer des milliards de dollars…
@dujarrier:
"augmenter la consommation électrique quand la mémoire est en veille, et donc soit diminuer l’autonomie, soit nécessiter une plus grosse batterie."
C'est à mettre en parallèle avec les autres composants. Moi perso, ce qui consomme le plus sur mon smartphone c'est clairement la 5G/partage de connexion/Proc/ecran... Une mémoire en veille ne sont que des pouillèmes on doit parler de quelques minutes au max sur une charge complète.
Par contre, cela assure que dans 5 ans, ton smartphone ne sera absolument pas limité par la Ram.
C'est la seule mauvaise note que je donne à mon vénérable iPadAir2. Un tank ce machin, indestructible, de loin le meilleur achat Apple que j'ai fait. Mais, car il y avait un mais, Apple assurait que le peu de Ram embarqué était plus que largement compenser par le fait de l'optimisation. La vérité crue fut que 2 ans après l'achat, je ne pouvais pas lancer certaines nouvelles application par manque de Ram. C'est le manque de Ram qui m'a fait devoir racheter un ordi pour remplacer mon iMac 2009, c'est aussi le manque de Ram qui va me pousser à changer mon mbp 2015.
Merci pour l’article car je ne comprenais pas pourquoi le pixel 8 n’avait pas droit au Gemini Nano. Bon en gros en 2024 c’est 16 Go minimum pour les ordis et 12 Go pour les smartphones si on veut un tant soit peu profiter de l’IA en local. Pour le coup aucun constructeur n’a vu venir cette nouvelle nécessité et la pingrerie de certains vont ralentir l’adoption générale de lIA en local. Je pense même qu’Apple a intérêt à revoir fortement ses dotations en mémoire car s’il veut être sur des secteurs porteurs comme l’IA et le jeux vidéo c’est pas avec 256 GO de SSD et 8 Go de mémoire qu’Apple va faire rêver les foules. En 2024 ça fait bizarre de voire ces chiffres que j’avais en 2014, même ma PS5 est mieux dotée…
D’où cette publication des chercheurs d’Apple pour outrepasser les limitations de la RAM des iPhones :
https://www.macrumors.com/2023/12/21/apple-ai-researchers-run-llms-iphones/
En gros il s’agit d’utiliser la mémoire flash comme un cache de la RAM pour lire des gros blocs d’un LLM en l’exécutant : https://arxiv.org/pdf/2312.11514.pdf
Utiliser le stockage comme cache n’est pas nouveau, c’est la technique de pagination en blocs et lecture qui rend possible l’utilisation de modèle plus grand que la ram tout en restant ultra rapide. Ça c’est nouveau.
Pour le moment on stocke un modèle en Ram et il en faut assez sinon ça déborde sur le disque et la génération devient tres lente.
@Brice21
De un, c’est pas un brevet.
De deux, ça se fait déjà et ce n’est en rien révolutionnaire.
@redchou
Tu as raison.
Tu as tort.
@Brice21
Bah non, on appelle ça le swap comme dit MarcMame ! Plus sérieusement, cette technique ne fonctionne que dans de rare cas, et pour pas grand chose.
https://x.com/atiorh/status/1737912779653394826?s=46&t=I9BhJWOA1OIsy-RKhufGHg
@redchou
Oui mais : https://x.com/atiorh/status/1737912778323820583?s=61&t=BYwgsohiYnD_B_woGkCzGA
“This is a great first step in moving beyond "perceived" HW limits for on-device inference! “ (meme auteur de tweet que le tiens).
@Brice21
C’est un premier pas, rien ne dit que ça aboutira, d’autres techniques existent et sont déjà utilisées.
En l’état, je doute que ça ne serve vraiment avant un moment, on verra à la WWDC, mais bon, j’ai toujours des gros doute sur des LLM en local sur les iPhones actuels ou alors avec des performances énormément dégradées.
@redchou
Run LLaMA and other large language models locally on iOS :
https://llmfarm.site
How to run Mistral LLM locally on iPhone or iPad :
https://www.youtube.com/watch?v=5QEDNZlDf-c
MLC LLM is a universal solution that allows any language model to be deployed natively on a diverse native applications :
https://llm.mlc.ai
How to Setup LLM Models on your iPhone - Mistral 7B Supported :
https://www.youtube.com/watch?v=FK25ipZPg30
Etc.
@Brice21
Merci de prouver que d’autres techniques existent comme je l’ai dit depuis le début… 🤷♂️
@redchou
En effet :“We show that ReaLM outperforms previous approaches, and performs roughly as well as the state- of-the-art LLM today, GPT-4, despite consisting of far fewer parameters, even for onscreen references despite being purely in the textual domain. It also outperforms GPT-4 for domain-specific user utterances, thus making ReaLM an ideal choice for a practical reference resolution system that can exist on-device without compromising on performance.”
Source : https://startupnews.fyi/2024/04/02/apple-ai-researchers-boast-useful-on-device-model-that-substantially-outperforms-gpt-4/
@Brice21
ChatGPT n’est pas aussi performant qu’un model créé spécifiquement pour faire un assistant style VoiceOver? C’est vraiment étonnant.
Sinon, rien n’indique l’utilisation de « LLM in a flash », ni son intérêt, vu la taille des modèles.
À part ça, on va attendre d’avoir le truc entre les mains, voir sur quoi il tourne, et comment…
@Brice21
"D’où ce brevet d’Apple pour outrepasser les limitation de la RAM des iPhones
En gros il s’agit d’utiliser la mémoire flash comme un cache de la RAM"
—————
Apple vient d’inventer le swap ?
Ce sont des génies !
@Brice21
Aucun de nos téléphones n'est taillé pour les LLM. L'autre problème est la batterie. Franchement, je ne comprends pas cette course à l'échalote pour les modèles existants, qui sont trop lourds.
Première chose à faire, retirer le mot :"intelligence", et hop la course est finie ! Les LLM c'est la nouvelle bulle.
Apple a justement bossé spécifiquement sur ce problème : https://arxiv.org/pdf/2312.11514.pdf
Euh… Personne de s’interroger ? Google n’est pas Apple ?
Et, surtout, vice et versa !?
Vous oubliez de mentionner le papier d’Apple qui veut utiliser la mémoire ssd. C’est pas pour rien qu’ils ont fait des recherches sur ce sujet sachant que leur téléphone a peu de ram.
Ça explique pourquoi ils travaillent sur une solution pour contrer ça 👍🏻
Merci @Pierre Dandumont pour cet article, je me demandais pourquoi mon Pixel 8 n'aurait pas droit au Gemini Nano.
et du coup j'en déduis que les iphones actuels ne pourront pas non plus avoir de version embarquée de l'IA d'Apple si c'est bien Gemini Nano qu'Apple intègre dans iOS 18 ... pas top du tout ca
😳😱😨😰😥😢😭😤😠😡🤬
parce qu'au final, ca veut dire qu'à partir d'iOS 18, il y aura toute une frange de fonctionnalités (les plus modernes, les plus élaborées, celles dont on peut supposer qu'elles apporteront le plus de valeur) qui seront définitivement inaccessibles aux iphones actuels !!
belle obsolescence (pas forcément programmée mais le résultat est le même pour les clients)
Vous devriez changer le nom de votre site en « 8g.co ».
Ahah oui mais sur mac 8Go = 16Go, tout va bien 😎
Merci pour cet article qui est très important.
En gros, Apple ne pourra pas suivre dans la guerre de l’IA sauf à augmenter significativement la RAM (et le prix) ou à mettre des solutions dans le cloud, qui seront pas très différenciantes et lui coûteront un fric monstre , qu’il devra nous refacturer.
Moi je ne suis pas inquiet :
Si Apple dispose d’un modèle qui nécessite x Go de ram pour tourner comme une horloge, on va se retrouver avec un modèle disposant de l’IA en natif avec la quantité de ram adéquate pour un prix « adéquat ».
Et Apple gagnera encore plus d’argent.
Alors perso, dans cette histoire c'est pas l'histoire de vendre des ordis avec 8Go de Ram qui est problématique. Mon Imac de 2009 en a 8 et il tourne parfaitement bien (bon sous windows mais ça change rien).
Ce qui est dommageable et complètement faux, un gros gros mensonge d'Apple, c'est de prétendre que 8Go en valent 16 chez la concurrence.
Ce qui est dommageable c'est de prétendre avoir 8Go de Ram sur un ordi avec Ram unifié, c'est avoir l'accès à ces 8go de Ram pour les soft/Os. Et la c'est faux. Car une partie de la Ram sera utilisée par le gpu. Quand on achète actuellement un ordi avec 8Go de Ram, en fait on ne peut en utiliser que 6-7, car le reste est pris par le gpu. Encore pire si on branche par exemple 2 écran 4k, la il ne nous reste que 4-5 pour les softs/Os.
Bref, ce que je trouve dommageable c'est pas de vendre un ordi avec 8 véritable Go de ram dédié, c'est de prétendre 8Go alors que l'on a accès à moins, la on frôle la fumisterie.
@debione
Sur 8Go de Ram, tu vas avoir 3 ou 4Go pour l’OS et minimum 2Go pour le GPU.
Je te laisse faire le calcul restant pour les applications.
Et ça c’est pour un Os « stock » sans aucun « ad-on » et qui vient de démarrer et sans appli lancée.
@MarcMame:
Je l'ai parfaitement testé en passant un projet Logic de mon vénérable mbp2015 doté de 16 Go de Ram à un M1 doté de la même mémoire.
Ce qui passait tout juste sur mon MBP 2015 (j'ai appris à faire mes projets pour ne pas être emmerdé par la Ram) était en swap constant sur le M1 (et le swap sur de l'audio ça passe pas). Une superbe avancée que ce Soc M1 concernant la mémoire.
Pages