Nouvelles de l'industrie

Microsoft a récemment publié un modèle d'IA léger appelé Phi-3 Mini, conçu pour fonctionner sur les smartphones et autres appareils locaux. Le modèle de 3,8 milliards de paramètres est le premier des trois modèles de langage Phi-3 publiés par Microsoft. L’objectif est de fournir une alternative plus abordable aux grands modèles de langage basés sur le cloud, rendant la technologie de l’IA accessible aux petites organisations.

Microsoft affirme que le Phi-3 Mini surpasse facilement les mini-modèles Phi-2 précédents et est à égalité avec des modèles plus grands comme le Llama 2. Étonnamment, la réactivité de ce nouveau modèle est proche de celle de ceux avec 10 fois la taille du Llama 2. paramètres.

Dans leur article, l’équipe de recherche note que la clé de cette innovation réside dans l’ensemble de données de formation qu’elle utilise. L'ensemble de données est basé sur le modèle Phi-2, mais intègre « des données réseau étroitement filtrées et des données synthétiques ». Cette manière unique de construire des ensembles de données s'inspire des livres pour enfants qui utilisent un langage plus simple pour illustrer des sujets complexes, permettant ainsi à des modèles de langage plus petits d'être plus efficaces.

Bien que Phi-3 Mini ne soit peut-être pas en mesure de rivaliser avec les grands modèles de langage basés sur le cloud, il a démontré sa force par rapport à Phi-2 et à d'autres petits modèles de langage (par exemple, Mistral, Gemma, Llama-3-In) dans les tâches. allant des mathématiques à la programmation en passant par les tests académiques. De plus, ce modèle peut fonctionner sur un appareil aussi simple qu'un smartphone et ne nécessite pas de connexion Internet.

Cependant, la principale limitation du Phi-3 Mini réside dans l'étendue de ses « connaissances factuelles », qui sont principalement dues à son ensemble de données d'entraînement relativement restreint. En conséquence, il n’a pas très bien fonctionné au test « TriviaQA ». Il s’agit néanmoins d’un grand pas en avant pour les modèles qui doivent uniquement fonctionner avec des ensembles de données internes plus petits. Microsoft espère qu'en déployant un tel modèle, la technologie de l'IA sera accessible aux entreprises qui n'ont pas les moyens de se connecter à un grand modèle linguistique dans le cloud.

Actuellement, Phi-3 Mini est déjà disponible sur des plateformes telles que Azure, Hugging Face et Ollama. Microsoft prévoit également de lancer des modèles Phi-3 Small et Phi-3 Medium plus puissants, avec respectivement 7 milliards et 14 milliards de paramètres.