Skala zasobożerności sztucznej inteligencji jest wyjątkowo rozpięta – od potężnych centrów danych po zwyczajne smartfony. O ile najczęściej spotykamy się z AI działającą w chmurze, to już od lat mówi się o lokalnej AI, która może uruchamiać się na PC lub nawet na telefonach. Jeden z takich właśnie lekkich modeli rozwija Microsoft.
Microsoft zaprezentował następną iterację swojego lekkiego modelu sztucznej inteligencji Phi-3. Zaktualizowana rodzina obejmuje Phi-3 Mini z 3,8 mld parametrów, Phi-3 Small z 7 mld parametrów oraz Phi-3 Medium z 14 mld parametrów. Jest to następne wydanie po Phi-2 wprowadzonym w grudniu 2023 r., którego poz względem wydajności prześcignęły modele, takie jak Llama-3 autorstwa Mety. W obliczu rosnącej konkurencji Microsoft Research zastosował nowsze techniki w podejściu do uczenia.
Nowy model jest nie tylko mocniejszy od Phi-2, ale też pobiera mniej zasobów. Już przy 3,8 mld parametrów Phi-3 Mini prześciga zarówno model Llama z 8 mld parametrów, jak i GPT-3 od OpenAI z 3,5 mld parametrów. Jak wyjaśnia Microsoft:
Przedstawiamy phi-3-mini, model językowy z 3,8 mld parametrów, wytrenowany na 3,3 biliona tokenów, którego ogólna wydajność, mierzona zarówno w benchmarkach akademickich, jak i wewnętrznych testach, dorównuje modelom, takim jak Mixtral 8x7B i GPT-3.5 (np. phi-3-mini osiąga 69% na MMLU i 8,38 na MT-bench), mimo że jest wystarczająco mały, aby można go było wdrożyć na telefonie.
Ze względu na niewielki rozmiar rodzina Phi-3 jest zoptymalizowana dla słabszych urządzeń w porównaniu z dużymi modelami. Jest ona np. w stanie przetwarzać język naturalny bezpośrednio na smartfonie. To sprawia, że model świetnie pasuje do nowoczesnych aplikacji, które wykorzystują technologię towarzyszącą AI. Z drugiej strony Phi-3 Mini nie może równać się z masywnymi modelami, jeśli chodzi o zasób wiedzy.
Źródło: https://arxiv.org/abs/2404.14219
341f31d.png)