W ciągu ostatniej dekady Microsoft przeszedł niespodziewaną przemianę z największego wroga modelu open-source w największego pojedynczego kontrybutora otwartego kodu. Firma udostępniła źródła setek swoich produktów (np. MS-DOS), a także przejęła platformę GitHub, pozwalając jej dalej się rozwijać we właściwym sobie stylu. Wczoraj pisaliśmy o otwarciu źródeł frameworków WPF, Windows Forms i WinUI. Dzisiaj dzielimy się kolejną wieścią - na open-source przechodzi ONNX Runtime.
ONNX Runtime, czyli Open Neural Network Exchange Runtime, to wysoko wydajny silnik inferencyjny dla modeli machine learningowych w formacie ONNX na Linuksa, Windows i Mac. Open Neural Network Exchange (ONNX) to z kolei otwarty format dla modeli deep learningowych i tradycyjnych machine learningowych, który Microsoft opracował wspólnie z Facebookiem i AWS. Format ten jest podstawą otwartego ekosystemu, który czyni AI bardziej dostępną i przynoszącą korzyści dla wszystkich. Oznacza to, że deweloperzy mogą wybrać odpowiedni framework do swoich zadań, twórcy frameworka mogą skupić się na innowacyjnych ulepszeniach, a dostawcy sprzętowi mogą usprawnić optymalizację dla obliczeń w sieciach neuronowych.
Microsoft kieruje badaniami nad sztuczną inteligencją od ponad dwóch dekad, a technologie uczenia maszynowego i głębokich sieci neuronowych są obecne w wielu jego produktach i usługach. ONNX Runtime powstał z potrzeby zunifikowania "porozrzucanych" rozwiązań i uproszczenia obsługi modeli. Dawniej zespoły używały bowiem różnych frameworków treningowych i opcji wdrażania. ONNX Runtime ogarnia to wszystko, dając analitykom danych elastyczność w trenowaniu i dostrajaniu modeli w wybranych przez nich frameworkach, a także w wejściu z nimi na etap produkcji zarówno w chmurze, jak i na urządzeniach końcowych.
ONNX Runtime jest pierwszym publicznie dostępnym silnikiem inferencyjnym z pełnym wsparciem dla ONNX w wersjach 1.2 i wyższych, wliczając w to profil ONNX-ML. Korzystając z niego, zespoły w Microsoft poprawiły latencję i efektywność wielu swoich modeli wykorzystywanych m.in. w wyszukiwarce Bing, platformie Bing Ads czy usługach Office. Modele przekonwertowane do standardu ONNX poprawiły swoją średnią wydajność nawet dwukrotnie. Warto też wspomnieć, że ONNX Runtime zawarty jest też w innych ofertach Microsoftu, takich jak Windows ML oraz ML.NET.
ONNX Runtime jest już dostępny na licencji open-source w serwisie GitHub. Więcej informacji na jego temat znajdziecie w linku źródłowym poniżej.
