Benchmarki AI nie działają? Nowy program OpenAI ma je ulepszyć

OpenAI twierdzi, iż aktualne metody oceny modeli AI nie są odpowiednie ani wystarczające. Firma wyszła więc z nową inicjatywą. Jej program ma naprawić sposób, w jaki mierzone są umiejętności sztucznej inteligencji. Projekt nosi nazwę OpenAI Pioneers Program i ma na celu opracowanie nowych standardów dla benchmarków AI, które będą odzwierciedlać realne zastosowania i potrzeby w praktycznych oraz wymagających środowiskach.

OpenAI Pioneers Program ma za zadanie stworzyć benchmarki AI specyficzne dla konkretnych branż, takich jak prawo, finanse, ubezpieczenia, opieka zdrowotna czy księgowość. OpenAI zamierza współpracować z różnymi firmami, aby opracować bardziej precyzyjne metody benchmarkingu, które lepiej odpowiadają realnym przypadkom użycia sztucznej inteligencji. Wyniki tych prac będą publicznie dostępne wraz z ocenami dopasowanymi do konkretnych sektorów.

Najbliższe miesiące OpenAI zamierza spędzić na tworzeniu ewaluacji z firmami z poszczególnych sektorów. Nasz zespół będzie intensywnie pracował z każdą firmą, aby zaprojektować oceny dostosowane do ich domen - ustanawiając jasne benchmarki, które będą kierować rozwojem modelu i zwiększać zaufanie do systemów AI, oraz udostępniając je publicznie - piszą twórcy.

Firmy zaangażowane we współpracę z OpenAI będą miały szanse współtworzyć ulepszenia modeli z użyciem RFT (reinforcement fine tuning), techniki dostosowywania modelu, która umożliwia tworzenie "modelów eksperckich" do wąskim zakresem zadań w ich domenie, a także trenować niestandardowe modele dla trzech głównych sposobów użycia AI w firmie. Dzięki RTF firmy mogą lepiej rozwiązywać bolączki klientów i zniwelować nieefektywność modelu - wyjaśnia OpenAI.

Specjaliści z OpenAI przeprowadzą firmy przez proces dostrajania modeli. Będą one mogły następnie zdecydować, czy chcą je wdrożyć. Na tym etapie powinny one już być gotowe do wrzucenia na produkcję i działania w dużej skali. Jako pierwsze z OpenAI będą współpracować startupy. Pomogą one opracować podstawy dla Pioneers Program.

OpenAI zachęca firmy do wzięcia udziału w programie. Wystarczy wypełnić formularz, który znajduje się w oryginalnym artykule (link poniżej).