Microsoft od paru lat prezentuje osiągnięcia w zakresie komputerowego rozpoznawania zawartości obrazów, a jego narzędzia — udostępniane wszystkim zainteresowanym w ramach usług poznawczych Azure — stają się coraz inteligentniejsze. Zwyczajny użytkownik z pewnością zauważy to, szukając obrazów w Bing. Wyszukiwarka lepiej radzi sobie teraz z "podstępnymi" frazami, które zawierają kilka wzajemnie powiązanych części składowych. Microsoft zaprezentował właśnie nowe osiągnięcia w tej dziedzinie.
Wyszukiwarka obrazów Bing korzysta z wielu technik deep learningowych, które rozbijają zapytania i obrazy na mapy semantyczne, znacząco poprawiające jakość wyszukiwania. Wciąż jednak istniały takie złożenia, które sprawiały jej trudności, np. "mężczyzna blondyn z wąsami" albo "stroje taneczne dla dziewczyn z różą". Wyniki takich wyszukań mogły nie być zbyt precyzyjne, dlatego Microsoft poszukiwał kolejnych rozwiązań. Dziś prezentuje trzy nowe techniki: vector-match, attribute-match oraz Best Representative Query match.
Dopasowanie wektorowe korzysta ze wspomnianej wcześniej mapy semantycznej dla każdego wyszukania. Microsoft zaimplementował w nim technologię BERT/Transformer, która korzysta z przeszkolonej wiedzy, aby lepiej interpretować informacje zawarte w tekście, zwłaszcza w tych trudniejszych przypadkach, a także mechanizm uwagi, który obejmuje obraz i witrynę w kontekście ich wzajemnej relacji.
Dopasowanie atrybutów to technika sprawdzająca się, gdy użytkownik wymienia wiele atrybutów, które powinien mieć obraz. Wraz z ich ilością wzrasta trudność dopasowania odpowiedniego wyniku. Przykładem może być "pływający starszy mężczyzna". Aby podołać tej złożoności, Microsoft zaczął rozwijać techniki ekstrakcji wybranych atrybutów obiektów zarówno w zapytaniach, jak i kandydujących dokumentach. Atrybuty te wykorzystywane są do dopasowania wyników.
Najbardziej reprezentatywne zapytanie (BRQ) to jeszcze jedna technika, w której silnik wzbogaca "klasyczne" metadane obrazów tak bardzo, jak to możliwe. Mając wysokiej jakości metadane, tradycyjne metody wyszukiwania zwracają bardziej pasujące dokumenty, a wspomniane wcześniej techniki również pracują lepiej. Best Representative Query to według Microsoftu jeden z najbardziej użytecznych typów metadanych. Przypomina on zapytania użytkownika i może być naturalnie i łatwo powiązany z nadchodzącymi zapytaniami. BRQ zwykle są dobrym podsumowaniem głównego tematu witryny i obrazu. Proces ich generowania dla Bing w dużej mierze polega na nowoczesnych technikach deep learningowych.
Dzięki tym rozszerzeniom wyszukiwarka obrazów Bing wykracza poza tradycyjne, proste dopasowywanie zapytań i zwraca się w kierunku głębszego rozumienia semantycznego zapytań użytkownika. Tym samym Bing staje się prawdziwie inteligentną wyszukiwarką, co dla użytkownika oznacza po prostu lepsze wyniki w krótszym czasie.
