W tym roku silnik Bing został wyposażony w nowe możliwości wyszukiwania wizualnego, które pozwalają nam szukać bezpośrednio na podstawie tego, w co właśnie wycelowaliśmy aparat naszego telefonu. Wyszukiwanie wizualne to dość szeroki zbiór funkcji, a w tym miesiącu staje się on jeszcze szerszy. Microsoft wprowadza do Bing kilka nowości, z których najciekawsze to Math Solver, rozwiązujący równania, i Text Transcription, wydobywający tekst ze zdjęć i umożliwiający dalsze poszukiwania na jego podstawie.
Math Solver
Pomysł na aplikację, która w mgnieniu oka rozwiązuje równania, nie jest niczym nowym. Małą rewolucją był pokaz podobnej funkcji w OneNote na Microsoft Ignite 2016, która to po ręcznym zapisaniu równania przekształcała je do formy tekstowej i wyświetlała rozwiązanie poprzedzone obliczeniami. "Gdzie była ta funkcja, kiedy chodziłem do szkoły?" - pytał Yusuf Mehdi z Microsoft i został nagrodzony gromkimi brawami. Brawa należą się teraz znowu, bo funkcja rozwiązywania równań trafiła do aplikacji Bing, czyniąc pewien krok naprzód.
Krok ten polega na warstwie wizualnej - nie musimy już pisać równania na ekranie, wystarczy je sfotografować. Funkcja trafiła już do Bing na iOS, a niebawem wejdzie też na Androida. Tu znów zaznaczamy obszar, zapis jest zamieniany na tekst, otrzymujemy rozwiązanie oraz możemy zobaczyć kolejne kroki wraz z wyjaśnieniami.
Text Transcription
Wyszukiwanie wizualne to nie tylko identyfikacja obiektów, wyszukiwanie podobnych obrazów, szukanie produktów w sklepach czy odrabianie zadania domowego z matematyki. To również OCR, czyli wydobywanie tekstu z obrazu. Znów wystarczy skierować kamerę telefonu na tekst, a Bing zajmie się resztą.
W ten sposób możemy sfotografować numer telefonu i od razu pod niego zadzwonić, dodać adres mailowy do kontaktów, odwiedzić stronę internetową (przydatne w przypadku skomplikowanych adresów URL) czy zwyczajnie skopiować tekst ze zdjęcia, by wkleić go gdzie indziej. Funkcja transkrypcji trafi do Bing na iOS w najbliższych tygodniach.
Poza transkrypcją i rozwiązywaniem równań Bing otrzymał w tym miesiącu jeszcze parę innych aktualizacji, w tym łatwiejsze wyszukiwanie obrazem (wsparcie dla przeciągnij-i-upuść jak w Google), nowe quizzy edukacyjne dla uczniów i wsparcie dla amerykańskiego języka migowego (ASL).