W zeszłym miesiącu Microsoft umieścił na Twitterze eksperymentalnego czat-bota o imieniu Tay. Użytkownicy mogli z nią rozmawiać na praktycznie dowolny temat, a bot szybko uczył się... wszystkiego, w tym także treści nieprzyzwoitych i obraźliwych. Microsoft przeprosił za taki obrót spraw, który spowodować miał "zmasowany atak pewnej grupy ludzi". Wszystko to nie byłoby możliwe, gdyby nie istniejąca podatność Tay na wszelkie wpływy i brak jakiejkolwiek autocenzury. Nic więc dziwnego, że firma wprowadziła pewne ograniczenia w swoim nowym bocie, CaptionBot.
CaptionBot - jak sugeruje jego nazwa - generuje podpisy do obrazków i zdjęć, przesyłanych przez użytkownika. Zasada działania (przynajmniej po stronie użytkownika) jest prosta - wybieramy z dysku dowolny plik graficzny lub wklejamy adres URL, bot analizuje jego zawartość, a następnie wyświetla opis. Istnieją tu jednak pewne ograniczenia. CaptionBot nie będzie opisywał zdjęć NSFW, erotycznych, obelżywych czy z podobizną Adolfa Hitlera. W takich wypadkach otrzymamy komunikat "Nie czuję się teraz najlepiej. Spróbujemy jeszcze raz?". Niezależnie, ile razy umieścimy nieodpowiednie zdjęcie, CaptionBot zawsze będzie odmawiał jego opisu. Można go jednak zmylić, ładując zdjęcia w niskiej rozdzielczości czy z niejednoznaczną zawartością. Prócz tego bot radzi sobie całkiem nieźle. Przygotowaliśmy dla Was małą galerię z próbkami jego analiz.












CaptionBot został stworzony przez zespół z Microsoftu, odpowiedzialny za framework Cognitive Services, który z dumą zaprezentowano na minionej konferencji BUILD 2016. Na framework składają się 22 inteligentne API, odpowiadające za rozpoznawanie tekstu, grafiki czy mowy, a także przetwarzające je. Jednym z podobnych przykładów jest Seeing AI, rozwiązanie dla osób niewidomych, które poprzez syntezator mowy opisuje to, co "zobaczy" kamera umieszczona w specjalnych okularach lub w telefonie.
Seeing AI potoczną angielszczyzną opisuje to, co widzi, i w większości przypadków trafnie interpretuje zawartość obrazu. CaptionBot jest jego siostrzaną aplikacją. Jako że wykorzystuje się tu sztuczną inteligencję i machine learning, każdą odpowiedź możemy ocenić w skali 1-5. Im więcej takich odpowiedzi otrzyma CaptionBot, tym lepiej będzie sobie radził z rozpoznawaniem kolejnych obrazów. Obsługa aplikacji jest niezwykle prosta - wystarczy wejść na stronę www.captionbot.ai i wgrać dowolne zdjęcie. Miłej zabawy!