Facebook beschrijft foto's met artificiële intelligentie

Bart Simons op 07/04/2016 - reageer als eerste

Update 19 mei 2016: nu beschikbaar in België op i-devices die op Engels zijn ingesteld.

Sinds vorige week kan je in Twitter een alt-tekst toevoegen aan de foto in je tweet. Deze week laat Facebook weten dat ze foto's zullen beschrijven via artificiële intelligentie. Twee verschillende benaderingen dus om blinden te vertellen wat er op een foto staat:

  • Twitter vraagt dat gebruikers zelf beschrijvingen bij hun foto's voegen. Dit gebeurt wellicht zelden. Als het gebeurt, zal de beschrijving wel accuraat zijn, want de auteur weet waarom hij de foto plaatst en welk detail uit de foto belangrijk is.
  • Facebook beseft dat er veel te veel foto's circuleren op sociale media. Ze verwachten niet dat iedereen de moeite zal nemen om die te beschrijven en laten dat dus aan software over. Dit is kiezen voor kwantiteit maar inboeten aan kwaliteit.

Hoe kan je de beschrijvingen zien?

  • Je moet een i-device hebben want de mogelijkheid is op dit moment enkel beschikbaar in de iOS versie van de Facebook app. Dus niet op Android en niet op de Facebook website.
  • Je toestel moet op Engels ingesteld zijn. Er is nog niet bekend wanneer andere talen zullen volgen.
  • Om de beschrijvingen te horen, volstaat het om, met VoiceOver actief, de foto aan te raken. Je hoort dan een aantal dingen die in de foto zouden kunnen voorkomen.

Wat kunnen we verwachten?

Momenteel herkent de software een honderdtal concepten. Als een foto tekst bevat, hoor je enkel dat de foto tekst bevat; er is nog geen tekstherkenning (OCR) ingebouwd.

Het project is interessant. Het kan zeker werken voor eenvoudige afbeeldingen. Software kan een droge beschrijving geven van wat er te zien is, maar dat geeft weinig context:

Op sociale media post je vaak een foto met een bepaald doel of je wil een (grappig) detail benadrukken. Zal software ooit in staat zijn om de jurk van de bruid te beschrijven of om aan te geven hoe schattig je poes of baby op de foto staat?

Facebook is overigens niet de enige die experimenteert met artificiële intelligentie om beelden te beschrijven. Zie bijvoorbeeld dit indrukwekkende filmpje over de Seeing AI app van Microsoft.

Reageer

De volgende HTML tags zijn toegestaan: <a> <b> <ul> <li>