Sony gaat voor AI in toekomstige beeldsensoren
Deze nieuwe sensoren zijn tevens interessant om met AI-uitgeruste camera’s te ontwikkelen. Ze bieden een breed scala aan toepassingen voor retail- en industriële toepassingen.
The Internet of Things
De opkomst van IoT (Internet of Things) zorgt ervoor dat apparaten met cloudsystemen worden verbonden. Daardoor neemt ook het aantal informatieverwerkingssystemen dat gebruik maakt van AI-verwerking toe. Deze stijgende datatransmissie zorgt voor allerlei uitdagingen. Zo wordt onder andere de realtime informatieverwerking vertraagd. Daarnaast zijn gebruikers wantrouwender wat betreft de veiligheid met betrekking tot het opslaan van persoonlijke data. Ten slotte stijgen stroomverbruik en communicatiekosten.
Deze sensoren zijn gestapeld (stacked) opgebouwd en bestaan uit een pixelchip en een logic chip. Het zijn de eerste beeldsensoren waarin de kunstmatige intelligentie voor beeldanalyse en beeldverwerking is geïntegreerd in de logic chip. Het signaal dat de pixelchip detecteert, wordt verwerkt door de AI op de sensor, zodat er geen krachtige processor of extern geheugen nodig is. Dit maakt de ontwikkeling van Edge AI-systemen mogelijk. In plaats van beeldinformatie verwerkt de sensor metagegevens (d.w.z. semantische informatie behorende bij de beeldgegevens). Dit vermindert het datavolume en biedt een betere gegevensbescherming.
Dankzij deze uitgebreide AI-capaciteiten zijn diverse toepassingen denkbaar, zoals het op hoge snelheid en realtime volgen van objecten. Tevens zijn AI-modellen te selecteren door het intern geheugen aan te passen op de specifieke toepassing van de locatie. Gebruikers kunnen ook andere AI-modellen kiezen door het interne geheugen te herschrijven naar de vereisten of voorwaarden van het gewenste systeem.
Belangrijkste kenmerken slimme beeldsensoren
- De eerste beeldsensor met AI-functionaliteit: De pixelchip is back-illuminated en heeft 12,4 effectieve megapixels voor het vastleggen van informatie. De logic chip is uitgerust met Sony’s Digitale Signaalprocessor (DSP) voor AI-signaalverwerking en met een intern geheugen voor het AI-model. Dankzij deze configuratie zijn krachtige processors of een extern geheugen niet noodzakelijk.
- Output van metadata: De signalen die de pixelchip detecteert worden doorgegeven via een ISP (beeldsignaalprocessor). AI-verwerking vindt plaats op de logic chip en de geëxtraheerde informatie wordt uitgevoerd als metadata. Aangezien beeldinformatie niet extern wordt verwerkt is gegevensbescherming optimaal. Behalve het beeld dat door de conventionele beeldsensor wordt opgenomen, kunnen gebruikers een outputformat naar wens selecteren. Denk hierbij aan afbeeldingen in ISP-formaat (YUV/RGB) en specifieke ROI (Region of Interest)-selecties van de afbeeldingen.
- High-speed AI-verwerking: Bij het opnemen van video met een conventionele beeldsensor wordt de data doorgestuurd voor AI-verwerking. Dit leidt tot meer datatransmissie waardoor het lastig is om realtime prestaties te leveren. De nieuwe sensoren van Sony voeren ISP-verwerking en high-speed AI-verwerking (3,1 milliseconde verwerkingstijd voor MobileNet V12) uit op de logic chip en voltooien het hele proces in één frame. Dankzij dit ontwerp wordt het mogelijk om realtime en met hoge precisie objecten te volgen tijdens het opnemen van video.
- Selecteerbaar AI-model: Gebruikers kunnen de AI-modellen naar wens in het geheugen programmeren afhankelijk van de omstandigheden op de locatie van het systeem. Dit kan bijvoorbeeld handig zijn wanneer meerdere camera's op een winkellocatie worden geïnstalleerd. De gebruiker kan zo hetzelfde type camera voor meerdere toepassingen inzetten. Als de camera bij de ingang is geïnstalleerd, kan deze worden gebruikt om de klanten te tellen die de winkel binnenkomen. Bij installatie op een winkelschap, kan deze worden gebruikt om voorraadtekorten te herkennen. Is de camera aan het plafond gemonteerd, dan kan deze worden ingezet om warmtebeelden te maken (ter identificatie van gebieden waar veel bezoekers elkaar ontmoeten). Uiteraard kan het AI-model in een bepaalde camera opnieuw geprogrammeerd worden, van één die heatmaps opspoort naar één die consumentengedrag vaststelt et cetera.