Senhöst och vinter innebär utvecklingssäsong här på Framtida Bruk. Vädret blir ruggigt, getterna går i sin, vi slutar mjölka och mörkret infinner sig gradvis. Uppgifterna ute blir färre, och mer tid kan avsättas till att jobba med utvecklingsprojekt.
I år fick utvecklingssäsongen starta tidigt, eftersom tävlingen Teknikutmaningen i Land Lantbruk hade sista inlämningsdag sista september. Det var sedan tidigare bestämt att AI skulle hamna i fokus under utvecklingssäsongen 2025-2026, och ett utvecklingskit vid namn Nvidia Jetson Orin Nano Super var beställt redan sedan i våras. Komponentbrist och allmän AI-hysteri har dock skjutit upp leveransen, men helt plötsligt damp den ner i slutet av augusti. Lika bra att sätta ihop en prototyp med en gång alltså.
Behoven på gården är många, och möjligheterna för AI-tillämpningar likaså, även om tekniken ligger väldigt tidigt i sin utveckling ännu. Jag jämför med en person som köpte en dator 1985. Behov fanns det gott om, en del lösningar också, men för att lösa specifika behov med hjälp av en dator krävdes en god portion kunnande och envishet. Potentialen i AI-utveckling just nu ligger inte i att skapa färdiga lösningar, de kommer snabbt att bli lika ifrånsprungna som en dator från 80-talet. Istället bör man skapa arbetssätt som kortar startsträckan till en fungerande AI-implementation och kan dra nytta av det senaste som den extremt snabba AI-utvecklingen skapar. Ett första projekt fick därför bli att lösa utmaningen i att identifiera getter och eventuella avvikande beteenden från en videoström. Idén till Getflix var född.
Språkanalys har funnits ett tag och börjar visa sin användbarhet hos vertyg som ChatGPT m.fl. När samma teknik för språkanalys tillämpas på bilder genom Video Language Models (VLM) öppnas helt andra tillämpningsområden, och det är här som det inte längre är självklart vad AI kan göra och inte göra, utan ett visst mått av fantasi måste tillföras i utvecklingsprocessen.
Stackade modeller
Ett uttryck för att AI-tekniken är ung är att de många projekten bildar en skärgård av små öar med extremt specaliserad teknik, men utan särskilt mycket samordning, standardisering och integration. Potentialen i att länka samman modeller, och utnyttja kompetenser från flera områden kan bli stor, men det krävs lite handpåläggning. En av de mest populära och kompetenta modellerna för objektigenkänning är YOLO, eller You Only Look Once. Den är otroligt snabb på att identifiera objekt i bilder eller video, men det förutsätter att den tränats grundligt på objekten. Uppemot 500 bilder från olika bakgrunder och ljussättningar kan krävas för att den ska känna igen ett obejkt med hög träffsäkerhet. Själva träningen går till som så att du tittar på en bild, ritar en ruta kring objektet, och skriver in vad det är. 10000-15000 bilder skulle alltså behöva taggas för att YOLO ska kunna identifiera en flock på 30 getter. Det låter ju tradigt att hålla på med. Jag bytte spår efter 15 bilder.
Om något är tradigt är det en utmärkt indikation på att AI borde göra det åt dig. AI vet ju dock inte var våra getter heter, bara hur de ser ut, vilket var själva grundproblemet med träningen. Däremot visar det sig att det inte spelar så stor roll. AI är mycket bättre än mig på att se skillnad på djur i en videoström, så då kan den tala om hur geten den vill berätta något om ser ut för mig istället. Jag låter YOLO titta på videoströmmen i realtid, och spara hem några bilder varje gång den identiferade en get. Otränad är den rätt korkad, en get kan bli ett får eller en hund och ett garagetält är ibland en ko, men låt gå. Den sparar allt som har med djur att göra. Istället får en annan VLM titta på de sparade bilderna. Moondream är en resonerande modell som tittar djupare på innehållet i bilden och kan svara på vad som sker. För den visar jag alla bilder som tagits under ett par timmar, och frågar t.ex. hur många unika getter som finns i materialet. Den tar gott om tid på sig att svara, men nog har den rätt. Den hade sett 14, och när jag räknar får jag ihop 14 och en halv. Inga garagetältkor eller får. Den halva geten vet jag inte om den tillhör de redan räknade, eller om den är utöver och Moondream inte tycker det är en get. Nåja, det funkar helt klart. Halva getter är ett senare problem.
Andra frågor är: hur många unika getter har druckit ur vattenbaljan? Svar 4. Japp, det stämmer, den fattade även att samma get har druckit 2 gånger, men det räknades som samma get. Detta går sannolikt att bygga vidare på så att en mängd beteenden kan mätas och analyseras, men inlämningsdatum för Teknikutmaningen närmar sig och det får bli lite finslipning av det som funkar än så länge.
Några veckor senare når oss beskedet att även juryn i Teknikutmaningen tycker det funkar!
Nu återstår en del arbete med att automatisera och optimera flödet, spåra orsaker till varför krascher inträffar ibland, implementera 5G samt bygga ett vädertåligt skal med batteridrift för utomhusmiljöer. Sen kan Getflix hjälpa oss med tillsynen av bockar på sommarbete, eller hjälpa till att hålla koll under killningen. Den stora risken som hotar vidareutvecklingen av Getflix ligger dock i att oväntade och intressantare områden dyker upp längs med vägen, men det är nog bara något att acceptera när det gäller AI-utveckling.
AI i buljongkokning och svampodling?
På tal om konkurrerande projekt. En AI-tillämpning dök genast upp i ett annat av utvecklingsprojekten. En process för att tillvarata vassle från osttillverkningen och ben från slakten genom att koka buljong. För att få en enhetlig slutprodukt mäts brytningsindex i buljongen, vilket är en indikator på koncentration. Brytningsindex kan mätas genom att läsa av ett prisma som kostar omkring hundralappen optiskt, eller läsa elektroniskt genom att köpa en mätare för tiotusentals kronor. Låter jag AI läsa av det billigare optiska prismat skickas mätvärdet direkt in i styrsystemet och koket avslutas vid uppnådd koncentration.
Svampodling då? Vi tänkte ta tillvara mer av gårdens resurser genom att omvandla cellulosa i skogsbiprodukter till mat och material. Mycel börjar upppmärksammas alltmer och med rätt styrning kan svampar hjälpa oss med såväl konstruktion och nedbrytning. Här tänker jag att den mesta aktiviteten sker i en skala som vi inte uppfattar med vår syn, men där AI kan vara till hjälp och tolka och förstå processer i mikrokosmos.
Årets tema var bland annat att lyfta bra idéer och smarta lösningar. Som klippt och skuret för oss tänkte vi och började filma snuttar från vår vardag för att få ihop till en liten film om hur vi använder teknik för att driva en hållbar verksamhet. Ni får jättegärna gå in och kika på resultatet! 