Triedenie lentiliek

Lentilky sú obvykle čokoládové alebo ovocné cukríky v tvare šošovky (franc. lentille, angl. lentil) s rôznofarebnoou cukrovou krustou na povrchu. V Česku ich vyrábala firma Sfinx Holešov už od roku 1907 (konkurenčné M&M's sa vyrábajú až od r. 1941). Unikátny výrobný proces českých lentiliek trvá viac ako osem hodín. Firma Sfinx sa v roku 1992 stala súčasťou koncernu Nestlé, čo žiaľ znamenalo aj koniec Lentiliek, pretože od apríla 2021 prevzala výrobu továreň v Hamburgu a to jednak z ekologických dôvodov, ako aj z dôvodu „harmonizácie“ (= zjednotenie receptúry) so značkou Smarties.

Na toto cvičenie si musíte zaobstarať niektoré z týchto cukríkov:

• Lentilky (web)
• M&M's
• Skittles

Snímač farby ColorPAL

Senzorov na snímanie farieb je viacero rozličných druhov, my sa budeme zaoberať snímačom ColorPAL firmy Parallax. Opis senzora vypracovali študenti Bc. Tamás Vincze a Bc. Adam Rozsár v rámci semestrálneho projektu.

Vlastnosti

• Sníma celý rozsah farieb o ktorých dáva informáciu vo forme RGB (Red/Green/Blue) komponentov.
• Sníma spektrum okolitého osvetlenia s citlivosťou až 44uW/cm2 na lsb.
• Generuje 24 bitové farby pomocou vstavaného RGB LED.
• Možnosť pripojenia priamo na skúšobnú dosku alebo pomocou predlžovacích káblov.
• Na detekciu a generovanie farby využíva sériovú komunikáciu cez jeden pin.
• Detekcia a generovanie farieb je riadené pomocou vstavaného mikrokontrolera.
• Disponuje vstavanou EEPROM pamäťou pre uloženie snímaných informácií a generačných programov.
• Autorun funkcia umožňuje spustenie vopred určeného programu iba použitím napájania.

Princíp činnosti

Na rozdiel od snímačov s CMOS detektormi, ktoré prostredníctvom filtrov merajú priamo množstvo odrazeného svetla v jednotlivých zložkách, tento snímač aktívne osvetľuje vzorku rozličnými svetlami (červené, modré a zelené). Postupne odmeria množstvo odrazeného svetla jednotlivých zložiek a z toho potom vieme odhadnúť farbu objektu.

ColorPAL používa RGB LED na osvetlenie meranej farby (jedna farba naraz), spolu so široko spektrovým prevodníkom svetlo-napätie na meranie odrazeného svetla. Podľa množstva svetla ktoré sa odráža od meranej farby pri osvetlení od červenej, zelenej a modrej LED diódy je možné určiť farbu vzorky. ColorPAL používa na meranie odrazeného svetla fotodiódu TAOS typu TSL13T alebo 12T, ktorá má krivku spektrálnej citlivosti nasledovnú:

Obr. 1: Krivka spektrálnej citlivosti prevodníka svetlo-napätie

Prevodník je kombináciou fotodiódy a transimpedančného zosilňovača v jednom integrovanom obvode. Aktívna plocha fotodiódy je 0.5 mm x 0.5 mm a senzor vníma žiarenie s vlnovou dĺžkou v rozsahu od 320 nm do 1050 nm.Výstupné napätie sa mení lineárne s intenzitou dopadajúceho žiarenia.

Obr. 2: Fotografia TSL13T, funkčná schéma zapojenie prevodníka a zapojenie vývodov fotodiódy.

Výstupom snímača je napätie, úmerné celého žiarenia ktoré detekuje a ktoré sú potom merané podľa hore uvedenej krivky spektrálnej citlivosti. Keď predmet je osvetlený iba červenou LED, tak snímač bude reagovať s napätím úmerným červenej zložky z farby predmetu a podobne s modrou a zelenou. Snímač a RGB LED diódy sú umiestnené vedľa seba v jednej plastickej trubice.

Použitie

Senzor používa 3 piny: regulované +5V napájanie, zem a sériový dátový pin s otvoreným kolektorom. Pri práci sme snímač napojili na skúšobnú dosku podľa Obr. 2. Museli sme dávať pozor, aby bol jumper vhodne nastavený, na Vdd a nie na Vin.

Pomocou predlžovacieho káblika sa senzor jednoducho pripojí k Acrob doske do konektora pre servomotorčeky:

Software na meranie

Po pripojení senzora k mikropočítaču Arduino / Acrob, budete potrebovať okrem samotného programu aj doinštalovať knižnicu ColorPal.h

Knižnica ColorPAL

Postup inštalácie (ak ešte nie je na počítači knižnica nainštalovaná):

1. Choďte na nižsieuvedenú stránku, kliknite na zelené tlačítko Code (vpravo hore), z rozbaľovacieho menu si vyberte Download ZIP...

 https://github.com/westpoint-robotics/ColorPAL

2. Po nahratí rozbaľte ColorPAL-master.zip a vyberte folder ColorPAL (bez prípony '-master'). Presu+nte ho do adresára

C:\Users\USername\Documents\Arduino\libraries

3. Reštartujte Arduino IDE a knižnica by mala byť pridaná.

Demonštračný program

Nasledovný program inicializuje senzor a v slučke potom vyčítava jednotlivé farebné zložky, ktoré po sériovej linke posiela do počítača.

Arduino Demo

#include <ColorPAL.h>    /* Kniznica pre pracu so senzorom      */

#define SW1 6            /* Ak chceme meranie ovladat tlacitkom */
#define LED1 13          /* LEDka na doske                      */

ColorPAL sensor;         /* Vytvori instanciu senzora           */

int red;                 /* Premenne na jednotlive farby        */
int grn;
int blu;

char buffer[20];         /* Docasny buffer na textovy retazec   */


void setup() 
{
   pinMode(SW1,INPUT_PULLUP);
   pinMode(LED1,OUTPUT);

   sensor.attachPAL(10);    /* Senzor je pripojeny na D10       */
   Serial.begin(9600);      /* Rychlost seriovej linky 9600Bd   */
}


void loop() 
{ 
  red = sensor.redPAL();    // Reads sensors and returns red value
  grn = sensor.greenPAL();  // Reads sensors and returns green value
  blu = sensor.bluePAL();   // Reads sensors and returns blue value
  
  buffer[19] = '\0';
  buffer[18] = '\0';
  
                            // Tu si pripravime retazec na odvysielanie 
                            // v tvare R0000 G0000 B0000 <CR>
 
  sprintf(buffer, "R%4.4d G%4.4d B%4.4d\015", red, grn, blu);

  Serial.println(buffer);   // A tu ho odvysielame 
 
  delay(100);               // 10 merani za sekundu nam staci
}

Ak bude všetko v poriadku, program začne merať farby a posielať na sériový port (9600 Bd) podobné data:

R0027 G0106 B0040
R0037 G0134 B0050
R0034 G0126 B0046
...

Ukážková aplikácia

Vyššieuvedený program by mal fungovať (žiaľ nie vždy celkom spoľahlivo) aj s originálnym programom Philippa Pilgrima (Parallax) na rozpoznávanie farieb TCS3200_ColorPAL_match.exe.

• Originál https://www.parallax.com/package/colorpal-color-sensor-downloads/
• Lokálna kópia https://senzor.robotika.sk/mems/ColorPalDemo.zip

Meranie

Vašou úlohou je teraz namerať primerané množstvo vzoriek lentiliek z každej farby. Meranie aj niekoľkokrát zopakujte. Cieľom je získať .csv súbor v nasledovnom formáte:

r,g,b,target_name
25,57,181,blue
25,63,191,blue
189,38,31,orange
188,45,41,orange
49,109,93,green
49,111,94,green

Význam stĺpcov r, g a b je zrejmý, target_name je názov farby v anglickom jazyku. Povolené hodnoty: red, orange, yellow, green, blue, purple, pink, brown, cyan, lime, magenta, white, black

Aby ste získali požadované dáta, musíte upraviť formátovací reťazec vo vzorovom programe vyššie. Potom jednotlivé merania skopírujete z terminálového okna a doeditujete požadované údaje.

Meranie si môžete trocha zjednodušiť, ak si pripojíte k procesoru tlačítko a dáta zmeriate a vyšlete len raz, po stlačení tlačítka:

Testovanie tlačítka

 while (digitalRead(SW1) == HIGH)     // tlačítko je aktívne do nuly
  {
    /* len tu cakaj a nic nerob */
  }


   /* hotovo, tlacitko je stlacene */

Ďalšie zjednodušenie by mohlo spočívať v zadávaní požadovanej farby, takže by procesor rovno vyslal celý riadok vhodný do .csv súboru. Dalo by sa to napríklad pomocou funkcie readStringUntil(), takto nejako:

Čítanie informácie zo sériového portu

void setup() 
{
  Serial.begin(9600); // opens serial port, sets data rate to 9600 bps
}

void loop() 
{
  // check if data is available
  if (Serial.available() > 0) {
    // read the incoming string:
    String incomingString = Serial.readStringUntil('\n');

    // prints the received data
    Serial.print("I received: ");
    Serial.println(incomingString);
  }
}

Strojové učenie

Ak ste už zmerali svoj balíček cukríkov, mali by ste mať pripravený .csv súbor v ktorom je všetko potrebné. Ďalšia úloha je natrénovať nejaký algoritmus na nameraných dátach a implementovať ho potom do Arduina, aby správne rozpoznávalo jednotlivé lentilky.

Okrem asi najznámejších ML (Machine Learning) algoritmov, ktorými sú neurónové siete existuje aj množstvo ďalších, pričom niektoré sú na implementáciu do malých mikropočítačov vhodnejšie ako iné. My využijeme tzv. Decision Tree, teda rozhodovací strom. Asi by ste ho dokázali implementovať aj intuitívne, ale výhodou algoritmu strojového učenia je, že nájde optimálny strom, teda taký, kde bude minimálny počet rozhodovacích vetiev.

Ďalej budeme pracovať v Google Colab notebooku, kde máte všetko pripravené.

🡆 Google Colab Notebook

Ak by vám niečo z nejakého dôvodu nefungovalo, môžete použiť tento vzorový .csv súbor na odladenie vášho postupu.

Implementácia a Vyhodnotenie

Navrhnutý algoritmus preneste do mikropočítača a otestujte na novej vzorke lentiliek. Rozpoznávanie (klasifikáciu) bude realizovať program, ktorý vám vušiel na konci notebooku. Nezabudnite mu však dodať aj z Google Colab notebooku vygenerovaný súbor Classifier.h

Na záver otestujte druhú skupinu lentiliek (nie tú ktorú ste použili na meranie, môžete si napr. vymeniť so susedom) a použite nasledovný vzťah pre vyhodnotenie presnosti:

Precision = TP / (TP+FP), 

kde TP je počet správne určených lentiliek (True Positives) a FP je počet nesprávne priradených k danej farbe (False Positives). Druhým parametrom je citlivosť

Recall =  TP / (TP +FN),

kde opäť TP je počet správne určených a FN je počet nepriradených k danej farbe (False Negative).

Ak máte chuť, môžete si dostavať aj mechanický triedič, ktorý vám lentilky roztriedy podľa farieb:

• Triedič z kartónu
• Kvalitnejší triedič
• 3D printed Color Sorter
• Iný 3D Color Sorter s návodom
• Ďalší 3D triedič s návodom
• Veľmi dôvtipný mechanizmus s jediným motorčekom
• ... a celá kopa ďalších

Je to len hračka? Nie, pozrite sa napríklad na tento priemyselný triedič kávových zŕn:

Triedič kávových zŕn

Nearest Centroid Classifier (bonusová úloha za +3 b.)

Ako to funguje

Pri meraní lentiliek sme pre každú farbu nazbierali viacero vzoriek — každá vzorka je bod v 3D priestore definovaný hodnotami (R, G, B). Keby sme chceli klasifikovať novú, neznámu lentilku, mohli by sme ju porovnať so všetkými nameranými vzorkami a pozrieť sa, ktorá farba prevažuje medzi jej najbližšími susedmi. Tento algoritmus sa označuje ako KNN (K-Nearest Neighbors).

Nearest Centroid je jednoduchší príbuzný KNN. Namiesto porovnávania s každou jednou vzorkou si pre každú farbu vypočítame jeden reprezentatívny bod — tzv. centroid (ťažisko). Centroid je jednoducho priemer všetkých nameraných hodnôt R, G, B pre danú farbu:

 centroid_blue = ( mean(R_blue), mean(G_blue), mean(B_blue) )

Klasifikácia novej vzorky potom spočíva v tom, že nájdeme centroid, ktorý je k nej najbližší v RGB priestore. Vzdialenosť počítame ako euklidovskú vzdialenosť — poznáte ju z domácej úlohy:

dist = sqrt( (r - cr)² + (g - cg)² + (b - cb)² )

Nearest Centroid ako špeciálny prípad KNN

Nearest Centroid je vlastne KNN s k=1, kde trénovacie body nie sú jednotlivé merania, ale centroidy farieb. Výhodou oproti KNN je, že do pam]te nemusíme ukladať celý dataset (desiatky bodov), ale len toľko bodov, koľko máme farieb — zvyčajne 4–6.

Postup implementácie

• Krok 1: Spustite bunku s výpočtom centroidov a pozrite si výsledné hodnoty.

Skontrolujte, či centroidy v 3D grafe naozaj ležia v strede každej skupiny bodov.

• Krok 2: Doplňte do šablóny `Classifier.h` nižšie:
  • hodnoty centroidov pre všetky vaše farby (skopírujte z výpisu)
  • názvy farieb v rovnakom poradí
  • výpočet euklidovskej vzdialenosti (`dist = ???`)
  • podmienku aktualizácie najbližšieho centroidu (`if (???)`)

Otázky na zamyslenie:

- Je naozaj potrebná odmocnina pri výpočte vzdialenosti? - V akom prípade by Nearest Centroid zlyhal, kde by KNN ešte fungoval? - Koľko čísel musíte uložiť do flash pamäte Arduina pri Nearest Centroid

 v porovnaní s KNN? Aký to má praktický význam?

Literatúra:

• Product Page: #28380 ColorPAL (parallax.com)
• Downloads (parallax.com)
• Product manual ver.A a ver.B (local)
• Sensor datasheet (local)
• Demo software (local)
• Vzorový .csv súbor
• Ak chceme aj zobrazenie na displeji, pozri LCD displej
• Pozri aj ďalšie Senzory na rozpoznávanie farieb

The seven cartoon "spokescandies" for M&M's since 2022