Operácie

Triedenie lentiliek: Rozdiel medzi revíziami

Z SensorWiki

(Riešenie)
(Princíp činnosti)
 
(16 medziľahlých úprav od rovnakého používateľa nie je zobrazených.)
Riadok 1: Riadok 1:
[[Súbor:Lentilky.jpg]]
+
[[File:Lentilky.jpg|thumb|left|400px]]
  
[[File:MMfigures.jpg|thumb|500px|The seven cartoon "spokescandies" for M&M's since 2022]]
 
  
 
'''Lentilky''' sú obvykle čokoládové alebo ovocné cukríky v tvare šošovky (''franc.'' lentille, ''angl.'' lentil) s rôznofarebnoou cukrovou krustou na povrchu.  
 
'''Lentilky''' sú obvykle čokoládové alebo ovocné cukríky v tvare šošovky (''franc.'' lentille, ''angl.'' lentil) s rôznofarebnoou cukrovou krustou na povrchu.  
Riadok 14: Riadok 13:
 
* [https://en.wikipedia.org/wiki/Skittles_(confectionery) Skittles]
 
* [https://en.wikipedia.org/wiki/Skittles_(confectionery) Skittles]
  
 +
__TOC__
  
  
Knižnica ColorPAL
 
  
 +
 +
 +
== Snímač farby ColorPAL ==
 +
 +
Senzorov na snímanie farieb je [[Senzory na rozpoznávanie farieb|viacero rozličných druhov]], my sa budeme zaoberať snímačom ColorPAL firmy Parallax.
 +
Opis senzora vypracovali študenti Bc. Tamás Vincze a Bc. Adam Rozsár v rámci semestrálneho projektu.
 +
 +
[[Obrázok:SnimacFarbyColorPal.jpg|thumb|right]]
 +
 +
 +
 +
 +
=== Vlastnosti ===
 +
 +
* Sníma celý rozsah farieb o ktorých dáva informáciu vo forme RGB (Red/Green/Blue) komponentov.
 +
* Sníma spektrum okolitého osvetlenia s citlivosťou až 44uW/cm2 na lsb.
 +
* Generuje 24 bitové farby pomocou vstavaného RGB LED.
 +
* Možnosť pripojenia priamo na skúšobnú dosku alebo pomocou predlžovacích káblov.
 +
* Na detekciu a generovanie farby využíva sériovú komunikáciu cez jeden pin.
 +
* Detekcia a generovanie farieb je riadené pomocou vstavaného mikrokontrolera.
 +
* Disponuje vstavanou EEPROM pamäťou pre uloženie snímaných informácií a generačných programov.
 +
* Autorun funkcia umožňuje spustenie vopred určeného programu iba použitím napájania.
 +
 +
[[Súbor:Obr8.jpg|center]]
 +
 +
=== Princíp činnosti ===
 +
 +
Na rozdiel od snímačov s CMOS detektormi, ktoré prostredníctvom filtrov merajú priamo množstvo odrazeného svetla v jednotlivých zložkách, tento snímač aktívne osvetľuje vzorku rozličnými svetlami (červené, modré a zelené). Postupne odmeria množstvo odrazeného svetla jednotlivých zložiek a z toho potom vieme odhadnúť farbu objektu.
 +
 +
ColorPAL používa RGB LED na osvetlenie meranej farby (jedna farba naraz), spolu so široko spektrovým prevodníkom svetlo-napätie na meranie odrazeného svetla. Podľa množstva svetla ktoré sa odráža od meranej farby pri osvetlení od červenej, zelenej a modrej LED diódy je možné určiť farbu vzorky. ColorPAL používa na meranie odrazeného svetla fotodiódu TAOS typu TSL13T alebo 12T, ktorá má krivku spektrálnej citlivosti nasledovnú:
 +
 +
<center>
 +
[[Súbor:Obr1.png]]
 +
::'''Obr. 1: Krivka spektrálnej citlivosti prevodníka svetlo-napätie'''
 +
</center>
 +
 +
Prevodník je kombináciou fotodiódy a transimpedančného zosilňovača v jednom integrovanom obvode. Aktívna plocha fotodiódy je 0.5 mm x 0.5 mm a senzor vníma žiarenie s vlnovou dĺžkou v rozsahu od 320 nm do 1050 nm.Výstupné napätie sa mení lineárne s intenzitou dopadajúceho žiarenia.
 +
 +
<center>
 +
[[Súbor:TSL12_Schematic.png|center]]
 +
::'''Obr. 2: Fotografia TSL13T, funkčná schéma zapojenie prevodníka a zapojenie vývodov fotodiódy.'''
 +
</center>
 +
 +
Výstupom snímača je napätie, úmerné celého žiarenia ktoré detekuje a ktoré sú potom merané podľa hore uvedenej krivky spektrálnej citlivosti. Keď predmet je osvetlený iba červenou LED, tak snímač bude reagovať s napätím úmerným červenej zložky z farby predmetu a podobne s modrou a zelenou. Snímač a RGB LED diódy sú umiestnené vedľa seba v jednej plastickej trubice.
 +
 +
=== Použitie ===
 +
Senzor používa 3 piny: regulované +5V napájanie, zem a sériový dátový pin s otvoreným kolektorom. Pri práci sme snímač napojili na skúšobnú dosku podľa Obr. 2. Museli sme dávať pozor, aby bol jumper vhodne nastavený, na Vdd a nie na Vin.
 +
 +
Pomocou predlžovacieho káblika sa senzor jednoducho pripojí k Acrob doske do konektora pre servomotorčeky:
 +
 +
[[Obrázok:Parallax_ColorPAL_Schematic3.png]]
 +
 +
== Software na meranie ==
 +
 +
 +
Po pripojení senzora k mikropočítaču Arduino / Acrob, budete potrebovať okrem samotného programu aj doinštalovať knižnicu <code>ColorPal.h</code>
 +
 +
=== Knižnica ColorPAL ===
  
 
Postup inštalácie (ak ešte nie je na počítači knižnica nainštalovaná):
 
Postup inštalácie (ak ešte nie je na počítači knižnica nainštalovaná):
Riadok 28: Riadok 85:
  
  
=== Color sensor ===
+
=== Demonštračný program ===
 +
 
 +
Nasledovný program inicializuje senzor a v slučke potom vyčítava jednotlivé farebné zložky, ktoré po sériovej linke posiela do počítača.
 +
 
 +
<tabs>
 +
<tab  name="Arduino Demo"><source lang="cpp">
 +
 
 +
#include <ColorPAL.h>    /* Kniznica pre pracu so senzorom      */
 +
 
 +
#define SW1 6            /* Ak chceme meranie ovladat tlacitkom */
 +
#define LED1 13          /* LEDka na doske                      */
 +
 
 +
ColorPAL sensor;        /* Vytvori instanciu senzora          */
 +
 
 +
int red;                /* Premenne na jednotlive farby        */
 +
int grn;
 +
int blu;
 +
 
 +
char buffer[20];        /* Docasny buffer na textovy retazec  */
 +
 
 +
 
 +
void setup()
 +
{
 +
  pinMode(SW1,INPUT_PULLUP);
 +
  pinMode(LED1,OUTPUT);
 +
 
 +
  sensor.attachPAL(10);    /* Senzor je pripojeny na D10      */
 +
  Serial.begin(9600);      /* Rychlost seriovej linky 9600Bd  */
 +
}
 +
 
 +
 
 +
void loop()
 +
{
 +
  red = sensor.redPAL();    // Reads sensors and returns red value
 +
  grn = sensor.greenPAL();  // Reads sensors and returns green value
 +
  blu = sensor.bluePAL();  // Reads sensors and returns blue value
 +
 
 +
  buffer[19] = '\0';
 +
  buffer[18] = '\0';
 +
 
 +
                            // Tu si pripravime retazec na odvysielanie
 +
                            // v tvare R0000 G0000 B0000 <CR>
 +
 +
  sprintf(buffer, "R%4.4d G%4.4d B%4.4d\015", red, grn, blu);
 +
 
 +
  Serial.println(buffer);  // A tu ho odvysielame
 +
 +
  delay(100);              // 10 merani za sekundu nam staci
 +
 +
 
 +
 
 +
 
  
Ak chceme aj zobrazenie na displeji, pozri [[LCD displej]]
+
</source></tab>
 +
</tabs>
  
 +
Ak bude všetko v poriadku, program začne merať farby a posielať na sériový port (9600 Bd) podobné data:
  
Senzorov na snímanie farieb je viacero, my sa budeme zaoberať snímačom ColorPAL.  
+
R0027 G0106 B0040
 +
R0037 G0134 B0050
 +
R0034 G0126 B0046
 +
...
  
* Pozri aj ďalšie [[Senzory na rozpoznávanie farieb]]
 
  
Parallax ColorPAL module contains TAOS TSL12T photodiode with integrated Q/U converter.
+
=== Ukážková aplikácia ===
  
[[Súbor:TSL12_Schematic.png|center]]
+
Vyššieuvedený program by mal fungovať (žiaľ nie vždy celkom spoľahlivo) aj s originálnym programom Philippa Pilgrima (Parallax)
 +
na rozpoznávanie farieb <code>TCS3200_ColorPAL_match.exe</code>.
 +
* Originál https://www.parallax.com/package/colorpal-color-sensor-downloads/?wpdmdl=2901&refresh=641fd7e2308fd1679808482&ind=1600309026340&filename=28380-ColorPAL-Color-Matching-Program-BS-Sample-Files.zip
 +
* Lokálna kópia https://senzor.robotika.sk/mems/ColorPalDemo.zip
  
Following text will show You a basic connection and operation of the Parallax ColorPal digital colour sensor module.
+
[[Obrázok:ColorPAL_demo.png|center]]
  
[[Obrázok:Parallax_ColorPal.jpg]]
 
  
Product page:
+
== Meranie ==
[http://www.parallax.com/StoreSearchResults/tabid/768/txtSearch/colorpal/List/0/SortField/4/ProductID/617/Default.aspx #28380 ColorPAL]
 
  
* [http://www.parallax.com/Portals/0/Downloads/docs/prod/sens/28380ColorPAL.pdf Documentation] (.pdf)
+
Vašou úlohou je teraz namerať primerané množstvo vzoriek lentiliek z každej farby. Meranie aj niekoľkokrát zopakujte. Cieľom je získať .csv súbor v nasledovnom formáte:
* [http://www.parallax.com/Portals/0/Downloads/docs/prod/sens/28380-TSL12T-TSL13T-D.pdf Chip datasheet] (.pdf)
 
  
Schematic diagram:
+
r,g,b,target,target_name
 +
25,57,181,0,blue
 +
25,63,191,0,blue
 +
189,38,31,1,orange
 +
188,45,41,1,orange
 +
49,109,93,2,green
 +
49,111,94,2,green
  
[[Obrázok:Parallax_ColorPAL_Schematic.png]]
+
Význam stĺpcov '''r''', '''g''' a '''b''' je zrejmý, '''target_name''' je názov farby a '''target''' je unikátne číslo pre každú farbu.
  
Demo program:
+
Aby ste získali požadované dáta, musíte upraviť formátovací reťazec vo vzorovom programe vyššie. Potom jednotlivé merania skopírujete z terminálového okna a doeditujete požadované údaje.
  
<source lang="c">
+
Meranie si môžete trocha zjednodušiť, ak si pripojíte k procesoru tlačítko a dáta zmeriate a vyšlete len raz, po stlačení tlačítka:
  
 +
<tabs>
 +
<tab  name="Testovanie tlačítka"><source lang="cpp">
  
#include <SoftwareSerial.h>
+
while (digitalRead(SW1) == HIGH)    // tlačítko je aktívne do nuly
 +
  {
 +
    /* len tu cakaj a nic nerob */
 +
  }
  
int red, grn, blu;
 
  
/* End of function readColor() */
+
  /* hotovo, tlacitko je stlacene */
  
</source>
+
</source></tab>
 +
</tabs>
  
If the program works correctly, it will send to the serial port (115 200 Bd) following data:
+
Ďalšie zjednodušenie by mohlo spočívať v zadávaní požadovanej farby, takže by procesor rovno vyslal celý riadok vhodný do .csv súboru. Dalo by sa to napríklad pomocou
 +
funkcie [https://www.arduino.cc/reference/en/language/functions/communication/serial/readstringuntil/ readStringUntil()], takto nejako:
  
 +
<tabs>
 +
<tab  name="Čítanie informácie zo sériového portu"><source lang="cpp">
  
R27 32 G106 71 B40 50
+
void setup()
Green
+
{
R37 41 G134 89 B50 61
+
  Serial.begin(9600); // opens serial port, sets data rate to 9600 bps
Green
+
}
R34 39 G126 84 B46 57
 
Green
 
  
 +
void loop()
 +
{
 +
  // check if data is available
 +
  if (Serial.available() > 0) {
 +
    // read the incoming string:
 +
    String incomingString = Serial.readStringUntil('\n');
  
== Demo software ==
+
    // prints the received data
 +
    Serial.print("I received: ");
 +
    Serial.println(incomingString);
 +
  }
 +
}
  
 +
</source></tab>
 +
</tabs>
  
Following Arduino code works with an original Parallax (or PhiPi) ColorDemo.exe program available at
 
the following address: http://www.parallax.com/Portals/0/Downloads/docs/prod/sens/ColorPAL_programs.zip
 
  
[[Obrázok:ColorPAL_demo.png|center]]
+
== Strojové učenie ==
  
<source lang="c">
+
Ak ste už zmerali svoj balíček cukríkov, mali by ste mať pripravený .csv súbor v ktorom je všetko potrebné. Ďalšia úloha je natrénovať nejaký algoritmus na nameraných dátach a implementovať ho potom do Arduina, aby správne rozpoznávalo jednotlivé lentilky.  
/*====================================================
 
/ Connect ColorPAL SIG signal to Arduino pin 2 and 3
 
/ Baud Rate = 9600 kbps
 
/ Works with Arduino 0.20, not with 1.00 and above?
 
/====================================================*/
 
  
#include <SoftwareSerial.h>
+
Okrem asi najznámejších ML (Machine Learning) algoritmov, ktorými sú neurónové siete existuje aj množstvo ďalších, pričom niektoré sú na implementáciu do malých mikropočítačov vhodnejšie ako iné. My využijeme tzv. Decision Tree, teda
 +
rozhodovací strom. Asi by ste ho dokázali implementovať aj intuitívne, ale výhodou algoritmu strojového učenia je, že nájde optimálny strom, teda taký, kde bude minimálny počet rozhodovacích vetiev.  
  
}  /* End of function readColor() */
+
Ďalej budeme pracovať v Google Colab notebooku, kde máte všetko pripravené.
</source>
 
  
  
== Snímač farby ColorPAL ==
+
== Strojové učenie ==
  
*Vypracovali:
+
Ak ste už zmerali svoj balíček cukríkov, mali by ste mať pripravený .csv súbor v ktorom je všetko potrebné. Ďalšia úloha je natrénovať nejaký algoritmus na nameraných dátach a implementovať ho potom do Arduina, aby správne rozpoznávalo jednotlivé lentilky.  
:::::'''Bc. Tamás Vincze'''
 
:::::'''Bc. Adam Rozsár'''
 
  
*Študijný odbor:  '''Aplikovaná mechatronika'''
+
Okrem asi najznámejších ML (Machine Learning) algoritmov, ktorými sú neurónové siete existuje aj množstvo ďalších, pričom niektoré sú na implementáciu do malých mikropočítačov vhodnejšie ako iné. My využijeme tzv. Decision Tree, teda
 +
rozhodovací strom. Asi by ste ho dokázali implementovať aj intuitívne, ale výhodou algoritmu strojového učenia je, že nájde optimálny strom, teda taký, kde bude minimálny počet rozhodovacích vetiev.
  
*Ročník:          '''2.Ing'''
+
Ďalej budeme pracovať v Google Colab notebooku, kde máte všetko pripravené.
  
 +
<center>
 +
<html>
 +
<img src="https://upload.wikimedia.org/wikipedia/commons/thumb/d/d0/Google_Colaboratory_SVG_Logo.svg/160px-Google_Colaboratory_SVG_Logo.svg.png" /><BR>
 +
</html>
 +
<FONT Size="+2">  🡆 [https://colab.research.google.com/drive/10V87_bsniOzooZXJJax5IvIUFiMXY-v4?usp=sharing Google Colab Notebook]</FONT>
 +
</center>
  
[[Obrázok:SnimacFarbyColorPal.jpg]]
 
  
'''Literatúra:'''
+
Ak by vám niečo z nejakého dôvodu nefungovalo, môžete použiť  [https://senzor.robotika.sk/mems/files/RGBvalues.csv tento vzorový .csv súbor] na odladenie vášho postupu.
  
* [http://www.parallax.com/StoreSearchResults/tabid/768/txtSearch/28380/List/0/SortField/4/ProductID/617/Default.aspx Product Page] (parallax.com)
+
== Implementácia ==
* [http://www.parallax.com/Portals/0/Downloads/docs/prod/sens/28380ColorPAL.pdf Datasheet]
 
* [http://www.parallax.com/Portals/0/Downloads/docs/prod/sens/28380-TSL12T-TSL13T-D.pdf Sensor datasheet]
 
  
 +
Navrhnutý algoritmus preneste do mikropočítača a otestujte na novej vzorke lentiliek (môžete si napr. vymeniť so susedom). Rozpoznávanie (klasifikáciu) bude realizovať nižšie uvedený program. Nezabudnite mu však dodať aj z Google Colab notebooku vygenerované súbory <code>Pipeline.h</code> a <code>Classifier.h</code>:
  
==Snímač a generátor farby ColorPAL==
+
<tabs>
 +
<tab  name="Čítanie informácie zo sériového portu"><source lang="cpp">
 +
#include <ColorPAL.h>    /* Kniznica pre pracu so senzorom */
  
'''Vlastnosti'''
+
#include "Pipeline.h"    /* Vygenerovane z Google Colab */
*Sníma celý rozsah farieb o ktorých dáva informáciu vo forme RGB (Red/Green/Blue) komponentov.
+
#include "Classifier.h"
*Sníma spektrum okolitého osvetlenia s citlivosťou až 44uW/cm2 na lsb.
 
*Generuje 24 bitové farby pomocou vstavaného RGB LED.
 
*Možnosť pripojenia priamo na skúšobnú dosku alebo pomocou predlžovacích káblov.
 
*Na detekciu a generovanie farby využíva sériovú komunikáciu cez jeden pin.
 
*Detekcia a generovanie farieb je riadené pomocou vstavaného mikrokontrolera.
 
*Disponuje vstavanou EEPROM pamäťou pre uloženie snímaných informácií a generačných programov.
 
*Autorun funkcia umožňuje spustenie vopred určeného programu iba použitím napájania.
 
  
[[Súbor:Obr8.jpg]]
+
ColorPAL sensor;
  
== Princíp činnosti ==
+
void setup()
ColorPAL používa RGB LED na osvetlenie meranej farby (jedna farba naraz), spolu so široko spektrovým prevodníkom svetlo-napätie na meranie odrazeného svetla. Podľa množstva svetla ktoré sa odráža od meranej farby pri osvetlení od červenej, zelenej a modrej LED diódy je možné určiť farbu vzorky. ColorPAL používa sveteľný senzor TAOS typu TSL13T, ktorý má krivku spektrálnej citlivosťi nasledovný:
+
{
 +
  sensor.attachPAL(10);    /* Senzor je pripojeny na D10 */
 +
  Serial.begin(9600);      /* Rychlost seriovej linky    */
 +
}
  
[[Súbor:Obr1.png]]
+
void loop()
::'''Obr. 1: Krivka spektrálnej citlivosti prevodníka svetlo-napätie'''
+
{
 +
  // get RGB values
 +
 +
  int r = sensor.redPAL();    // Reads sensors and returns red value
 +
  int g = sensor.greenPAL();  // Reads sensors and returns green value
 +
  int b = sensor.bluePAL();  // Reads sensors and returns blue value
 +
 
 +
  // print values to Serial
 +
  Serial.print("RGB: ");
 +
  Serial.print(r,3);
 +
  Serial.print(",");
 +
  Serial.print(g,3);
 +
  Serial.print(",");
 +
  Serial.print(b,3);
 +
   
 +
  // perform feature extraction
 +
  float features[] = {r, g, b};
 +
   
 +
  if (!pipeline.transform(features))
 +
      return;
  
Prevodník je kombináciou fotodiódy a transimpedančného zosilňovača v jednom integrovanom obvode. Aktívna plocha fotodiódy je 0.5 mm x 0.5 mm a senzor vníma žiarenie s vlnovou dĺžkou v rozsahu od 320 nm do 1050 nm.Výstupné napätie sa mení lineárne s intenzitou dopadajúceho žiarenia.
+
  // perform classification on pipeline result
 +
  Serial.print(" |  Predicted color: ");
 +
  Serial.println(tree.predictLabel(pipeline.X));
  
[[Súbor:Obr2.jpg]]
+
  delay(300);
::'''Obr. 2: Funkčná schéma zapojenie prevodníka'''
+
}
[[Súbor:Obr3.jpg]]
+
</source></tab>
::'''Obr. 3: Pohľad z hora prevodníka'''
+
</tabs>
  
Výstupom snímača je napätie, úmerné celého žiarenia ktoré detekuje a ktoré sú potom merané podľa hore uvedenej krivky spektrálnej citlivosti. Keď predmet je osvetlený iba červenou LED, tak snímač bude reagovať s napätím úmerným červenej zložky z farby predmetu a podobne s modrou a zelenou. Snímač a RGB LED diódy sú umiestnené vedľa seba v jednej plastickej trubice.
 
  
 +
Ak máte chuť, môžete si dostavať aj mechanický triedič, ktorý vám lentilky roztriedy podľa farieb:
  
==Použitie==
+
* [https://learn.parallax.com/tutorials/language/blocklyprop/candy-sorter-blocklyprop-project Triedič z kartónu]
Senzor používa 3 piny: regulované +5V napájanie, zem a sériový dátový pin s otvoreným kolektorom. Pri práci sme snímač napojili na skúšobnú dosku podľa Obr. 2. Museli sme dávať pozor, aby bol jumper vhodne nastavený, na Vdd a nie na Vin.
+
* [https://interestingengineering.com/video/make-your-very-own-arduino-based-color-candy-sorting-machine Kvalitnejší triedič]
 +
* [https://www.thingiverse.com/thing:2762922 3D printed Color Sorter]
 +
* [https://www.instructables.com/Arduino-MM-Color-Sorter/ Iný 3D Color Sorter s návodom]
 +
* [https://hackaday.io/project/7579-3d-printed-skittles-sorting-machine Ďalší 3D triedič s návodom]
 +
* [https://www.youtube.com/watch?v=Ku9PKRoH1CE Veľmi dôvtipný mechanizmus s jediným motorčekom]
 +
* ... [https://www.google.com/search?client=firefox-b-d&q=arduino+color+sorter a celá kopa ďalších]
  
[[Súbor:Obr2.png]]
 
::'''Obr. 4: Schéma zapojenia snímača ColorPAL'''
 
  
== Programovanie ==
+
Je to len hračka? Nie, pozrite sa napríklad na tento [https://www.colorsorter-realtech.com/Productd/43.html priemyselný triedič kávových zŕn]:
Komunikácia s ColorPAL-om je realizovaná cez sériovú linku, prijímanie a odosielanie medzi 2400 a 7200 baudom. ColorPAL má v sebe zabudovaný pullup rezistor, preto nie je potrebné používať externý. Pretože používa open-drain protokol, pin ktorý sa používa na komunikáciu s ColorPAL-om by mal byť vždy nastavený ako vstupný, okrem prípadu keď je v stave 0. Pri inicializovaní snímača musíme čakať aby ColorPAL dal tento pin do jednotky predtým než začneme posielať príkazy.  
 
  
 +
[[Súbor:ColorSorterCoffeeBeans.jpg|center|500px|thumb|Triedič kávových zŕn ]]
  
Snímač môže pracovať v rôznych režimoch:
+
== Literatúra: ==
  
*Priamy režim: príkazy sú prijímané a vykonávané ihneď
+
* Product Page: [https://www.parallax.com/product/colorpal-color-sensor/  #28380 ColorPAL] (parallax.com)
*Bufferovací režim: príkazy sú prijímané a uložené do buffera pre použitie v budúcnosti
+
* [https://www.parallax.com/package/colorpal-color-sensor-downloads/ Downloads] (parallax.com)
*Vykonávací režim: príkazy, ktoré sú uložené do EEPROM pamäte, sa vykonajú
+
* Product manual [https://senzor.robotika.sk/mems/files/28380-ColorPAL.pdf ver.A] a [https://senzor.robotika.sk/mems/files/28380-ColorPAL_RevB.pdf ver.B]  (local)
 +
* [https://senzor.robotika.sk/mems/files/28380-SensorDatasheet.pdf Sensor datasheet] (local)
 +
* [https://senzor.robotika.sk/mems/files/ColorPalDemo.zip Demo software] (local)
 +
* Vzorový [https://senzor.robotika.sk/mems/files/RGBvalues.csv .csv súbor]
 +
* Ak chceme aj zobrazenie na displeji, pozri [[LCD displej]]
 +
* Pozri aj ďalšie [[Senzory na rozpoznávanie farieb]]
  
  
Snímač vieme resetovať tromi rôznymi spôsobmi:
 
*Powerup: pri prvom zapnutí ColorPAL začne vykonávať príkazy, ktoré sú uložené vo vnútornej pamäti EEPROM na adrese 00.  Pri novom, ešte neprogramovanom snímači tento program prejde do priameho módu.
 
*Short Break: 7 milisekundová logická 0 resetuje snímač a začne sa vykonávať Powerup.
 
*Long Break: 80< milisekundová logická 0 resetuje snímač a vstúpi do Priameho módu.
 
  
[[Súbor:Obr20.jpg]]
+
[[File:MMfigures.jpg|thumb|500px|The seven cartoon "spokescandies" for M&M's since 2022|center]]

Aktuálna revízia z 10:56, 26. marec 2023

Lentilky.jpg


Lentilky sú obvykle čokoládové alebo ovocné cukríky v tvare šošovky (franc. lentille, angl. lentil) s rôznofarebnoou cukrovou krustou na povrchu. V Česku ich vyrábala firma Sfinx Holešov už od roku 1907 (konkurenčné M&M's sa vyrábajú až od r. 1941). Unikátny výrobný proces českých lentiliek trvá viac ako osem hodín. Firma Sfinx sa v roku 1992 stala súčasťou koncernu Nestlé, čo žiaľ znamenalo aj koniec Lentiliek, pretože od apríla 2021 prevzala výrobu továreň v Hamburgu a to jednak z ekologických dôvodov, ako aj z dôvodu „harmonizácie“ (= zjednotenie receptúry) so značkou Smarties.

Na toto cvičenie si musíte zaobstarať niektoré z týchto cukríkov:



Snímač farby ColorPAL

Senzorov na snímanie farieb je viacero rozličných druhov, my sa budeme zaoberať snímačom ColorPAL firmy Parallax. Opis senzora vypracovali študenti Bc. Tamás Vincze a Bc. Adam Rozsár v rámci semestrálneho projektu.

SnimacFarbyColorPal.jpg



Vlastnosti

  • Sníma celý rozsah farieb o ktorých dáva informáciu vo forme RGB (Red/Green/Blue) komponentov.
  • Sníma spektrum okolitého osvetlenia s citlivosťou až 44uW/cm2 na lsb.
  • Generuje 24 bitové farby pomocou vstavaného RGB LED.
  • Možnosť pripojenia priamo na skúšobnú dosku alebo pomocou predlžovacích káblov.
  • Na detekciu a generovanie farby využíva sériovú komunikáciu cez jeden pin.
  • Detekcia a generovanie farieb je riadené pomocou vstavaného mikrokontrolera.
  • Disponuje vstavanou EEPROM pamäťou pre uloženie snímaných informácií a generačných programov.
  • Autorun funkcia umožňuje spustenie vopred určeného programu iba použitím napájania.
Obr8.jpg

Princíp činnosti

Na rozdiel od snímačov s CMOS detektormi, ktoré prostredníctvom filtrov merajú priamo množstvo odrazeného svetla v jednotlivých zložkách, tento snímač aktívne osvetľuje vzorku rozličnými svetlami (červené, modré a zelené). Postupne odmeria množstvo odrazeného svetla jednotlivých zložiek a z toho potom vieme odhadnúť farbu objektu.

ColorPAL používa RGB LED na osvetlenie meranej farby (jedna farba naraz), spolu so široko spektrovým prevodníkom svetlo-napätie na meranie odrazeného svetla. Podľa množstva svetla ktoré sa odráža od meranej farby pri osvetlení od červenej, zelenej a modrej LED diódy je možné určiť farbu vzorky. ColorPAL používa na meranie odrazeného svetla fotodiódu TAOS typu TSL13T alebo 12T, ktorá má krivku spektrálnej citlivosti nasledovnú:

Obr1.png

Obr. 1: Krivka spektrálnej citlivosti prevodníka svetlo-napätie

Prevodník je kombináciou fotodiódy a transimpedančného zosilňovača v jednom integrovanom obvode. Aktívna plocha fotodiódy je 0.5 mm x 0.5 mm a senzor vníma žiarenie s vlnovou dĺžkou v rozsahu od 320 nm do 1050 nm.Výstupné napätie sa mení lineárne s intenzitou dopadajúceho žiarenia.

TSL12 Schematic.png
Obr. 2: Fotografia TSL13T, funkčná schéma zapojenie prevodníka a zapojenie vývodov fotodiódy.

Výstupom snímača je napätie, úmerné celého žiarenia ktoré detekuje a ktoré sú potom merané podľa hore uvedenej krivky spektrálnej citlivosti. Keď predmet je osvetlený iba červenou LED, tak snímač bude reagovať s napätím úmerným červenej zložky z farby predmetu a podobne s modrou a zelenou. Snímač a RGB LED diódy sú umiestnené vedľa seba v jednej plastickej trubice.

Použitie

Senzor používa 3 piny: regulované +5V napájanie, zem a sériový dátový pin s otvoreným kolektorom. Pri práci sme snímač napojili na skúšobnú dosku podľa Obr. 2. Museli sme dávať pozor, aby bol jumper vhodne nastavený, na Vdd a nie na Vin.

Pomocou predlžovacieho káblika sa senzor jednoducho pripojí k Acrob doske do konektora pre servomotorčeky:

Parallax ColorPAL Schematic3.png

Software na meranie

Po pripojení senzora k mikropočítaču Arduino / Acrob, budete potrebovať okrem samotného programu aj doinštalovať knižnicu ColorPal.h

Knižnica ColorPAL

Postup inštalácie (ak ešte nie je na počítači knižnica nainštalovaná):

1. Choďte na nižsieuvedenú stránku, kliknite na zelené tlačítko Code (vpravo hore), z rozbaľovacieho menu si vyberte Download ZIP...

 https://github.com/westpoint-robotics/ColorPAL

2. Po nahratí rozbaľte ColorPAL-master.zip a vyberte folder ColorPAL (bez prípony '-master'). Presu+nte ho do adresára

C:\Users\USername\Documents\Arduino\libraries

3. Reštartujte Arduino IDE a knižnica by mala byť pridaná.


Demonštračný program

Nasledovný program inicializuje senzor a v slučke potom vyčítava jednotlivé farebné zložky, ktoré po sériovej linke posiela do počítača.

#include <ColorPAL.h>    /* Kniznica pre pracu so senzorom      */

#define SW1 6            /* Ak chceme meranie ovladat tlacitkom */
#define LED1 13          /* LEDka na doske                      */

ColorPAL sensor;         /* Vytvori instanciu senzora           */

int red;                 /* Premenne na jednotlive farby        */
int grn;
int blu;

char buffer[20];         /* Docasny buffer na textovy retazec   */


void setup() 
{
   pinMode(SW1,INPUT_PULLUP);
   pinMode(LED1,OUTPUT);

   sensor.attachPAL(10);    /* Senzor je pripojeny na D10       */
   Serial.begin(9600);      /* Rychlost seriovej linky 9600Bd   */
}


void loop() 
{ 
  red = sensor.redPAL();    // Reads sensors and returns red value
  grn = sensor.greenPAL();  // Reads sensors and returns green value
  blu = sensor.bluePAL();   // Reads sensors and returns blue value
  
  buffer[19] = '\0';
  buffer[18] = '\0';
  
                            // Tu si pripravime retazec na odvysielanie 
                            // v tvare R0000 G0000 B0000 <CR>
 
  sprintf(buffer, "R%4.4d G%4.4d B%4.4d\015", red, grn, blu);

  Serial.println(buffer);   // A tu ho odvysielame 
 
  delay(100);               // 10 merani za sekundu nam staci
}

Ak bude všetko v poriadku, program začne merať farby a posielať na sériový port (9600 Bd) podobné data:

R0027 G0106 B0040
R0037 G0134 B0050
R0034 G0126 B0046
...


Ukážková aplikácia

Vyššieuvedený program by mal fungovať (žiaľ nie vždy celkom spoľahlivo) aj s originálnym programom Philippa Pilgrima (Parallax) na rozpoznávanie farieb TCS3200_ColorPAL_match.exe.

ColorPAL demo.png


Meranie

Vašou úlohou je teraz namerať primerané množstvo vzoriek lentiliek z každej farby. Meranie aj niekoľkokrát zopakujte. Cieľom je získať .csv súbor v nasledovnom formáte:

r,g,b,target,target_name
25,57,181,0,blue
25,63,191,0,blue
189,38,31,1,orange
188,45,41,1,orange
49,109,93,2,green
49,111,94,2,green

Význam stĺpcov r, g a b je zrejmý, target_name je názov farby a target je unikátne číslo pre každú farbu.

Aby ste získali požadované dáta, musíte upraviť formátovací reťazec vo vzorovom programe vyššie. Potom jednotlivé merania skopírujete z terminálového okna a doeditujete požadované údaje.

Meranie si môžete trocha zjednodušiť, ak si pripojíte k procesoru tlačítko a dáta zmeriate a vyšlete len raz, po stlačení tlačítka:

 while (digitalRead(SW1) == HIGH)     // tlačítko je aktívne do nuly
  {
    /* len tu cakaj a nic nerob */
  }


   /* hotovo, tlacitko je stlacene */

Ďalšie zjednodušenie by mohlo spočívať v zadávaní požadovanej farby, takže by procesor rovno vyslal celý riadok vhodný do .csv súboru. Dalo by sa to napríklad pomocou funkcie readStringUntil(), takto nejako:

void setup() 
{
  Serial.begin(9600); // opens serial port, sets data rate to 9600 bps
}

void loop() 
{
  // check if data is available
  if (Serial.available() > 0) {
    // read the incoming string:
    String incomingString = Serial.readStringUntil('\n');

    // prints the received data
    Serial.print("I received: ");
    Serial.println(incomingString);
  }
}


Strojové učenie

Ak ste už zmerali svoj balíček cukríkov, mali by ste mať pripravený .csv súbor v ktorom je všetko potrebné. Ďalšia úloha je natrénovať nejaký algoritmus na nameraných dátach a implementovať ho potom do Arduina, aby správne rozpoznávalo jednotlivé lentilky.

Okrem asi najznámejších ML (Machine Learning) algoritmov, ktorými sú neurónové siete existuje aj množstvo ďalších, pričom niektoré sú na implementáciu do malých mikropočítačov vhodnejšie ako iné. My využijeme tzv. Decision Tree, teda rozhodovací strom. Asi by ste ho dokázali implementovať aj intuitívne, ale výhodou algoritmu strojového učenia je, že nájde optimálny strom, teda taký, kde bude minimálny počet rozhodovacích vetiev.

Ďalej budeme pracovať v Google Colab notebooku, kde máte všetko pripravené.


Strojové učenie

Ak ste už zmerali svoj balíček cukríkov, mali by ste mať pripravený .csv súbor v ktorom je všetko potrebné. Ďalšia úloha je natrénovať nejaký algoritmus na nameraných dátach a implementovať ho potom do Arduina, aby správne rozpoznávalo jednotlivé lentilky.

Okrem asi najznámejších ML (Machine Learning) algoritmov, ktorými sú neurónové siete existuje aj množstvo ďalších, pričom niektoré sú na implementáciu do malých mikropočítačov vhodnejšie ako iné. My využijeme tzv. Decision Tree, teda rozhodovací strom. Asi by ste ho dokázali implementovať aj intuitívne, ale výhodou algoritmu strojového učenia je, že nájde optimálny strom, teda taký, kde bude minimálny počet rozhodovacích vetiev.

Ďalej budeme pracovať v Google Colab notebooku, kde máte všetko pripravené.


🡆 Google Colab Notebook


Ak by vám niečo z nejakého dôvodu nefungovalo, môžete použiť tento vzorový .csv súbor na odladenie vášho postupu.

Implementácia

Navrhnutý algoritmus preneste do mikropočítača a otestujte na novej vzorke lentiliek (môžete si napr. vymeniť so susedom). Rozpoznávanie (klasifikáciu) bude realizovať nižšie uvedený program. Nezabudnite mu však dodať aj z Google Colab notebooku vygenerované súbory Pipeline.h a Classifier.h:

#include <ColorPAL.h>    /* Kniznica pre pracu so senzorom */

#include "Pipeline.h"    /* Vygenerovane z Google Colab */
#include "Classifier.h"

ColorPAL sensor;

void setup() 
{
   sensor.attachPAL(10);    /* Senzor je pripojeny na D10 */
   Serial.begin(9600);      /* Rychlost seriovej linky    */
}

void loop() 
{
  // get RGB values
 
  int r = sensor.redPAL();    // Reads sensors and returns red value
  int g = sensor.greenPAL();  // Reads sensors and returns green value
  int b = sensor.bluePAL();   // Reads sensors and returns blue value
  
  // print values to Serial
  Serial.print("RGB: ");
  Serial.print(r,3);
  Serial.print(",");
  Serial.print(g,3);
  Serial.print(",");
  Serial.print(b,3);
    
  // perform feature extraction
  float features[] = {r, g, b};
    
  if (!pipeline.transform(features))
      return;

  // perform classification on pipeline result
  Serial.print(" |  Predicted color: ");
  Serial.println(tree.predictLabel(pipeline.X));

  delay(300);
}


Ak máte chuť, môžete si dostavať aj mechanický triedič, ktorý vám lentilky roztriedy podľa farieb:


Je to len hračka? Nie, pozrite sa napríklad na tento priemyselný triedič kávových zŕn:

Triedič kávových zŕn

Literatúra:


The seven cartoon "spokescandies" for M&M's since 2022