Obsah cvičení

  • Algoritmus ID3
  • Výpočet entropie
  • Výpočet informačního zisku
  • Seznámení se software: bigml.com

Podklady

Domácí úkol (nebodovaný)

Dataset 7 instancí obsahuje 4 binární rysy (atributy) A, B, C, D a hodnotu cílového atributu (sloupec Class), který je též binární (T - True, F - False).

ABCDClass
TFTFF
TFFFT
FFFTF
TFFTT
FTTTT
TTFTF
FFFTT

Úlohy

  1. Který atribut by zvolil algoritmus ID3 jako kořenový? Pokud je více stejně kvalitních atributů, uveďte všechny a pro další výpočet jeden vyberte.
  2. Vyberte si libovolnou větev s nenulovou entropií a určete atribut, který algoritmus ID3 použije pro další větvení. Pro nejlepší procvičení odvoďte celý strom.
  3. Pomůcka: Příklad výpočtu - výběr atributu v ID3