Lexer

Lekser po prostu przekształca bezsensowny ciąg w płaską listę rzeczy, takich jak „literał liczbowy”, „literał ciągu”, „identyfikator” lub „operator”, ...