Spielen

Botchen liest gern Wikipedia-Seiten. Es schneidet daraus Sätze und zerlegt die Sätze in Wortfetzen. Warum Wortfetzen? Die sind in den meisten Sprachmodellen wie ChatGPT die Einheit der Sprache. Ein Sprachmodell ist nur ein statistischer Algorithmus, der über ein Vokabular von Wortstücken verfügt. Für Botchen (oder ChatGPT) sind die Wörter 'Katze' und 'Demokratie' nicht anders als die Wortstücke 'ung', 'be' und 'a'. Sprachmodelle wissen nicht, dass es eine Welt gibt, in der Katzen und Politik existieren. Oder, dass es keine Ungs, Bes und As in der Welt gibt.

Aber warum sind die Wortstücke so komisch verteilt? Unser Botchen hat keinen Körper, es kann nur mit seinem eigenen Gehirn spielen. Mathematisch gesehen ist ein Sprachmodell ein Stapel von multidimensionalen Räumen. Botchen bewahrt darin seine Wortstücke in 128 Dimensionen auf. Wenn es einen Satz verarbeitet hat, kann es ein zweidimensionales Bild von seiner neuronalen Aktivität zeichnen - als würde ein Mensch ein zweidimensionales Bild dessen malen, was er in drei Dimensionen vor sich sieht.