Lekcja druga. Jak działają modele językowe. Model językowy nie myśli tak jak człowiek i nie przechowuje encyklopedii gotowych odpowiedzi. W uproszczeniu przewiduje kolejne fragmenty tekstu, korzystając z dostarczonego kontekstu i wzorców poznanych podczas treningu. Zacznijmy od tokenów. Tekst jest dzielony na mniejsze jednostki nazywane tokenami. Token może być całym słowem, częścią słowa albo znakiem. Model analizuje relacje między tymi jednostkami i szacuje, jaki fragment powinien pojawić się dalej. W ten sposób powstaje odpowiedź. Dlaczego to samo pytanie może dać różne odpowiedzi? Generowanie opiera się na prawdopodobieństwie. Istnieje wiele możliwych kontynuacji tekstu. Dlatego odpowiedzi na identyczne pytanie mogą różnić się stylem, doborem słów albo szczegółami. Kolejna ważna rzecz to kontekst. Model korzysta z informacji przekazanych mu podczas przygotowywania odpowiedzi oraz ze wzorców poznanych podczas treningu. Ilość informacji, które może uwzględnić w jednym wejściu, jest ograniczona. Ten zakres nazywamy oknem kontekstowym. Kiedy brakuje potrzebnych danych, model może wygenerować informację, która brzmi wiarygodnie, ale jest nieprawdziwa. Takie błędne treści nazywamy halucynacjami. Dlatego dostarczaj źródła, określaj kryteria jakości i sprawdzaj informacje, od których zależą ważne decyzje. Model może też współpracować z narzędziami. System wykorzystujący model językowy może korzystać z wyszukiwarki, bazy danych albo interfejsu do innego systemu. Model interpretuje intencję użytkownika i treść polecenia. Narzędzie pobiera dane lub wykonuje konkretną operację. To dwa różne zadania w jednym procesie. Zapamiętaj: model językowy dobrze radzi sobie z językiem. Samo wygenerowanie płynnej, przekonującej odpowiedzi nie gwarantuje jednak prawdziwości każdego zdania.