Přizpůsobený transformer model pro efektivní získávání informací z učebnic

Abstract

Se vznikem a popularitou velkých jazykových modelů (LLM) bylo získávání informací vždy náročné. Tyto LLM jsou však trénovány na textovém korpusu internetu a trénovací data mají datum uzávěrky; proto jsou ve většině případů data při vydání modelu zastaralá. Tato práce by zkoumala možnost výzkumu řešení, které uživatelům umožní přístup ke stručným informacím z rozsáhlého korpusu, jako je výuková učebnice. Navrhovaným řešením je implementace aplikace Retrieval Augmentation Generation umožňující uživatelům pracovat s LLM pomocí jejich soukromých dat. Práce bude také zkoumat možnost použití tohoto přístupu lokálně namísto používání rozsáhlých a těžkopádných modelů online. Výsledky ukázaly, že tento přístup je proveditelný a funguje dobře pro různé učebnice bez ohledu na jejich velikost, a také výstupní výsledky jsou dobré. Tato práce poskytuje cenné poznatky o tom, jak architektura funguje, a poskytuje správné nástroje pro implementaci tohoto řešení.