Jazykové modely pro vyhledávání: naučte stroj chápat význam jazyka

Fulltextové hledání Seznamu prošlo během prvního čtvrtletí tohoto roku významnou technologickou proměnou, která měla dle našich interních měření i AB testů poměrně velký vliv na jeho kvalitu. Než se pustíme do nových technologií, pojďme si krátce připomenout klasický přístup k fulltextovému hledání, jehož základem je invertovaný index. V invertovaném indexu jsou uložena slova a ke každému slovu pak seznam dokumentů, které ho obsahují. Po zadání uživatelského dotazu se hledají dokumenty obsahující všechna jeho slova. V podstatě se tedy jedná o hledání klíčových slov, která uživatel zadal. Tento přístup k fulltextovému hledání má však několik docela zásadních omezení.