Definícia
Embedding je číselná (vektorová) reprezentácia textu, obrázka alebo iných dát, ktorú AI modely používajú na zachytenie ich významu a vzájomnej podobnosti.
Popis
Embedding premieňa slovo, vetu alebo celý dokument na vektor čísel v mnohorozmernom priestore tak, aby si sémanticky podobné výrazy, napríklad „auto“ a „vozidlo“, boli v tomto priestore aj číselne blízke. Vytvára ho embedding model, samostatný druh AI modelu trénovaný špeciálne na túto úlohu.
Embeddingy sú základom pre vyhľadávanie podľa významu, nie len podľa zhody slov, a preto sa ukladajú do vector database. Vďaka tomu dokáže systém nájsť relevantný text aj vtedy, keď použitá formulácia otázky a odpovede nie sú totožné.
Najčastejšie praktické využitie embeddingov je v RAG systémoch, kde slúžia na vyhľadanie relevantných častí dokumentov, ktoré sa následne doplnia do promptu pre LLM. Používajú sa aj pri odporúčacích systémoch, detekcii duplicít alebo klasifikácii obsahu.
Embedding vs. fine-tuning
Kým embedding rieši, ako reprezentovať a vyhľadávať existujúce dáta bez zmeny samotného modelu, fine-tuning naopak upravuje váhy modelu tak, aby sa jeho správanie natrvalo prispôsobilo konkrétnej úlohe. Oba prístupy sa v praxi často kombinujú.