Spring GDS 25è Aniversari
Una empresa de logística que envia a 190 països va construir alguna cosa per enviar-se a si mateixa.
LLM (Large Language Model)
Què és un LLM (Large Language Model)?
Un model de llenguatge gran és un model d'IA entrenat amb quantitats enormes de text per predir la paraula següent d'una seqüència. D'aquesta única tasca, tan simple, aprèn prou sobre el llenguatge com per respondre preguntes, resumir documents, escriure codi i mantenir una conversa. Models com GPT, Claude i Gemini són LLM. Són un tipus de xarxa neuronal, en concret un transformer, escalat fins a milers de milions de paràmetres.
Un LLM no consulta res ni raona com ho fa una persona. Genera text un token cada vegada, a partir de patrons apresos durant l'entrenament, i per això pot sonar fluid i segur mentre s'equivoca. Aquest mode de fallada s'anomena al·lucinació. Com que el model només sap el que hi havia a les seves dades d'entrenament, els equips solen acompanyar-lo de recuperació, donant-li documents rellevants en el moment de la consulta perquè respongui des de fonts reals i no des de la memòria. Un assistent de suport que treu respostes del centre d'ajuda mateix d'una empresa abans de contestar usa aquest patró, conegut com a generació augmentada per recuperació.
Els LLM impulsen bona part de la recent onada de chatbots i assistents virtuals. El model és el motor, però un producte útil l'envolta de barreres, dades reals i un sentit clar de què ha i què no ha d'intentar respondre.
Els LLM a Dallonses
Construïm amb LLM on es guanyen el lloc, i som directes amb els clients sobre on no. Un model que al·lucina una política de devolucions és pitjor que no tenir chatbot, així que la major part de la nostra feina se'n va a ancorar el model en dades reals i a limitar el que se li permet dir. L'enginyeria interessant rarament és el prompt.
La nostra feina amb LLM apareix sovint com a chatbots i assistents virtuals que responen des del coneixement real d'un client, no des del que el model mig recorda. Cablegem la recuperació, avaluem les respostes contra preguntes reals i posem límits perquè el sistema falli de manera segura. Ben fet, aquestes solucions d'IA gestionen les preguntes repetitives i passen les de debò difícils a una persona, que és la línia cap a la qual dissenyem.
Penses a posar un LLM davant dels teus clients? Fem-ho amb seguretat.
Serveis relacionats
Treballs relacionats
Vizitio
Convertir una marca en un negoci que funciona.
Access Ticket
Mig milió de persones. Una app. Zero caos.
Preparat per a traballar junts?
Reserva una reunió
