Forscher haben ein Problem mit Mixture-of-Experts-Modellen: Jeder Experte braucht seinen eigenen Adapter. Mehr Experten, mehr Parameter, mehr Kosten. LiME soll das ändern.
Apple hat ein neues Forschungspaper vorgelegt. Thema: Wie man aus einem großen Sprachmodell mehrere spezialisierte Modelle macht — effizienter als bisher.