Firmy a výskum
Google Research opisuje „sleep framework“ pre LLM: oddelená fáza spánku má ukladať nové poznatky bez prepísania starých
Google Research predstavilo rámec continual learningu, v ktorom sa model strieda medzi aktívnou fázou a „spánkom“. Počas spánku má konsolidovať krátkodobé stopy do parametrov cez rozšírenie kapacity, distiláciu znalostí a imitation learning; Google zároveň tvrdí zlepšenia pri dlhom kontexte, dopĺňaní faktov aj reasoningu, no v dodaných podkladoch ich nemožno nezávisle overiť.