근래 3개월간 발표된 연구들 중 제가 생각하는 ‘아직 본격적으로 적용되지는 않았지만 앞으로의 개선방향이 될 가능성이 높은’, 혹은 ‘잠재력이 매우 큰’ 연구들을 뽑았습니다. 선정 기준은 1) 직관적인지, 2) 간단한지, 3) 현실적이고 구현 가능성이 높은지 입니다.
Scaling up Test-Time Compute with Latent Reasoning: A Recurrent Depth Approach
Auto-Compressing networks
Drag-and-Drop LLMs: Zero-Shot Prompt-to-Weights
mHC: Manifold-Constrained Hyper-Connection
WeDLM: Reconciling Diffusion Language Models with Standard Causal Attention for Fast Inference