062
deepseek-ai/Engram
- 무엇을 하나
- Engram은 대형 언어 모델의 conditional memory를 다룬 논문의 공식 구현입니다. N-gram embedding을 상수 시간에 조회할 수 있게 개선한 모듈로 정적 memory를 꺼내 hidden state와 합치며, Mixture-of-Experts를 보완합니다.
- 라이선스
- Apache-2.0 허용 범위가 넓고 특허 사용 허락이 포함됩니다. 상업적 이용이 가능하며 고지 문구를 유지하고 변경 사실을 밝혀야 합니다.















































