1. 현재 리더보드의 상위권에 속하는 사람들은 다음의 모델을 기반으로 있을 것이다.

'yanolja/KoSOLAR-10.7B-v0.2', 'ONS-AI-RESEARCH/ONS-SOLAR-10.7B', 'kimwooglae/WebSquareAI-Instruct-KoSOLAR-10.7b-v0.5.34', 'LDCC/LDCC-SOLAR-10.7B'

• 또한 이들은, DPO를 사용하는 중이다.

`2. 허깅페이스 ko-llm 리더보드와 en-llm 리더보드를 LDCC/LDCC-SOLAR-10.7B 모델로 비교해보면, 같은 모델임에도 불구하고 전체적인 벤치마크에서 en-llm 능력이 우수한 것을 확인할 수 있는데 이는 LDCC의 모델이 upstage/SOLAR-10.7B-v1.0,를 기반으로 한 야놀자의 모델을 사용해서 그런 것 뿐만 아니라, 토크나이저의 차이로 인한 결과로 보인다.

• 현재 리더보드에 존재하는 모델들의 최초 베이스 모델들은 EN-LLM 기반 모델들이며, 이들은 각각 Sentecepiece를 기반으로 한 BPS 모델을 사용하는 데, 이는 영어권 문자에 더 적합하지, 아직 아시아권 나라에 존재하는 문자들을 효율적으로 관리하지 못한다.
• 새로운 토크나이저 기법이 등장하지 않는 이상, 국내 LLM의 한계는 명확히 존재한다고 볼 수 있다.
• 이는, 아무리 좋은 LLM 모델이 나오더라도, 국내에서 상용화되는 서비스를 기대하기는 어렵다고 예상할 수 있다.
• 국내기업들이 LLM을 기반으로 한 서비스를 유치하기 어려운 기술적 한계점.

`3. SOLAR 10-7B를 기반으로 한 모델들은 토크나이저 이슈로 GGUF 변환을 사용할 수 없고 이에 따라 llama-cpp를 이용할 수 없는 단점이 존재한다.

1. Deprecated 된 모델을 제외한, v2를 기반으로 나온 야놀자 베이스 모델을 사용해봤으나 동일한 문제가 발생했다.

`4. SOLAR 10-7B를 기반으로 한 모델들은 LoRA를 내부적으로 Merge하여 사용하기 때문에, Exellama를 사용할 수 없다.

위와 같은 사실은 전통적인 허깅페이스식 인퍼런스를 요구하므로, Generation Task 과정에서 시간적으로 비효율적인 Token 생산 과정을 사용하도록 제약한다.

`5. 최종 리더보드 스코어는 0.9를 넘기지 않을 것이며, 0.85 +- 0.01 정도에서 상주 할 것으로 예상된다. (LB, PB 모두 적용)