최근 ChatGPT 관련된 논란이 많은데요. 확실히 인기가 있다보니 여러 구설수에 많이 올라옵니다. 그리고 이 부분은 저도 개인적으로 많이 느끼고 있는 부분인데요. 바로 ChatGPT가 점점 멍청해진다는 것입니다.
ChatGPT 성능 논란?
최근 ChatGPT는 기존에 자주 나오던 서버 다운에 이어서 실제 답변 역시 조금 성능이 떨어지는 느낌을 받았는데요. 실제로 OpenAI는 GPT4가 특정 부분에서는 더 게으르고 멍청할 수 있다고 인정했습니다. 저는 현재 ChatGPT 유료 계정을 사용중이지만 언제부터인가 답변의 품질이 떨어진다고 느겼는데요.
저 뿐만 아니라 실제로 많은 사람들이 레딧이나 여타 커뮤니티에서 ChatGPT의 성능에 대해서 성토하고 있었는데요. 이를 공식적으로 언급한 것입니다.
- OpenAI의 새로운 GPT-4 모델 사용자는 최근 몇 주 동안 성능 저하에 대해 불평해 왔습니다.
- OpenAI는 일부 작업에서 GPT-4 성능이 더 나쁠 수 있음을 공식 인정했습니다.
- OpenAI는 블로그 게시물에서 “성능이 악화되는 일부 작업이 있을 수 있습니다.”라고 언급했습니다.
실제로 ChatGPT는 다운도 많이 생겼고, 유료 계정 역시 이를 피할 수가 없었습니다.
https://www.simplify.kr/2023/07/chatgpt-we-ran-into-issue-while-signing.html
그리고 최근에 조금 편향되긴 했지만, Stanford와 UC Berkeley의 Matei Zaharia와 그의 팀이 수행한 연구에서는 GPT-4와 ChatGPT의 성능을 비교하여 성능이 떨어졌다는 것을 공개하였는데요. 다만 해당 연구는 특정 질문에 대한 답변만을 가지고 일반화한 것으로 조금의 오류는 존재할 수 있습니다.
ChatGPT 성능 저하 원인
ChatGPT는 구조적으로 너무나 많은 리소스를 사용합니다. 우리가 차량으로 말하면 이마트 가는데 연비가 3~4나오는 포르쉐를 끌고 가는 것이지요. 포르쉐는 또 방지턱도 잘 넘지 못하여 이마트의 방지턱마저 쉽게 넘어가기가 어렵다는 것입니다.
그래서 어쩔수 없이 OpenAI는 모델을 축소할수 밖에 없었고, 최초 사용자가 적을때와 달리 많은 사용자가 사용하는 현재에는 점점 모델을 축소하였고 이는 바로 성능저하로 나타나게 된 것입니다.
실제로 모든 성능이 좋다고 해서 많은 리소스를 다 사용할 수 없습니다. 다 비용이고 환경을 오염시키는 일이기 때문입니다. 과연 OpenAI는 이 문제를 어떻게 돌파할 수 있을지 궁금합니다.
인터넷의 정보를 가지고 정확하게 추산할 수는 없지만 부가적인 비용을 제외하고 GPT-3을 학습시키는 데만 대략 150억~340억 원 정도가 소요된 것으로 알려져 있습니다. 또한 GPT-3 수준의 오픈소스 언어 모델인 블룸(Bloom)을 학습시키는데 nVidia A100 GPU 384개를 이용하여 3개월 동안 학습해야 했고, 학습된 모델을 수행시키는데 A100 GPU 8개가 장착된 전용 하드웨어가 필요했다고 하니 이를 토대로 계산을 하더라도 막대한 비용이 사용된 것을 추정할 수 있습니다.
그렇기 때문에 이 리소스를 어떻게든 최소화하면서 성능을 향상시킬 방법을 고려해야 했고, 그 결과가 떨어지는 성능으로 응답한 것입니다.
향후 전망
과연 ChatGPT의 미래는 모든것을 해결할 수 있는 ‘스카이넷’이 될지, 아니면 코인처럼 한 시대의 유물로 남게 될지 궁금합니다. 하지만 프로그래밍 등 특정 분야에서는 꽤 많은 부분 자동화를 통해 유용한 툴이 될 것이라고 생각합니다.