[Article] What if AI doesn’t just keep getting better forever?

원글 : https://arstechnica.com/ai/2024/11/what-if-ai-doesnt-just-keep-getting-better-forever/ 

What if AI doesn’t just keep getting better forever?

 

인공지능의 발전은 어디까지일까? 

본 아티클에서는 AI의 발전이 한계에 부딪히고 있다는 말을 전한다. 

OpenAI의 차기 모델이 이전 모델에 비해 성능향상이 크지 않다는 내부 보고가 등장하면서 AI 기술이 이미 플래토에 도달했다는 것이다.

 

1. 서론 📈 AI의 발전 한계 가능성

• AI모델의 성장은 빠르게 진행되고 있으나, 최근에는 이러한 성장이 지속될 수 있는지에 대한 우려가 증가하고 있다. 
• 특히, 기존 방법으로 훈련된 대규모 언어 모델의 능력이 이미 한계에 도달했을 가능성이 제기되고 있다. 

2. 🤖 AI 발전의 한계와 미래

• Open AI의 다음 모델인 Orion은 GPT-3와 GPT-4사이의 성능 차이에 비해 더 작은 성능 향상을 보이고 있다. 
• 일부 작업에서 Orion은 이전 모델보다 안정적으로 우수하지 않다는 연구자들의 지적이 있다. 
• Open AI의 공동 창립자 이리야 수츠케버는 LLM이 전통적인 사전 훈련에서 한계를 겪고 있다고 우려를 나타내었다.
• 그는 더 이상 컴퓨팅 리소스나 훈련 데이터를 추가하는 것으로는 성과를 기대하기 어려운 시점에 있다고 강조하였다.

2.1. AI 발전 속도의 둔화에 대한 우려

• Open AI내부에서는 AI기술의 발전 속도가 저하되고 있다는 우려가 증가하고 있다.
• 이는 최근의 Weekend Report에서 효과적으로 요약되었으며, 내부자의 목소리를 반영하고 있다. 

2.2. AI 모델의 성과 감소

• Open AI의 다음 모델인 Orion은 GPT-3와 GPT-4사이에서 경험한 성과 향상보다 작은 성과 향상을 보여주고 있다.
• 일부 작업에서는 새로운 모델이 이전 모델보다 신뢰할 수 있게 개선되지 않았다는 연구자들의 의견이 있다.

2.3. AI의 발전 한계에 대한 우려

• Open AI의 공동 창립자인 일야 수츠케버는 LLM이 기존의 사전 훈련 방식에서 발전의 한계에 도달했다고 주장한다.
• 그는 2010년대가 "스케일링의 시대"였다고 설명하며, 컴퓨팅 자원과 훈련 데이터를 추가하면 모델 개선이 가능했다고 언급했다. 

2.4. AI의 다음 단계

• 현재 우리는 경이로움과 발견의 시대에 다시 돌아왔다. 
• 모든 이가 다음 혁신을 찾고 있으며, 적절한 방향으로의 확장이 그 어느 때보다 중요하다.

 

3. 결론 📉 AI 발전의 한계 요소

• 새로운 대규모 언어 모델(LLM)을 훈련시키기 위한 양질의 텍스트 데이터부족이 주요 문제로 지적된다.
• 모델 제작자들은 이미 인터넷과 출판된 서적에서 이용 가능한 텍스트의 가장 쉬운 부분을 다 채취했을 가능성이 있다.