정명수 KAIST 전기및전자공학부 교수 연구팀. /사진=KAIST 제공

방대한 데이터를 기존 검색엔진보다 111배 빠르게 처리할 수 있는 인공지능(AI) 반도체가 개발됐다.

26일 업계에 따르면 한국과학기술원(KAIST)은 정명수 전기및전자공학부 교수팀이 대용량 메모리 확장이 가능한 '컴퓨트 익스프레스 링크 3.0(CXL 3.0)'을 활용해 검색 엔진용 AI 반도체를 세계 최초로 개발했다고 지난 25일 밝혔다.

최근 검색 서비스는 '근사 근접 이웃 탐색' 알고리즘을 사용한다. 이 알고리즘은 데이터의 특징을 숫자로 표현한 뒤 나열해 데이터 간의 유사도를 구하는 '특징 벡터'를 활용한다. 하지만 벡터 데이터 용량이 매우 크기 때문에 정확도가 낮다는 문제점이 있다.

연구팀은 메모리 확장이 제한되는 근본적인 문제를 해결하기 위해 CXL 기술을 적용했다. CXL은 CPU와 장치를 잇는 프로토콜로 가속기와 메모리 확장기를 고속으로 연결한다. CXL 스위치로 여러 대의 메모리 확장기를 하나의 포트에 연결할 수 있는 확장성을 특징으로 한다.

새로 개발된 AI 반도체 'CXL-ANNS'는 CXL 스위치와 CXL 메모리 확장기를 사용해 필요한 모든 데이터를 메모리에 적재할 수 있어 정확도와 성능을 동시에 높였다. 또 데이터 근처 처리 기법, 지역성을 활용한 데이터 배치 기법으로 높은 성능을 자랑한다.

연구진은 CXL-ANNS 프로토타입을 자체 제작해 실효성을 확인하고 기존 연구들과 비교했다. 마이크로소프트, 메타, 얀덱스 등 글로벌 IT 기업에서 공개한 검색 데이터 셋을 사용한 ANNS 성능 비교에서 기존 연구들 대비 평균 111배 성능 향상이 있었다. 특히 마이크로소프트의 상용화된 서비스에서 사용되는 방식과 비교했을 때 92배 성능 향상을 보여줬다.

정명수 교수는 "CXL-ANNS는 기존 검색 엔진의 문제였던 메모리 용량 제한 문제를 해결하고 CXL 기반 메모리 확장이 실제 적용될 때 발생하는 메모리 접근 시간 지연 문제를 해결했다"며 "검색엔진뿐만 아니라 빅 데이터가 필요한 고성능 컴퓨팅, 유전자 탐색, 영상처리 등의 다양한 분야에도 적용할 수 있다"고 말했다.

이번 연구는 오는 7월 미국 보스턴에서 열리는 시스템 분야 최우수 학술대회인 유즈닉스 연례 회의 'USENIX Annual Technical Conference, 2023'에 'CXL-ANNS'이라는 이름으로 발표될 예정이다.