3/19일 콘래드 서울에서 열린 타란툴라 AI 데이터 플랫폼 전략 세미나를 가장 잘 요약한 기사 글을 공유합니다.
‘타란툴라 AI 데이터 플랫폼 전략’ 세미나 성료
‘타란툴라 AI 벡터DB’ 소개 ··· 4월 공식 출시
넥스트레이드, ‘타란툴라 레이크하우스’ 구축 사례 공개 ··· ‘비용·성능‘ 모두 만족
[데이터넷] AI 데이터 플랫폼 전문기업 유엔넷(대표 김주섭)이 ‘타란툴라(Tarantula) AI 데이터 플랫폼 전략’ 세미나를 개최하고, AI 시대 최적의 빅데이터 플랫폼으로 ‘타란툴라 레이크하우스(Lakehouse)’ 소개와 함께 금융권에서 검증된 실구축 사례를 공개를 통해 생성형 AI 시대에 필요한 데이터 활용 방법을 제시했다.
김주섭 유엔넷 대표는 “이제 AI의 경쟁력은 모델이 아니라 데이터에서 나온다는 말처럼 기업이 보유하고 있는 데이터가 성능에 직접적인 영향을 미치는 시대가 됐다”며 “유엔넷의 타란툴라 데이터 플랫폼이 고객사의 데이터 전략을 고도화하고 미래를 함께 하는 솔루션이 되기를 바란다”고 인사말을 전했다.
AI와 데이터 연결하는 혁신 플랫폼 ‘타란툴라 AI 벡터DB’ 출시 초읽기
이강일 유엔넷 전무는 AI를 위한 DB의 진화를 주제로 ‘타란툴라 AI 벡터DB’를 소개했다. 데이터의 통합이나 품질이 AI 프로젝트의 성패를 좌우하게 되면서 기존 RDB 환경에서 확장된 개념으로 ‘타란툴라 AI 벡터DB’를 개발한 유엔넷은 파이널 테스트를 거쳐 오는 4월 정식 출시할 예정이다.
‘타란툴라 AI 벡터DB’는 기존 DB가 단어 그대로를 검색하는 방식이라면 벡터DB는 문장의 의미나 맥락을 이해해 유사한 정보를 찾아주는 것이 특징이다. 이를 활용하면 AI가 보다 정확한 답변을 생성할 수 있다.
특히 기업 내부 문서나 데이터 기반으로 답변을 제공하는 생성형 AI 서비스에 효과적으로 활용될 수 있다. 또한 기존 DB 환경과 연동해 사용할 수 있어 별도의 시스템을 새로 구축하지 않고도 AI 기능을 확장할 수 있다.
‘타란툴라 AI 벡터DB’는 온프레미스 환경에서도 안정적으로 운영할 수 있어 보안이 중요한 금융권이나 공공기관에서도 활용이 가능하며, 대규모 데이터 환경에서도 빠른 검색 성능을 제공하도록 설계됐다.
이강일 전무는 “유엔넷은 데이터 저장 및 관리 분야의 국내 최고 수준의 기술력을 보유하고 있을 뿐 아니라 올해 20곳 이상의 전문 파트너들과 협업하는 에코 시스템을 만들어 고객 지원에 역량을 집중하고 있다”며 “이를 기반으로 타란툴라 AI 벡터DB는 AI/ML 등과 긴밀히 융합될 수 있도록 데이터를 연결하는 혁신 플랫폼으로 자리매김해 나갈 것”이라고 말했다.
AI 시대 최적의 통합 빅데이터 플랫폼 ‘타란툴라 레이크하우스’
유엔넷은 AI 시대 최적의 통합 빅데이터 플랫폼으로 ‘타란툴라 레이크하우스’ 소개와 함께 국내 최초 대체거래소(ATS) 기반 금융 데이터 기업 넥스트레이드(NEXTRADE)에서 검증된 구축 사례를 공개했다.
레이크하우스는 기존 데이터 웨어하우스(DW)의 관리 기능과 데이터레이크의 확장성을 결합한 차세대 데이터 저장 및 처리 기술로, 대량의 정형·비정형 데이터의 처리 성능 극대화는 물론 데이터 정합성을 보장한다.
트리노, 아이스버그, 민아이오, 타란툴라 BIDB 등 다양한 기술로 구성된 ‘타란툴라 레이크하우스’ 플랫폼은 온프레미스를 기반으로 오브젝트 스토리지에 데이터를 안전하게 통합 저장할 수 있을 뿐 아니라 스토리지와 컴퓨팅을 분리한 아키텍처가 강점으로 손쉽게 용량 및 성능을 확장할 수 있다. 또한 초고속 병렬 통합 쿼리로 데이터를 빠르게 수집하고, 오브젝트 기반 프로토콜과 API를 지원해 AI/ML 확장도 용이하다.
넥스트레이드의 ‘타란툴라 레이크하우스’ 구축 사례는 금융권 고객의 많은 관심을 보였다. 넥스트레이드는 하루 12시간 동안 국내 주식을 거래할 수 있는 새로운 시장을 만들며 투자자에게 더 길어진 거래 시간과 다양한 시장 접근성을 제공하는 역할을 하며 처리하는 데이터 규모가 상당하다.
넥스트레이드는 하루 평균 약 15조원 규모의 거래를 처리하고, 최근에는 하루 50조원 이상의 거래가 발생하는 시스템을 운영하고 있다. 이 과정에서 발생하는 데이터 규모도 상당해 하루 약 120GB, 연간 30~40TB에 달하는 데이터가 계속 쌓였다. 즉 거래 시스템은 주문과 체결을 처리하는 운영 시스템인 동시에 엄청난 양의 데이터를 만들어내는 생산 시스템인 셈이다.
넥스트레이드는 시작부터 금융권의 전통적인 표준이라고 할 수 있는 오라클이 아닌 오픈소스를 선택했다. 당시 오픈소스를 메인 RDB로 사용하는 금융사는 거의 없어 신중에 신중을 기한 끝에 고가용성, 확장성이 뛰어난 포스트그레SQL(PostgreSQL) 기반의 타란툴라 DB를 바탕으로 주요 시스템을 안정적으로 운영하고 있다. 무엇보다도 비용 효율성 측면에서 상당한 이점을 얻고 있다.
넥스트레이드는 거래 시스템이 안정적으로 운영되고, 하루 약 120GB 정도의 데이터가 생성되면서 새로운 과제가 생겨났다. 시스템이 안정적으로 운영되다 보니 데이터를 단순히 저장하는 것이 아니라 분석에도 활용하고자 하는 니즈가 생겨났고, 데이터 증가에 따른 RDB 성능 챌린지도 시작됐다.
이에 2~3년 후 검토하려던 분석 시스템을 오픈 만 1년도 되기 전에 준비하게 되면서 데이터를 어떻게 가성비 있게 보존하고 또 어떻게 활용할지를 고민하게 됐다. 스토리지 증설, 상용 솔루션을 추가 도입 등 여러 방안을 검토한 끝에 ‘타란툴라 레이크하우스’를 선택하게 됐다.
최현식 넥스트레이드 수석은 “타란툴라 레이크하우스는 대용량 데이터 분석에 최적화된 구조였고, 다른 오픈소스 솔루션과의 연동을 고려했을 때 유연성 측면에서도 유리했고, 비용도 다른 솔루션 대비 약 20% 수준으로 크게 줄이면서도 데이터 분석이 원활하게 이뤄져 만족스럽다”고 말했다.
넥스트레이드, ‘타란툴라 레이크하우스’ 구축 ··· 비용 절감·성능 극대화 ‘일석다조’
넥스트레이드는 도입을 위해 실제 매매 체결 데이터를 사용해 대용량 데이터 분석 성능을 검증했다. 타 솔루션 대비 조회 성능이 월등히 우수했고, 집계 작업을 가장 빠르게 처리할 수 있음을 확인해 분석 업무 전반을 효율적이고 안정적으로 처리할 수 있는 확신을 얻었다.
특히 아이스버그 테이블 포맷을 사용해 데이터 압축률이 매우 우수해 뛰어난 저장 효율로 인해 데이터 장기 보존 요건도 충족시켰고, 데이터 사업을 위해 도입한 클라우드 기반 스노우플레이크도 오픈 카탈로그 방식을 통한 데이터 연동을 검증해 잘 동작하는 것을 확인했다. 또한 커스터마이징도 용이해 여러 구성 요소 간 상관관계와 핵심 지표를 한눈에 파악하기 위해 별도로 제작을 요청한 대시보드를 활용해 지속적인 모니터링 체계도 구현할 수 있었다.
지난해 11월 시작된 ‘타란툴라 레이크하우스’ 구축은 인프라 구성에서 애플리케이션 개발, 데이터 마이그레이션까지 포함해 약 4개월 정도가 소요됐다. 현재 별도의 DW를 두지 않고 분석 환경을 운영 중으로, 향후 매매 체결 외에 다른 DB까지 분석 영역을 확장할 예정이다. 또 AI 모델 학습 연동이나 데이터 판매 같은 영역으로도 활용 범위를 넓혀갈 계획이다.
최현식 넥스트레이드 수석은 “타란툴라 레이크하우스는 대용량 데이터 분석에 최적화된 구조였고, 다른 오픈소스 솔루션과의 연동을 고려했을 때 유연성 측면에서도 유리했고, 비용도 다른 솔루션 대비 약 20% 수준으로 크게 줄이면서도 데이터 분석이 원활하게 이뤄져 만족스럽다”고 말했다.
그는 “구축 과정에서 시행착오를 거치며 아키텍처를 실제 데이터 흐름에 맞게 어떻게 구현하느냐가 성능을 크게 좌우한다는 사실과 레이크하우스가 모든 시스템에 다 적합한 것은 아닌 만큼 각 기술이 적합한 영역을 구분해서 사용하는 것이 현실적이라는 교훈도 얻었다”며 “또한 레이크하우스를 운영하며 오픈소스 생태계와 AI의 결합과 같은 예상치 못했던 장점도 있었는데, 오픈소스 기반 아키텍처다 보니 문제 발생 시 참고할 수 있는 레퍼런스가 굉장히 많았고, 대화형 AI 서비스를 활용해 문제 해결 방법을 빠르게 찾을 수 있었다”고 덧붙였다.
‘타란툴라 레이크하우스’ 도입 이후 넥스트레이드는 눈에 띄는 성과를 얻고 있다. 데이터 저장 비용을 줄이면서도 수억 건 이상의 데이터를 안정적으로 분석할 수 있게 됐을뿐 아니라 운영 시스템과 분석 환경을 분리해 안정성을 높일 수 있었다. 또한 클라우드와 연계해 데이터 활용 범위까지 한층 넓힐 수 있었다.
뿐만 아니라 데이터 접근 방식에도 변화가 생겼다. 데이터 분석이 특정 부서의 전유물에 가까웠지면 현업 부서에서도 직접 데이터를 조회하고 분석할 수 있는 환경이 조성되면서 조직 전체의 데이터 활용도가 높아졌다는 평이다.
레이크하우스가 클라우드와 연동돼 하나의 데이터 생태계로 동작한다는 사실도 장점이다. 온프레미스에는 상대적으로 저렴하고 안전하게 데이터를 보관할 수 있게 됐고, 민감 정보를 제외한 정제된 데이터만 클라우드와 연동되기 때문에 금융 규제 요건 대응이나 서비스 확장 측면에서 유리했고, 불필요한 원천 데이터 전체를 그대로 전송하지 않기 때문에 비용 역시 절감된다.
최 수석은 “예전에는 데이터 공간이 곧 비용이었지만 레이크하우스의 저장 비용이 이전 대비 100분의 1 수준으로 낮아지면서 데이터 복제나 이동 부담이 사실상 사라져 이제 데이터는 필요하면 복제해서 활용할 수 있는 자산에 가까워졌다”며 “실제로 AI 학습을 위한 별도의 데이터 영역이 필요했을 때 데이터 셋을 비용 걱정 없이 빠르게 구성할 수 있었고, 운영 관점에서도 데이터 활용 방식 자체를 바꾸며 단순 인프라 비용 절감으로 끝나는 것이 아니라 조직이 일하는 방식까지 변화시킨다는 점에서 의미가 크다”고 전했다.
이어 그는 “현재 대규모 데이터가 생성되는 거래 시스템을 안정적으로 운영하고 있을 뿐 아니라 단순한 데이터 저장을 넘어 분석, 확장, AI 연계, 미래의 데이터 사업까지 이어질 수 있는 기반을 마련해 나가고 있다”고 덧붙였다.
김주섭 대표는 “금융권에서 실제 운영을 통해 검증된 플랫폼인 ‘타란툴라 레이크하우스’는 비용과 성능을 동시에 개선할 수 있는 현실적인 해법이다”고 강조했다.
저작권자 © 데이터넷 무단전재 및 재배포 금지
강석오 기자
출처 : 데이터넷(https://www.datanet.co.kr)
기사 원문 링크 https://www.datanet.co.kr/news/articleView.html?idxno=210248 |
