Dataiku의 LLM Mesh로 만드는 기업용 생성형 AI: 실무 적용 가이드

Solomon Park
5월 3일
4분 분량

최종 수정일: 5월 3일

최근 ChatGPT를 필두로 한 생성형 AI(Generative AI)가 빠르게 기업 현장에 침투하고 있습니다. 하지만 단순히 “생성형 AI를 도입하겠다”는 선언만으로는 부족합니다. 어떤 데이터를, 어떤 업무에, 어떻게 연결할 것인가가 관건입니다.

솔로몬텍은 이러한 고민에 대한 해답을 찾기 위해 Dataiku 플랫폼과 LLM(Large Language Model) 기반 기술을 결합하여, 실제 업무에서 즉시 활용 가능한 AI 에이전트를 만들고 있습니다. 특히 사내 HR 부문에 AI 에이전트를 시범 도입하며, 기업용 생성형 AI를 실무에 접목하고 있습니다.

Dataiku가 제공하는 LLM 통합 역량

Dataiku는 다양한 LLM 모델(OpenAI GPT, Hugging Face, Azure OpenAI, Google Gemini 등)을 플러그인 형태로 손쉽게 통합할 수 있도록 지원합니다.설치 후 몇 단계 설정만으로도 다음과 같은 작업을 바로 시작할 수 있습니다:

자연어 텍스트 요약 및 분류
이메일, 리포트 등의 초안 생성
대화형 프롬프트 기반의 분석 자동화
외부 문서 기반 질의응답 (RAG)

개발자와 비개발자 모두 활용 가능한 직관적인 워크플로우는 Dataiku의 가장 큰 강점 중 하나입니다.

Dataiku에서 지원하는 LLM 모델과 연동 방법

Dataiku의 LLM Mesh는 다양한 LLM 모델을 유연하게 연동할 수 있는 구조를 제공합니다. 이를 통해 기업은 필요에 따라 다양한 모델을 선택하고, 손쉽게 통합하여 사용할 수 있습니다.

지원하는 LLM 모델

Dataiku는 다음과 같은 LLM 모델과의 연동을 지원합니다:

OpenAI: GPT-3.5, GPT-4 등
Anthropic: Claude 시리즈
AWS Bedrock: Anthropic Claude, AI21 Labs Jurassic 등
Azure OpenAI: GPT 시리즈
Google Vertex AI: PaLM, Gemini 등
Cohere, Mistral AI, Databricks Mosaic AI, Snowflake Cortex, Stability AI 등

또한, Hugging Face를 통한 오픈소스 모델(LLaMA, Mistral 등)의 로컬 호스팅도 지원합니다.

연동 방법

Dataiku에서 LLM을 연동하는 방법은 크게 두 가지로 나눌 수 있습니다:

호스팅된 LLM API 연동
- OpenAI, Azure OpenAI, AWS Bedrock 등 외부 서비스의 API 키를 활용하여 연동합니다.
- Dataiku의 LLM Mesh를 통해 중앙에서 관리하며, 다양한 모델을 손쉽게 전환할 수 있습니다.
로컬 호스팅된 Hugging Face 모델 연동
- 사내 GPU 환경에서 Hugging Face 모델을 직접 호스팅하여 사용합니다.
- Dataiku는 컨테이너화된 실행 환경을 제공하여, 모델 실행을 간편하게 지원합니다.

이러한 연동을 통해 기업은 보안, 성능, 비용 등의 요구사항에 맞춰 최적의 LLM 환경을 구축할 수 있습니다.

LLM Mesh: 유연하고 안전한 LLM 게이트웨이

LLM Mesh는 다양한 대형 언어 모델(LLM)과 생성형 AI 서비스를 통합 관리하는 보안 API 게이트웨이로, 다음과 같은 주요 기능을 제공합니다.

멀티 LLM 전략 지원: OpenAI, Anthropic, Cohere, Hugging Face 등 다양한 LLM 제공업체와 통합되어, 특정 모델에 종속되지 않고 유연하게 선택할 수 있습니다.
보안 및 거버넌스 강화: Dataiku Safe Guard를 통해 개인 식별 정보(PII) 및 민감한 데이터를 자동으로 탐지하고 마스킹하거나 차단할 수 있습니다.
비용 및 성능 모니터링: Cost Guard를 통해 LLM 사용 비용을 추적하고, Quality Guard를 통해 응답 품질을 평가하여 예산 초과나 품질 저하를 방지합니다.
RAG 및 벡터 스토어 통합: Pinecone, FAISS, ChromaDB 등과의 통합을 통해 검색 기반 생성(RAG) 기능을 구현할 수 있습니다.

AI Agent: 맞춤형 에이전트 개발 및 운영

Dataiku는 비즈니스 요구에 맞는 AI 에이전트를 개발하고 관리할 수 있는 다양한 도구를 제공합니다:

비주얼 및 코드 기반 에이전트 개발: 비개발자도 사용할 수 있는 비주얼 에이전트 빌더와, 개발자를 위한 코드 기반 에이전트 개발 환경을 모두 지원합니다.
LangChain 통합: LangChain과의 통합을 통해 외부 데이터베이스 접근, 웹 검색 등 복잡한 작업을 수행하는 에이전트를 구축할 수 있습니다.
Agent Connect: 여러 에이전트를 하나의 인터페이스로 통합하여, 사용자가 특정 에이전트를 알지 못해도 필요한 작업을 수행할 수 있도록 지원합니다.
Trace Explorer 및 품질 관리: 에이전트의 작동 과정을 시각적으로 추적하고, LLM-as-a-judge 기법을 통해 응답의 정확성과 관련성을 평가합니다.
GenAI Registry: 에이전트와 LLM의 사용 현황을 중앙에서 관리하고, 배포 전 검토 및 승인을 통해 거버넌스를 강화합니다.

Dataiku 통합 플랫폼으로의 이점

Dataiku의 LLM Mesh와 AI Agent 기능은 다음과 같은 이점을 제공합니다:

유연한 모델 선택: 다양한 LLM을 자유롭게 선택하고 교체할 수 있어, 기술 변화에 빠르게 대응할 수 있습니다.
강력한 보안 및 거버넌스: 민감한 데이터 보호와 규제 준수를 위한 기능이 내장되어 있습니다.
개발자와 비개발자 모두를 위한 도구: 코드 기반 및 비주얼 도구를 모두 제공하여, 다양한 사용자층이 협업할 수 있습니다.
지속적인 품질 개선: 에이전트의 성능을 지속적으로 모니터링하고 개선할 수 있는 평가 및 피드백 메커니즘을 제공합니다.

Dataiku의 LLM Mesh와 AI Agent 기능은 기업이 생성형 AI를 안전하고 효율적으로 도입하고 확장할 수 있도록 지원하는 강력한 도구입니다. 특히, 다양한 LLM과의 통합, 강력한 거버넌스 기능, 사용자 친화적인 개발 환경은 기업의 AI 전략 수립에 큰 도움이 될 것입니다. 더 자세한 정보는 Dataiku 공식 웹사이트에서 확인하실 수 있습니다.

솔로몬텍 사례: HR AI 에이전트 개발기

솔로몬텍은 내부 과제로 클라우드 기반의 Dataiku 환경에서 HR AI 에이전트를 구축하여 운영하고 있습니다. 이 에이전트는 다음과 같은 기능을 수행합니다:

사내 IT/HR 정책 요약: 직원이 올린 질문에 대해 관련 규정(PDF, Word 등)을 RAG 기반으로 분석하고 응답
신입사원 온보딩 가이드 제공: Dataiku에 연결된 그룹웨어 메시지 및 매뉴얼을 기반으로 FAQ 자동 응답
라이선스 및 자산 요청 자동화: 직원의 요청 내용에 맞는 양식을 자동 생성하고 승인 요청 흐름으로 연결

이 프로젝트는 별도의 백엔드 개발 없이도 Dataiku의 LLM 플러그인, Python 코드 환경, 앱(App Builder) 기능을 활용해 구현되었습니다.직관적인 인터페이스와 유연한 클라우드 환경 덕분에 빠른 구축과 확장이 가능했습니다.

보안과 운영 고려사항

기업 환경에서 LLM 도입 시 다음 요소를 고려해야 합니다:

API 기반 외부 LLM 사용 시 데이터 전송 리스크
Hugging Face 등 오픈모델의 클라우드 실행 시 보안 설정 중요
Dataiku의 사용자 권한 제어, 데이터 마스킹, 감사 로그 기능 활용

솔로몬텍 역시 보안이 적용된 클라우드 환경에서 AI 기능을 구성하여, 데이터 통제와 유연성을 모두 확보하였습니다.

결론: AI 도입, 지금 시작할 수 있습니다

이제 생성형 AI는 더 이상 “미래 기술”이 아닙니다.업무 현장에서 바로 쓸 수 있는 실용 도구로 진화하고 있으며, Dataiku는 이를 실현할 수 있는 가장 강력한 플랫폼 중 하나입니다.

솔로몬텍은 Dataiku 기반의 LLM 도입을 통해 실제로 업무 자동화와 직원 생산성 향상을 이뤄가고 있습니다.PoC에서 구축, 운영에 이르기까지 전 과정을 지원해 드릴 수 있습니다.

지금 시작하세요

솔로몬텍은 Dataiku와 생성형 AI를 결합한 업무 혁신을 지원합니다.지금 바로 전문가와 상담해보세요.