2000만원 짜리 추론용 하드웨어를 팔며, 서비스 중지하였다.(돈이 필요했다는 말)
아이디는
***(서비스 종료)
비번은
***(소비스종료)
가입해도 되는데 이메일 인증 무료로 쓰고 있어서, 하루 3명이 한계다 ^^;;
1. 로컬 서버가 얼마나 버텨줄은 모르지만 오픈 해본다. 만든지는 2주 정도 되었다. 사실, 글 업데이트 안 하는 동안 이거 하고 있었다. 이전 글에서의 모션 인식도 저번주에 한 것.
2. 요즘 AI를 만들면 중간에 생성형 AI를 붙이는게 유행이라고 해서(파이프라인에 생성성 AI 삽입) 만들어 보았다.
3. 오픈소스가 참 잘되어 있다. 모델은 페이스북의 참, 메타의 라마3다. 700억개 파라미터 모델도 올렸는데 우측 위에서 모델 선택하자 마자. 서버는 거의 죽는다.
4. 700억 개 파라미터도 이런데… 조단위 파라미터의 chatgpt가 서버 비용으로 하루 10억 쓴다는 말을 쉽게 이해할 수 있었다.
5,. 정말 ChatGPT 랑도 API 이용해서 연결해 봤다. 기존 chatGPT 서비스와 비교 불가로 빠르다. 월 단위 돈을 내는 것보다 질문한 양만큼 돈을 내는게 당연히 빠를 수 밖에 없겠다는 결론. 위 서비스에서는 오픈하기 전에 뺐다. OpenAI의 ChatGPT API 호출은 개인적으로 돈이 나가는 것이다 보니…
6. AudreyDev는 와이프 회사 이름이다. 만들다가 이건 사업 아이템이 될 수도 있겠다 해서 아예 만들 때부터 회사 이름 넣어봤다. 만들다보니 사업 아이템 하려면 트웰브랩스처럼 해야 겠다는 생각이 들었다. 클로드나 chatGPT랑 싸우는게 아니라 특화된 뭔가를 만드는 것.
https://www.aitimes.com/news/articleView.html?idxno=160339
트웰브랩스, 엔비디아 등으로부터 700억 규모 시리즈A 투자 유치 – AI타임스
7. 모델을 직접 만들어야 제목이 어그로가 안될텐데, 허깅스페이스에서 모델 받아서 자작으로 만들어보니 이건 내가 만들긴 한건가? 하는 생각이 들어서 아예 밑바닥 부터 파고 있다. AI 공부는 2014년부터 했었는데 이 도메인은 또 미치도록 집중하게 만드는 재미있는 분야다.
요즘 다루는 기술 스택은 react, node.js, fastapi, Anddroid Kotlin, Dart-flutter, iOS-Swift, 서버 인프라 등이다. 어플단하다 펌웨어 엔지니어 하다 커널 패치로 기업들 도와주다 이래저래 구르다가 결국 엔드유저 단에 안착을 할 것 같다. 신의 논리에 가까운 곳은 아니지만, 유저랑 가까우니 혼자서 이런저런 서비스를 만들고 또 오픈이 가능한 점은 좋다만… 하나만 팔 때의 재미는 없다. 스트레스풀 하기도 하지만, 머리속에 운영체제를 심으면 멀티태스킹과 쓰레딩이 가능하고 늘 우선순위를 고민해야 하기에 가중치를 두는 능력도 길러진다.
이번 글은 모션 데이터를 AI 모델에 넣는 Ingestion 단계에서 chatgpt를 고려해 봤다는 것을 기록해 두기 위함이다. chatgpt나 claude 정도 혹은 그 이상이 아니면, 나름 고민한 알고리즘에 입각해서 제품을 만드는 것이 현실성 있다는 것이 결론이다.
AudreyDev 채팅 UI와 AI 모델 통합에 대한 귀하의 접근 방식은 매우 인상적입니다. 몇 가지 생각을 공유하겠습니다:
오픈 소스 활용: Meta의 LLaMA-3와 같은 강력한 오픈 소스 모델을 활용한 것은 훌륭한 선택입니다. 이는 비용 효율적이면서도 강력한 기능을 제공할 수 있게 해줍니다.
리소스 관리: 700억 개 파라미터 모델 실행 시 서버 부하 문제를 경험하신 점은 중요한 학습입니다. 이는 대규모 AI 모델 운영의 현실적인 도전 과제를 잘 보여줍니다.
ChatGPT API 통합: API를 통한 ChatGPT 연결이 빠르다는 점은 흥미롭습니다. 사용량 기반 과금 모델의 장점을 잘 보여주는 사례입니다.
비즈니스 모델 고려: 트웰브랩스의 사례를 언급하신 것처럼, 특정 분야에 특화된 AI 솔루션 개발은 좋은 전략이 될 수 있습니다. 일반적인 AI 챗봇과 차별화된 가치를 제공하는 것이 중요합니다.
기술 스택 다양성: React, Node.js, FastAPI, Android Kotlin, Dart-Flutter, iOS-Swift 등 다양한 기술을 다루고 계신 점이 인상적입니다. 이는 풀스택 개발과 크로스 플랫폼 솔루션 개발에 큰 강점이 될 것입니다.
AI 모델 개발 접근: 기존 모델을 활용하는 것에서 시작해 점차 자체 모델 개발로 나아가는 접근법은 합리적입니다. 이는 학습 곡선을 따라가면서 점진적으로 전문성을 쌓는 좋은 방법입니다.
최종 사용자 중심 접근: 엔드유저와 가까운 곳에서 개발하는 것의 장단점을 잘 인식하고 계신 것 같습니다. 사용자 피드백을 직접 받아 개선할 수 있는 점은 큰 장점입니다.
AI와 기존 알고리즘의 균형: ChatGPT나 Claude 수준의 AI가 아니라면 기존의 잘 고안된 알고리즘을 사용하는 것이 더 효과적일 수 있다는 결론은 매우 현실적이고 합리적입니다.
전반적으로, 귀하의 접근 방식은 기술적 깊이와 비즈니스적 통찰력을 잘 결합하고 있습니다. AI 기술의 실제 적용과 그 한계를 명확히 인식하고 있는 점이 특히 인상적입니다. 앞으로의 프로젝트 발전이 기대됩니다.
답글 남기기