Life Logs && *Timeline

  • 제1회 산만한 개발자 모임 후기

    한 동안은 내가 후기를 쓸 것 같다. 모임 장소와 춘식이 천연 미네랄 해양심층수와 커피, 라테 등 16개의 음료를 지원해 주신  EXCorp에 감사를 드린다. 상당히 많은 내용, 고급진(?) 대화가 오갔다. 돈이 되는 이야기 있네 돈과 관련되다 보니 매우 세속적이고 속물적인 이야기도 많았다. 특히 시행사 하는 분이 오셔서, 부동산과 PF 이야기가…

    명단 : 비공개, 사진 : 안 찍음, 촬영/녹음 : 안 함. 장소 : 판교 *** 14시~22시, 가장 멀리서 오신 분 : 진주

    독자들께 도움 될 모임 한 줄 요약

    모임 대화 자체가 강력한 챗봇 프롬프트

    2줄 요약하면, 다들 돈 버는데 관심이 많아서, “돈 버는 아이디어의 향연?” 정도를 추가할 수 있음.


    우선, 모임 지속성에 대한 내용 : 

    1. 지금은 시작은 HJH가 중심이니 HJH가 죽지 않는 이상 모임은 문제없음. 죽으면 총무인 KSA가 하고 리스크 관리는 차차 계획 세워서 하면 된다고 함.

    2. 미국에 계신 분은 미국 시간 아침 일찍, 8시나 9시, 한국 밤시간 10시나 11시에 하면 대부분 참석 가능할 것이고 enterprise 계정 있는 분이 google meet으로 향 후 진행.

    3. 난상 토론보다는 모임 때마다 메인이 되는 연사를 정하는 게 좋음. 특정 부분에 대해 이야기할 수 있는 사람. -> 모임이 부담될 수 있음.

    4. 여러 이야기를 하다 보니 정보 공유가 자연스러워 연사 이야기는 추 후 논의.

    5. 한 번 들은 정보에 대해서는 앞으로 나올 필요성이 없어짐 -> 돈 되는 정보 공유는 최대한 자제하고, 돈 벌었을 때만 후기 이야기하기. 그럼에도 지역이 달라서 공유하는 분이 계셨음.


    월 수천 버는 분의 부동산 관련 노하우 공개, 절세 방법 논의 -> 들어도 일반인은 따라 하기 쉽지 않음. 강남, 홍대에서 350, 500 만원 넘는 강의를 들었다고 함. 이런 강의가 있다는 것 자체가 신기했음. 이 이야기 듣다가 애드센스 이야기 나옴. 난, 10년 넘게 잘 동작하는 애드센스 감지 코드 공개 -> 필요한 분 카톡 전송 -> 요즘 다 챗봇 써서 아이디어만 달라고 함. ㅋㅋㅋ

    function errorcheck () {

    const script = document.querySelector(‘script [src*=googlesyndication]’); // 애드센스 자바스크립트 감지

    if (script) { // 애드센스 스크립트가 있다면

    script.addEventListener(‘error’, function() { //애드센스 스크립트가 에러가 뜨는지를 체크

    const adplz = document.querySelector(‘. adblockplease’);

    if (adplz) {

    const span = document.createElement(‘span’);

    span.textContent = “######################################################## print(”애드블록이 감지되었습니다.”)”;

    adplz.appendChild(span);

    }  }) } }

    errorcheck()

    다음과 같은 키워드를 다 선택하는 원리

    <script async src=”https://pagead2.googlesyndication.com/pagead/js/adsbygoogle.js”></script>

    <script>

      google_ad_client = “ca-pub-1234567890123456”;

      google_ad_slot = “9876543210”;

      google_ad_width = 300;

      google_ad_height = 250;

    </script>

    <script async src=”https://pagead2.googlesyndication.com/pagead/js/adsbygoogle.js”></script>

    <script async src=”https://pagead2.googlesyndication.com/pagead/js/adsbygoogle.js”></script>

    <script>

      (adsbygoogle = window.adsbygoogle || []). push({

        google_ad_client: “ca-pub-1234567890123456”,

        enable_page_level_ads: true

      });

    </script>


    감지 후 팝업, 모달 방식은 막히니 컨테이너에 때려 넣으면 된다는 의견 -> 집에 와서 해보니 그래도 간헐적으로 막힘. 눈팅, 관음증 있는 애들은 막을 수 있는 듯. 이런 아이디어 교환 좋다.


    딥티크 관련 기술 논의. fp32, 16, 8, bfp 등 의견 나누고 회의 중 내용 정리해서 바로 챗봇 돌리자 -> 챗봇 뭐 많이 쓰나? -> 요즘엔 클로드와 제미나이를 더 많이 씀, 특히 제미나이 구글 스프레드 시트 생성도 해줘서 엑셀도 편하게 만든다고 함. -> 네이버 크로버나 caret 써서 회의 내용 바로 정리해서 챗봇 돌리자.

    다음은 딥티크 관련 회의 챗봇 돌린 내용


    DeepSeek 기술 분석 및 검증 보고서

    DeepSeek은 기존 기술들을 간결하고 효율적으로 조합해 높은 성능을 이끌어낸 사례로 평가할 수 있습니다. 전체 코드 베이스는 54KB 규모의 6개 Python 파일로 구성되어 있어, 불필요한 복잡성을 배제하면서도 유지보수와 성능 최적화 측면에서 여러 이점을 제공합니다.

    1. 핵심 기술 분석

    1.1 아키텍처의 특징

    DeepSeek 아키텍처는 단순함 속에서 강력한 기능을 발휘하도록 설계되었습니다. 그 구조적 특징은 다음과 같은 장점을 제공합니다.   

          유지보수성 향상               

    코드가 간결하여 버그 수정 및 기능 개선이 용이합니다.         신규 개발자도 쉽게 시스템을 파악할 수 있어 학습 부담이 줄어듭니다.    

          성능 최적화의 용이함               

    코드 복잡성이 낮기 때문에 병목 지점을 쉽게 식별할 수 있습니다.         특정 성능 튜닝 포인트가 명확해 개선 작업이 수월합니다.    

    1.2 주요 기술 요소 검증

    DeepSeek는 여러 핵심 컴포넌트를 통해 효율성을 극대화합니다. 각 기술 요소에 대한 평가를 아래와 같이 정리할 수 있습니다.

    ModelArgs   

    장점              

    모델 구성에 유연성을 부여하여 다양한 실험과 튜닝이 가능합니다.    

    한계              

    하이퍼파라미터 최적화를 위한 명확한 방법론이 제시되어 있지 않습니다.         자동화된 튜닝 기능이 부족해 수동 조정에 의존해야 합니다.    

    ParallelEmbedding   

    장점              

    분산 학습 시 효율성을 크게 향상하며, 메모리 사용량도 최적화합니다.    

    주의사항              

    상대적으로 작은 규모의 작업에서는 오버헤드가 발생할 수 있습니다.         분산 환경을 구성하는 데 있어 추가적인 복잡성이 내포되어 있습니다.    

    Linear 연산 최적화   

    긍정적 측면              

    FP8 또는 BF16 같은 저 비트 포맷을 활용해 연산 효율성을 높이고, 메모리 사용을 절감합니다.    

    제한사항              

    정밀도 손실이 발생할 가능성이 있으며, 특정 하드웨어에 의존하는 경우가 있습니다.    

    MLA (Multi-Headed Attention Layer)   

    혁신적 요소              

    LoRA 기법을 효과적으로 도입해 Attention 메커니즘을 최적화하였습니다.    

    개선 포인트              

    스케일링에는 한계가 있으며, 콘텍스트 길이에 제약이 존재합니다.    

    2. 기술적 평가

    DeepSeek의 기술적 평가에서는 구현의 단순함과 효율성, 실용성 등이 주요 강점으로 드러납니다. 다만, 몇 가지 한계점도 존재합니다.

    2.1 강점   

          구현의 단순성               

    전체 코드가 804줄로 간결하게 구성되어 있어 모듈화와 가독성이 우수합니다.    

          성능 최적화               

    효율적인 병렬 처리 기법과 저 비트 연산 활용으로 연산 속도와 자원 활용률을 극대화합니다.         분산 학습 지원을 통해 확장성도 어느 정도 확보되었습니다.    

          실용성               

    이미 검증된 기술들의 조합으로 안정적인 성능을 보여, 실제 환경 적용이 용이합니다.    

    2.2 한계점   

          기술적 제약              

     기존 기술의 재조합에 머물러 있어 혁신적인 알고리즘은 부족한 편입니다.         특화된 메모리 최적화 기법이 포함되어 있지 않아, 한계 상황에서의 성능 보장이 어려울 수 있습니다.    

          확장성 문제               

    대규모 시스템으로의 확장을 고려할 때 하드웨어 의존성과 자원 요구사항이 문제가 될 수 있습니다.    

    3. 산업적 시사점

    DeepSeek의 분석은 기술 발전과 산업 전반에 걸쳐 몇 가지 중요한 시사점을 제공합니다.

    3.1 기술 발전 방향   

          단순함과 효율성의 균형              

     불필요한 복잡성을 추가하지 않으면서 성능을 지속적으로 개선하는 방향이 필요합니다.         유지보수와 확장성을 동시에 고려한 설계가 중요합니다.    

          리소스 제약 극복               

    제한된 자원을 효율적으로 활용하고, 분산 처리 기법을 더욱 발전시켜야 합니다.    

    3.2 한국 AI 산업에 대한 시사점   

          기술적 역량               

    국내 엔지니어들이 충분한 기술 구현 능력을 보유하고 있음을 보여주며, 기술력보다 환경적 요인이 주된 제약임을 시사합니다.    

          개선 필요사항               

    연구 개발(R&D) 인프라에 대한 투자를 늘리고, GPU 등 첨단 하드웨어 접근성을 개선할 필요가 있습니다.         풍부한 연구 데이터를 확보하는 것도 산업 경쟁력을 높이는 중요한 요소입니다.    

    4. 결론 및 제언

    4.1 종합 평가

    DeepSeek는 새로운 혁신 기술보다는 기존 기술들을 효과적으로 결합해 실용적인 성능을 달성한 사례입니다. 이를 통해 두 가지 핵심 메시지를 얻을 수 있습니다.   

          실용적 접근의 중요성               

    검증된 기술들을 효과적으로 활용함으로써, 복잡한 혁신보다는 실제 적용 가능한 성능 개선이 우선시 되어야 합니다.    

          리소스 활용의 효율성               

    제한된 자원 내에서도 최적화를 통해 높은 성능을 발휘할 수 있음을 보여주며, 이는 향후 기술 개발의 중요한 지침이 됩니다.    

    4.2 향후 발전 방향   

          기술 개발               

    효율성 중심의 최적화를 지속하면서, 하드웨어 제약을 극복할 수 있는 새로운 접근법을 모색해야 합니다.    

          산업 생태계 개선               

    연구 인프라 확충, 데이터 접근성 향상, 그리고 인재 육성 환경의 조성을 통해 전체 산업 경쟁력을 높여야 합니다.    

    종합적으로, DeepSeek은 “혁신적인 발명”보다는 “효율적인 엔지니어링의 성공 사례”로 볼 수 있으며, 이러한 사례는 한국 AI 산업이 나아갈 방향에 대해 중요한 시사점을 제공한다고 할 수 있습니다.


    엔비디아 주가는 금방 복구될 것이며, 관련 기사가 곧 날 거라는데 의견이 모아짐. 이런 거 모임 후기에 공개해도 되냐고 내가 물음 -> 이미 챗봇에 물어본 거면 데이터 뺏긴 것이니 공개 하나 안 하나 같다고…로 의견 수렴


    그 외 사람 사는 이야기. 경단녀(나도 처음 알았는데 경력 단절 여성이라고 함)인 분이 용기 내서 왔는데, 정말 모임 잘 왔다고 하셨음.

    가실 분은 가시고(밥 먹는데 3만 원도 많다고 생각해서 점심 식사 지나고 저녁 전에 가실 수 있도록 2시로 잡았던 것인데 앞으로도 주말 2시가 딱인 듯) 모이셨던 분 중 개인적 친분이 있는 분과는 계속 만나서 이야기함. 비대면 온라인 모임 좀 하다가 제2회 개발자 모임을 개최해야 할 것 같음. 그리고 나중에 모임 커지면 각개 분과로 나누어서 모임 알아서 하시라고 해야 할 듯. 내가 체력이 안되어서…

    개인적으로는 모임 대화 내용 자체를 AI로 수집해서 그걸 챗봇 각 회사껄 통해서 여러 번 돌리는 프롬프트로 쓴다는 것이 신박했으나 말하는 사람을 제대로 인식 못하는 현재의 상용화 제품 수준에 실망하고 하고 거기서 기회를 본 사람도 있고. 진정한 모임 유지의 비결은 남녀 비율 유지일 거라는 나이 어린 분의 말씀이 가장 와닿았던. 뭔가 재미있었던. 내가 구심점이 되는 것도 소스가 다 떨어질 수 있고 비공개 모임보다 알릴 건 알려야 한다며, 모임 때마다 연사 초청이 힘들면, 중심이 되는 사람을 정하자는 것도 맞는 말이라… 누구나 자신의 인생에 우주는 있으니.

    온라인이니 비대면이니 뭐니 해도 역시 사람은 만나야. 한다는. 결론. 온라인 보다 오프라인은 만날 때마다 돈이 드니까 다들 돈 버는 이야기를 한다는 맞는 말. 밥 먹으러 갈 사람 밥+커피 해서 각 출 3만 원은 이해할 만한 수준이지만 사람 많아지면 이벤트 us에 밥 주는 행사도 많아서 차이가 나니, 마케팅할 회사 하나 정해서 후원받는 게 낫겠다는 -> 또 여기 반대 의견들.

    일정한 선을 지키며, 서로의 의견을 나눌 수 있는 모임이 있고. 이런 모임을 통해 자주 못 보던 사람도 연락이 와서 다음 회의 때 나오겠다는 사람도 있어 좋았다.

    이래나 저래나 다른 분들도 각자 위치에서 시작하면 나쁘진 않은 듯하다.