머신러닝 디자인 패턴 by 발리아파 락시마난(Valliappa Lakshmanan)

[ 밑줄/연결 ]
 
디자인 패턴이란 일반적으로 발생하는 문제에 대한 모범 사례와 솔루션을 추려낸 패턴을 가리키는 공학 용어다.
전문가의 지식과 경험을 모든 실무자가 따를 수 있는 조언으로 가공한 것이기도 하다. 
---> IT업계에서 <패턴>이 정리되어 논문/책으로 공유된 것은 오래 되었다. 주로 사업이나 서비스 기획 중심의 일을 해 왔던 나도  IT업계에서 <패턴>이란 용어를 처음 접한 것도 꽤 오래 전이다. 아마 가장 오래 전에 읽었던 책은 2003년 나왔던 아래 책이 아닐까 싶다. 가장 유명한 것은 역시 <Erich Gamma>의 책이리라..

---> 2025년 늘 반복되는 현상에 대한 국내의 대응..."왜 우리 한국은 딥시크 같은 걸 못 만드나?"라는 질문에 과도한 정부 규제/제도탓, 인재탓, 자금탓 등 내가 밥벌이 시작하던 1990년 대 김대중 정부시절의 IT시절의 언어가 또 나온다. 
--- > 이런 책을 보면 늘 놀란다. 이런 것이 생태계란 것의 진정한 모습이고, 힘이다. 이런 것을 배우고 가치를 경험하지 못한 사람들은 늘 저런 문제/해법 탓을 한다. 
 
 
(ML 수명 주기)
머신러닝 솔루션을 구축하는 것은 비즈니스 목표를 명확하게 이해하는 것에서부터 시작하여 궁극적으로 해당 목표에 도움이 되는 머신러닝 모델을 프로덕션 환경에 포함시키는 순환 프로세스다.

 
(전술 단계 : 수동 개발)
단기 프로젝트에 중점을 두고 AI의 잠재력을 모색하기 시작한 조직에서 흔히 나타남
개념 증명이나 프로토타입처럼 일부 사례에 국한

 
(전략 단계 : 파이프라인 활용)
조직의 AI 비즈니스 우선 순위 및 목표를 일치시킴. ML은 비즈니스에 있어 핵심 가속 엔진으로 간주됨
숙력된 팀과 전략적 파트너가 실행하는 ML 프로젝트에 대해 고위 경영진이 후원이나 전용 예산을 할당함
개발 자산 쉽게 공유, 즉시 사용 가능한 모델과 커스텀 모델 활용하는 ML 시스템을 개발할 수 있는 인프라 마련됨
ML모델 개발은 오케스트레이션된 실험의 일환으로 진행됨
 
학습, 평가, 배치 예측을 위한 ML 워크플로는 자동화된 파이프라인에 의해 관리되므로, 데이터 검증과 준비 작업에서부터 모델 학습 및 검증에 이르기까지 ML 수명 주기의 각 작업은 성능 모니터링 트리거에 의해 실행됨
 
로깅, 성능 모니터링, 알림이 있는 프로덕션 환경에 배포 및 유지되는 여러 ML 시스템이 있을 수 있음

 
(혁신 단계: 완전 자동화)
AI를 적극적으로 사용하여 조직의 혁신을 촉진하며 민첩성을 지원하는 동시에, 실험과 학습이 진행되는 문화를 육성함
재현성 패턴과 탄력성 패턴은 보통 AI 혁신 단계에서 많이 사용되는 편
표준 도구와 라이브러리는 물론, 확립된 공통 패턴과 모범 사례는 조직 내 여러 그룹에 쉽게 공유됨
데이터셋은 쉽게 검색, 공유, 재사용할 수 있음
모델의 구축에서 배포까지 조직의 모든 사람이 엑세스할 수 있는 통합 플랫폼을 운영함
 
ML워크폴로의 각 작업마다 CI/CD의 통합을 진행함
CI/CD는 ML모델은 물론 데이터 파이프라인, 오케스트레이션을 생성하기 위한 코드의 안정성, 재현성과 버전 관리에 중점을 둠. 이를 통해 다양한 파이프라인 컴포넌트의 빌드, 테스트, 패키징이 가능하다. 

 
(사용 사례와 데이터 유형에 따른 일반적인 패턴)

 

 
ㅇ 멀티라벨
ㅇ 중립 클래스
ㅇ 원도 추론
ㅇ 배치 서빙
 
 
[ 자평 ]
 
한창 AI를 공부하던 직딩시절에 읽었던 책 중 버리지 않고 아직도 소장하고 있는 책 중 하나.
 
3명의 구글 엔지니어가 쓴 원작 <Machine Learning Design Patterns: Solutions to Common Challenges in Data Preparation, Model Building, and Mlops>은 2020년에, 번역본은 2021년에 나왔다.
 
읽은 당시 다 이해는 하지도, 할 필요성도 없었지만 "벌써 미국은 머신러닝에 대한 패턴"까지 정리한 책이 나와서 공유하는 수준이라는 감탄을 했던 기억이 난다.
 
요즘 '딥시크' 뜨다 보니 여기 저기 이 분야 전문가라는 분들이 '학습'보다 추론이 중요하다. 고사양 추구보다 '최적화'가 중요하다 등 마찬 해법을 안다는 듯이 훈숫만들이 많다.

물론 이 분야 경험해 본 기술자 출신들이야 알겠지만, 저렇게 말하는 분들 중에서 '0/1'이라는 숫자만 인식하는 컴퓨터가 '추론'을 어떻게 하는지? '최적화'를 어떻게 하는지? 대강의 원리는 알고 저렇게 말할까?라는 의문이 들었다.
 
(참고: 최재강님의 학습/추론에 대한 짧은 글)
 
"학습과정의 특징은 축적된 많은 데이터를 바탕으로 각 신경망들의 Weight를 업데이트 해가며 딥러닝 모델을 만들어 가는 과정이다.
반면 추론(Inference)은 학습을 통해 만들어진 모델을 실제로 새로운 입력 데이터에 적용하여 결과를 내놓는 단....
추론 과정에서는 순방향 전파만이 일어난다."

이 정도는 나도 아는데 결국 딥시크가 건드린 것처럼   CUDA가 제공하는 라이브러리만 사용하지 않고 어셈블리 수준까지 건드리면서 알고리즘 처리 최적화까지 구현한다는 것은 HW부터 꽤고 있는 고수/천재 집단들이 모여야 하는 일이라 말처럼 쉽지 않을 것이다.

마치 이 말은 노벨 문학상 어떻게 받을 수 있어?
응. 좋은 인류사적인 주제를 잘 잡아서 한강보다
더 좋은 책를 써서 한강보다 국제적으로 더 많이 팔면 돼.
라고 답하는 것과 같은 것이다.

말은 방구가 아닌 것이다.
 
[DL] 딥러닝 추론이란?

[DL] 딥러닝 추론이란?

 

 
그냥 우리는 왜 딥시크 같은 것 못 만들어야 하면, '공격적/적극적 정부 지원 정책'이 없구요...'과도한 규제'가 문제구요...
특히 인재가 없어요 라는 그 나물에 그 밥인 지적질과 해법만 또 난무하는구나 이런 생각만 든다.
 
적어도 내가 숫자 0과 1만 인식하는 기계(컴퓨터)라 치고 학습과 추론은 작동원리를 알려면 최소한 아래 3가지를 알고 있어야 하는 것 같다. 
ㅇ 기계가 어떻게 패턴을 인식하는가 (패턴인식)
ㅇ 이전에 본 적이 없는 정보에서 어떻게 저 패턴을 사용하여 새로운 결론을 도출하는가 (의사결정알고리즘, 확률에 의한 추정)
ㅇ 새로운 데이터에 대하여 기존의 패턴을 어떻게 변경하는가(모델링과 학습)

이제 시간이 좀 되었으니 딥시크도 받아서 뜯어 해 보고 분석해서 해설해 주는 국내 고수가 나오지 않을까 싶다.

지금 방송이나 신문에 나와서 허접스러운 수준의 말이나 글을 하는 사람의 수준은 넘는, 그런 분들 우리 나라도 아직 많기에 분명이 곧 나올 듯.
 
나도
2025년 시간을 좀 내서 욕심이 생겨서, '예측'이나 '(통계확률적)추론'쪽을 좀 더 공부해 볼 생각이다.