bizbuddha

[ 밑줄/연결 ]   (아마존 웹 서비스를 활용하여 카카오톡 챗봇 만들기) (벡터의 유사도)인공지능 모델은 내부적으로 벡터의 연산으로 동작합니다. 벡터란 여러 개의 숫자가 특정 순서대로 나열된 것을 의미합니다. 텍스트 인공지능 모델은 텍스트를 입력하면 주어진 텍스트를 벡터로 변환합니다.  (텍스트 임베딩)인공지능은 텍스트를 벡터로 수치화한 뒤에 처리합니다.텍스트를 벡터화하는 과정 자체를 임베딩이라고 부르고....  챗봇은 참고할 문서들을 모두 임베딩하여 벡터로 변환한 후에 가지고 있습니다.즉 57개의 문서 각각 임베딩 벡터로 변환한 다음, 변환된 57개의 벡터를 미리 가지고 있습니다. 사용자 질의를 임베딩하여 벡터로 변환하고, 사용자의 질의 벡터와 57개의 문서 벡터에 대해서 각각 유사도를 계산합니다. ..

[ 밑줄/연결 ] (3장? 이슈를 모아서 정리해 주는 챗봇 기반 자연어 처리 서비스)  언어 모델 : 단어나 문장, 문단 단위로 자연어 데이터를 입력받은 후, 다음에 올 단어나 문자열을 예측하는 모델입니다. 문장 생성, 기계 번역, 음성 인식 등 여러 응용 분야에서 사용됩니다.  모델이 API 형태로 제공될 경우 "전처리 -> 모델 추론 -> 후처리"과정까지 제공하기 때문에, 직접 모델 추론의 전 과정을 구현할 필요가 없다는 장점이 있습니다.  openai : OpenAI에서 제공하는 파이썬 패키지. Open AI의 다양한 모델을 API 서비스 형태로 쉽게 사용할 수 있도록 도와주는 도구.  JSON 형식은 키-값 구조이므로 파이썬에서는 딕셔너리 타입으로 변환되어 사용합니다.  [ 자평 ] 어떠한 매커니..

[ 밑줄/연결 ] 디자인 패턴이란 일반적으로 발생하는 문제에 대한 모범 사례와 솔루션을 추려낸 패턴을 가리키는 공학 용어다.전문가의 지식과 경험을 모든 실무자가 따를 수 있는 조언으로 가공한 것이기도 하다. ---> IT업계에서 이 정리되어 논문/책으로 공유된 것은 오래 되었다. 주로 사업이나 서비스 기획 중심의 일을 해 왔던 나도 IT업계에서 이란 용어를 처음 접한 것도 꽤 오래 전이다. 아마 가장 오래 전에 읽었던 책은 2003년 나왔던 아래 책이 아닐까 싶다. 가장 유명한 것은 역시 의 책이리라..---> 2025년 늘 반복되는 현상에 대한 국내의 대응..."왜 우리 한국은 딥시크 같은 걸 못 만드나?"라는 질문에 과도한 정부 규제/제도탓, 인재탓, 자금탓 등 내가 밥벌이 시작하던 1990년 대 ..

[ 밑줄/연결 ]  실젝 AI 프로젝트를 진행하려면 업무상 요구 조건에 맞는 처리 패턴을 선택하는 것이 중요하다. (AI 프로젝트를 성공시키기 위한 프로젝트 초기 요령) AI 시스템이 IT 시스템과 다른 가장 본질적인 개발상의 세 가지 차이점...ㅇ 업무 분야가 처리 패턴에 적합해야 함ㅇ 지도 학습은 정답 데이터를 구하는 것이 가장 중요함ㅇ AI는 정확도 100%를 달성할 수 없음  [ 자평  ] 2021년에 번역된 책으로 파이썬 으로 아래와 같은 머신러닝을 구현하는 방법에 대하여 알려주는 개발자용 책이다.지도 학습: 분류, 회귀, 시계열 분석비지도 학습 : 연관 분석, 클러스터링, 차원축소 다시 읽어 보니 5장. ㅇ 영업 성공 예측(분류)ㅇ 날씨를 이용한 매출 예측(회귀)ㅇ 추천 상품 제안(연관 분석)..

[ 밑줄/연결 ] (SOA와 마이크로서비스) 단순한 기능을 하향식 분해해서 설계하는 구조적 방법론 --> 객체 단위로 모듈화하기 위한 객체지향 방법론 --> 모듈화의 단위가 기능별로 재사용할 수 있는 좀 더 큰 콤포넌트가 되는 CBD(Component Base Development) --> 컴포넌트를 모아 비즈니스적으로 의미 있고 완결적인 서비스 단위로 모듈화하는 SOA(Service Oriented Architecture)로 이어지는 발전과정을 거쳤다. 마틴 파울러가 정의한 마이크로서비스 개념...각 서비스와 저장소는 다른 서비스 및 저장소와 격리돼 있으며, API를 통해서만 느슨하게 연계된다. 따라서 독립적으로 확장 가능하고 하나의 서비스만 독립적으로 배포 가능하다. 또한 다른 서비스와 연계된 API..

[ 밑줄/연결 ] (알고리즘 : 우리 앞에 있는 천재의 구성 요소) 알고리즘이란 문제를 푸는 데 필요한 단계의 순서를 명확히 명시하는 구체적인 계산법이다.각 단계는 절대적으로 정확해야 하며 어떤 인간적 직관이나 추론도 요하지 않는다....알고리즘은 기능은 입력 내용에 상관없이 늘 작동한다. 수학과 물리학 같은 일반 과학 분야에서 중요한 결과는 대개 하나의 공식으로 포착된다....컴퓨터과학에서 위대한 아이디어는 일반적으로 (물론 알고리즘을 이용해) 문제를 푸는 방법을 기술한다.  지금껏 가장 천재적이고 영향력 있는 컴퓨터과학 알고리즘의 하나.....공개 키 암호화.. 공개 키 암호화의 진정한 힘은 (사용할 코드에 비밀스럽게 합의할 기회가 없었음에도) 수신자만 해독할 수 있는 비밀 코드를 이용할 수 있다는 ..

[ 밑줄/연결 ] "우리가 만들어낸 세상은 우리 생각의 산물이다.우리의 생각을 바꾸지 않으면 세상도 바뀌지 않는다. "   - 알베르트 아인슈타인 그녀는 자신만의 디지털 접근법을 발판으로 농업과 관련된 모든 데이터를 수집하고 분석하는 회사를 세웠다. 회사 이름은 그로 인텔리전스였다. ----> 관심이 있어 찾아 봤는데, CEO에 대한 기사는 있는데, 회사 웹 사이트가 없어 졌나 보다. How Gro Intelligence is Fighting World Hunger with Tech | Columbia Magazine How Gro Intelligence is Fighting World Hunger with TechThe company, founded by Sara Menker ’12BUS, seeks ..

[ 밑줄/연결 ] 2025년 AI는 수익을 검증해야 하는 한 해가 될 것이다. 기업의 디지털 트랜스포메이션은 AIX(AI Transformation)로 더욱 고도화되며 이를 돕는 다양한 기업형 솔루션이 사업 기회를 맞이할 것이다. AI 진화는 LLM에서 LMM, 나아가 LAM(Large Acion Model, 대규모 행동 모델)으로 발전하면서 더욱더 많은 하드웨어에 스며들 것이다. AI 인프라는 크게 칩셋, 서버, 클라우드, LLM 4가지로 구분할 수 있다. (AI솔루션)AI서비스가 급부상하려면 서비스 개발과 운영에 필요한 솔루션이 필요하다. 솔루션의 종류를 구별하면 (LLM원천 기술의 개발과 구축) : AI모델인 LLM을 개발하는 것ㅇ 개발 도구 : AI 모델을 설계, 프로그래밍하는 데 필요한 도구...

[ 밑줄/연결 ] 1단계 문서 저장(1) 임베딩을 위한 문서 저장 : 관리하기 더 쉽게 하기 위해 어떤 문서든 청크로 나눕니다.(2) 의미 정보를 인코딩하기 위해 텍스트 임베딩 생성 : OpenAI 임베딩(3) 나중에 퀴리가 주어졌을 때 검색할 수 있도록 임베딩을 데이터베이스에 저장: 파인콘 2단계 문서 검색(1) 사용자에게 전처리되고 정리할  있는 쿼리 : FastAPI(2) 후보 문서 검색 : OpenAI 임베딩 + 파인콘(3) 필요한 경우 후보 문서 재순위화 : 크로스-인코더(4) 최종 검색 결과 반환 : FastAPI [ 자평 ] 원서는 2023년 9월, 번역서는 2024년 2월 나왔다.그 당시에는 몰랐는데 2024년 12월 18일 재독하면서 보니 이리  내용이나 내용을 전달하는 기술 방식에서 낡..

[ 밑줄/연결 ] 딥러닝 을 '서빙(Serving)'..학습을 완료한 Custom 모델로 추론을 통해 서비스를 하는 것을 의미합니다. 즉, 모델의 추론 결과를 클라이언트에게 전달하는 것을 '서빙'이라고 합니다. (SageMaker 파이프라인)AWS SageMaker 모델 빌드 파이프라인은 JSON으로 정의된 일련의 상호 연결된 단계입니다.DAG(Directed Acycle Graph, 방향성 비순환 그래프)를 사용하여 파이프라인을 인코딩합니다. 이 DAG는 파이프라인 각 단계 간의 요구사항 및 관계에 대한 정보를 제공합니다. DAG 구조는 단계 간의 데이터 종속성에 의해 결정됩니다. 이러한 데이터 종속성은 단계 출력의 속성이 다른 단계의 입력으로 전달될 때 만들어집니다. 예를 들면 백엔드 서비스와 프론..