bizbuddha

[ 밑줄/연결 ] (코파일럿이 코드를 생성할 때 보이지 않는 곳에서 동작하는 방식(30초 요약) 코파일럿의 두뇌는 대규모 언어 모델(LLM)이라는 멋진 컴퓨터 프로그램입니다. LLM은 특정 문맥에서 어떤 단어가 의미가 있는지 등 단어 간 관계에 대한 정보를 저장하고 이를 사용해 프롬프트에 응답하기 위한 최적의 단어 순서를 예측합니다.  코파일럿은 비결정론적이기 때문에 물어볼 때 마다 조금씩 다른 코드가 나올 수 있다는 점을 기억하세요!  모듈은 특정 목적에 필요한 코드의 모음입니다. 함수를 사용하기 위해 함수의 동작 방식을 알 필요는 없듯이 모듈도 마찬가지....모듈의 사용자는 모듈이 어떤 작업 수행에 도움이 되는지, 모듈의 기능을 올바르게 호출하기 위한 코드는 어떻게 작동하는지만 알고 있으면 됩니다. ..

[ 밑줄/연결 ] 확률은 어떤 사건이 일어날 것이라고 믿는 정도를 말하며... 확률은 순전히 어떤 사건이 일어날 가능성에 대한 이론적 개념이며 데이터가 필요하지 않습니다. 반면에 통계학은 데이터 없이는 존재할 수 없으며 데이터를 사용해 확률을 발견하고, 데이터를 설명하는 도구를 제공합니다.  (조건부 확률과 베이즈 정리) 확률에서 가장 헷갈리는 개념은 조건부 확률입니다. 사건 B가 발생했을 때 사건 A가 발생할 확률이죠. 일반적으로 P(A GIVEN B) 또는 P(A I B)와 같이 나타냅니다. 조건부 확률 P(커피 GIVEN 암) 또는 P(커피 I 암)으로 정의해보죠.이는 암에 걸린 사람이 커피를 마실 확률을 나타냅니다. P(커피) = 0.65 : 미국 내 인구의 65%가 커피를 마신다.p(암) = 0..

[ 밑줄/연결 ] (조만간 인문학 분야의 르네상스 시대가 다시 올 것이다) 좀 더 장기적으로 내다본다면 인문학의 중요성은 반드시 다시 커질 수 밖에 없다. 언어 인문학, 사회과학 계열이 해야 할 일은 학과 폐지가 아니라 '형태 전환'이다.---> 책에서 '인문학의 위기'를 읽었던 것은 내가 대학을 들어 갈 즈음이었으니 꽤 오래 되었다. 이미 그 전부터 과학에 의한 철학의 위기, 심리학의 위기 등은 대학에서 장기적이고 지속적으로 발생했었다. ----> '인문학의 위기'를 내내 얘기하다가, 2011년 3월2일, 샌프란시스코 어바부에센터에서 애플의 제품발표회 에서 'liberal arts' 얘기했다고 인문학을 해야 한다고 난리였었다. 그새 좀 잠잠하더니....AI시대에는 창의성, 공감 등 인간만의 능력이 중요..

[ 밑줄/연결 ] (1부. 무르익는 시간) 우리는 인공지능 자체의 경제적 특징, 즉 예측 비용의 하락에는 주목하면서도 인공지능을 동반해야 하는 새로운 시스템의 구축을 둘러싼 경제학은 등한시했다. '시스템'은 작업의 완수를 보장하는 상호 연관된 절차라는 뜻으로 사용한다. 1920년대에 이르면 전기 도입을 추진하는 기업가는 전기의 핵심 가치 제안이 연료비 절감이 아니라 어마어마한 생산성 증가를 낳는 공장 디자인이라는 것을 이해하게 되었다. 우리가 주장하는 바는 의사 결정에서 예측과 나머지 부분을 서로 분리하고, 예측을 인간이 아닌 기계에 맡김으로써 인공지능이 시스템 수준의 혁신을 일으킨다는 것이다. 의사 결정은 그 시스템에서 핵심 요소이고, 인공지능은 의사 결정을 향상시킨다. 인공지능은 데이터 수집, 모델 ..

[ 밑줄/연결 ]  (변수와 상수) 인공지능에서 사용하는 모델 중 하나인 신경망에서는 '가중치'라는 개념이 있는데, 컴퓨터가 이러한 가중치를 스스로 학습하며 결정하게 됩니다. 컴퓨터가 가중치를 학습할 때는 가중치가 '변수'의 역할을 하는데, 학습이 끝나고 해당 가중치를 학습 모델에 활용할 때는 '상수'의 역할을 한다.  (삼각함수) 인공지능 분야에서는 음성 인식을 할 때, 음의 파형을 분석하기 위해 '푸리에 변환'을 사용합니다. 푸리에 변환은 복잡한 파형을 가진 함수를 삼각함수의 덧셈으로 표현하는 변환 방법입니다. (유클리드의 거리) 인공지능 분야에서는 과거의 데이터를 분석하여 최적의 모델을 만드는 학습 단계와, 그렇게 만들어진 모델을 사용해서 새로운 데이터에 대한 카테고리나 수치를 예측하는 추론 단계가..

[ 밑줄/연결 ] 환각(hallucination)이라는 용어는 AI 시스템에 특정 수준의 의식이 있다는 잘못된 개념을 암시할 수 있으므로, "작화증(confabulation)"이라는 용어가 더 적절해 보인다. 컴퓨터는 세상에 대한 모델을 구축하거나 그 해답이 타당한지 판단하지는 못한다. 미래학자 로이 아마라가 "우리는 기술의 영향력을 단기적으로는 과대평가하지만 장기적으로는 과소평가하는 경향이 있다"라고 경고할 때 시사한 바가 바로 이것이다. ----> 기술 관련한 대중 서적에 꽤나 자주 나오는 말이다. ----> His adage about forecasting the effects of technology has become known as Amara's law and states: "We tend t..

[ 밑줄/연결 ] 지능이란 '인간적인 것'에 관한 문제가 아니라, 새로운 상황에서 효과적으로 행동할 수 있는 '능력'에 관한 문제다. 지능을 간단히 정의하자면, 소속된 환경에서 작동할 수 있고 감각 정보를 사용해 의사 결정 내릴 수 있는 모든 체계에 해당하는 에이전트의 행동이다. 물론 에이전트에 뇌, 언어 또는 의식이 있다고 가정할 필요는 없다. 인공지능의 새로운 언어는 더 이상 논리와 형식적 추론의 언어가 아닌, 확률과 수학적 최적화의 언어이다. 실제로 다른 영역에서도 이론적 이해를 통계적 패턴으로 대체할 수 있으며, 이 패턴은 대량의 데이터에서 확보할 수 있다. 핵심 아이디어는 '인간 행동에는 학습하고 이용할 수 있는 신뢰할 만한 패턴이 존재한다'는 것이며, 이 명제는 오늘날 많은 자동화 시스템의 기..

[ 밑줄/연결 ] 나는 누군가가 돌파구를 찾았다고 주장하면 일단 경계한다. 오늘날 인공지능 연구에 무엇보다 필요한 것은 다름 아닌 겸손이다. 결정문제....1928년 수학자 다비트 힐베르트(David Hibert)가 제시한 결정문제는 "일정한 과정을 따르는 것만으로 답할 수 없는 수학 문제가 있는가? "라는 질문에 답하는 문제였다. 결정문제는 "예" 혹은 "아니오"라는 답을 가진 수학 문제로 대표적인 예를 살펴보면 다음과 같다. ㅇ' 2더하 2는 4다'는? ㅇ '7919는 소수다'는? "튜링머신은 멈출까?"라는 문제는 비결정문제라고 생각했다. 그는 단순히 방법을 따르는 것만으로 풀 수 없는 결정문제가 존재한다는 결론에 다다랐다. 결국 '수학이 특정 방법을 따르는 단순한 일이 될 수 있을까?'라는 힐베르트..

[ 밑줄/연결 ] 형식은 내가 원하는 결과물의 구체적인 모습을 의미한다. 예를 들면 "답변은 1000자 내외의 텍스트로 부탁합니다.", "내가 준 수치들을 표로 만들어 주세요."라는 식으로 형식을 지정하는 것입니다. [ 자평 ] 언어모델에 학습 시키는 데이터는 점 점 많아지고, 정확해 질 것이다. 언어모델 자체도 점차 효율화되고 지능화 될 것이다. 대학생인 아들 녀석이 GPT를 유료로 결재하여 자연스럽게 사용하는 것을 보고, 이것은 이제 일상화가 되겠다 싶었다..... 충분히.... 곧....

[ 밑줄/연결 ] 언어 모델: 자연어 처리 분야에서 사용되는 모델 중 하나로, 주어진 문장(단어)이 주어졌을 때 다음에 나올 문장(단어)를 예측하는 모델 (단어를 수치로 표현한다 : 임베딩) 단어 혹은 문장을 숫자로 표현해 주는 것이 임베딩 (컴퓨터와 인간에게 맞는 표현으로 변환한다 : 인코딩과 디코딩) 인코딩 : 컴퓨터에서 문자나 기호를 컴퓨터가 이해할 수 있는 코드(0이나 1)로 변환하는 과정을 의미함 디코딩 : 컴퓨터와 인간이 의사소통하기 위해 필요한 하나의 과정이라고 이해가면 됨 디코딩이란 인코딩된 데이터를 원래의 데이터로 변환하는 과정을 의미함 컴퓨터가 이해할 수 있도록 변환된 0과 1을 다시 인간이 이해할 수 있도록 인간의 언어로 표현하는 과정이라고 이해 (트랜스포머, 버트, GPT) 트랜스포..