bizbuddha

[ 밑줄/연결 ]  (변수와 상수) 인공지능에서 사용하는 모델 중 하나인 신경망에서는 '가중치'라는 개념이 있는데, 컴퓨터가 이러한 가중치를 스스로 학습하며 결정하게 됩니다. 컴퓨터가 가중치를 학습할 때는 가중치가 '변수'의 역할을 하는데, 학습이 끝나고 해당 가중치를 학습 모델에 활용할 때는 '상수'의 역할을 한다.  (삼각함수) 인공지능 분야에서는 음성 인식을 할 때, 음의 파형을 분석하기 위해 '푸리에 변환'을 사용합니다. 푸리에 변환은 복잡한 파형을 가진 함수를 삼각함수의 덧셈으로 표현하는 변환 방법입니다. (유클리드의 거리) 인공지능 분야에서는 과거의 데이터를 분석하여 최적의 모델을 만드는 학습 단계와, 그렇게 만들어진 모델을 사용해서 새로운 데이터에 대한 카테고리나 수치를 예측하는 추론 단계가..

[ 밑줄/연결 ] 환각(hallucination)이라는 용어는 AI 시스템에 특정 수준의 의식이 있다는 잘못된 개념을 암시할 수 있으므로, "작화증(confabulation)"이라는 용어가 더 적절해 보인다. 컴퓨터는 세상에 대한 모델을 구축하거나 그 해답이 타당한지 판단하지는 못한다. 미래학자 로이 아마라가 "우리는 기술의 영향력을 단기적으로는 과대평가하지만 장기적으로는 과소평가하는 경향이 있다"라고 경고할 때 시사한 바가 바로 이것이다. ----> 기술 관련한 대중 서적에 꽤나 자주 나오는 말이다. ----> His adage about forecasting the effects of technology has become known as Amara's law and states: "We tend t..

[ 밑줄/연결 ] 지능이란 '인간적인 것'에 관한 문제가 아니라, 새로운 상황에서 효과적으로 행동할 수 있는 '능력'에 관한 문제다. 지능을 간단히 정의하자면, 소속된 환경에서 작동할 수 있고 감각 정보를 사용해 의사 결정 내릴 수 있는 모든 체계에 해당하는 에이전트의 행동이다. 물론 에이전트에 뇌, 언어 또는 의식이 있다고 가정할 필요는 없다. 인공지능의 새로운 언어는 더 이상 논리와 형식적 추론의 언어가 아닌, 확률과 수학적 최적화의 언어이다. 실제로 다른 영역에서도 이론적 이해를 통계적 패턴으로 대체할 수 있으며, 이 패턴은 대량의 데이터에서 확보할 수 있다. 핵심 아이디어는 '인간 행동에는 학습하고 이용할 수 있는 신뢰할 만한 패턴이 존재한다'는 것이며, 이 명제는 오늘날 많은 자동화 시스템의 기..

[ 밑줄/연결 ] 나는 누군가가 돌파구를 찾았다고 주장하면 일단 경계한다. 오늘날 인공지능 연구에 무엇보다 필요한 것은 다름 아닌 겸손이다. 결정문제....1928년 수학자 다비트 힐베르트(David Hibert)가 제시한 결정문제는 "일정한 과정을 따르는 것만으로 답할 수 없는 수학 문제가 있는가? "라는 질문에 답하는 문제였다. 결정문제는 "예" 혹은 "아니오"라는 답을 가진 수학 문제로 대표적인 예를 살펴보면 다음과 같다. ㅇ' 2더하 2는 4다'는? ㅇ '7919는 소수다'는? "튜링머신은 멈출까?"라는 문제는 비결정문제라고 생각했다. 그는 단순히 방법을 따르는 것만으로 풀 수 없는 결정문제가 존재한다는 결론에 다다랐다. 결국 '수학이 특정 방법을 따르는 단순한 일이 될 수 있을까?'라는 힐베르트..

[ 밑줄/연결 ] 형식은 내가 원하는 결과물의 구체적인 모습을 의미한다. 예를 들면 "답변은 1000자 내외의 텍스트로 부탁합니다.", "내가 준 수치들을 표로 만들어 주세요."라는 식으로 형식을 지정하는 것입니다. [ 자평 ] 언어모델에 학습 시키는 데이터는 점 점 많아지고, 정확해 질 것이다. 언어모델 자체도 점차 효율화되고 지능화 될 것이다. 대학생인 아들 녀석이 GPT를 유료로 결재하여 자연스럽게 사용하는 것을 보고, 이것은 이제 일상화가 되겠다 싶었다..... 충분히.... 곧....

[ 밑줄/연결 ] 언어 모델: 자연어 처리 분야에서 사용되는 모델 중 하나로, 주어진 문장(단어)이 주어졌을 때 다음에 나올 문장(단어)를 예측하는 모델 (단어를 수치로 표현한다 : 임베딩) 단어 혹은 문장을 숫자로 표현해 주는 것이 임베딩 (컴퓨터와 인간에게 맞는 표현으로 변환한다 : 인코딩과 디코딩) 인코딩 : 컴퓨터에서 문자나 기호를 컴퓨터가 이해할 수 있는 코드(0이나 1)로 변환하는 과정을 의미함 디코딩 : 컴퓨터와 인간이 의사소통하기 위해 필요한 하나의 과정이라고 이해가면 됨 디코딩이란 인코딩된 데이터를 원래의 데이터로 변환하는 과정을 의미함 컴퓨터가 이해할 수 있도록 변환된 0과 1을 다시 인간이 이해할 수 있도록 인간의 언어로 표현하는 과정이라고 이해 (트랜스포머, 버트, GPT) 트랜스포..

[ 밑줄/연결 ] 생성 AI는 학습된 패턴과 규칙을 기반으로 이미지, 음악, 텍스트 등 새로운 콘텐츠를 생성할 수 있는 AI 모델을 말하는데, 생성 AI 모델은 종종 신경망과 같은 딥 러닝 기술을 기반으로 하여 데이터의 패턴과 구조를 학습하기 위해 대규모 데이터에서 트레이닝 되다. 챗GPT는 생성 모델이지만 기본적으로 언어의 기본 또는 스크립트인 텍스트가 생성된다. 언어 모델은 문장이나 어구에서 선행 단어가 주어지면 단어가 발생할 가능성을 예측하는 데 사용되는 확률 모델이다. 챗GPT는 우리 모든 일상에서 범용적으로 쓸 수 있는 AI라는 점에서 기존 AI와 다르다. 챗GPT와 같은 LLM기술의 가장 큰 단점ㅇ 근거가 모호한 '아무말 대잔치'ㅇ 비용이 어마어마하게 든다. 검색보다 100배 비용, RIO B..

[ 밑줄/연결 ] 최근 NLP의 혁명은 이름 없는 수많은 영웅의 노고로 이루어졌습니다. 그 외 NLP 성공은 견인한 동력은 다음 세 가지 (트랜스포머의 새로운 점이 무언인지 이해하기 위해 다음 배용부터 설명하겠습니다.) ㅇ 인코더-디코더 프레임워크 ㅇ 어텐션 매커니즘 ㅇ 전이 학습 (인코더-디코더 프레임워크) 인코더는 입력 시퀀스의 정보를 마지막 은닉 상태라고도 부르는 수치 표현으로 인코딩합니다. 그 다음 이 상태가 디코더로 전달되어 출력 시퀀스가 생성됩니다. 이 구조는 인코더의 마지막 은닉 상태가 정보 병목이 된다는 약점이 있습니다. 디코더는 인코더의 마지막 은닉 상태만을 참조해 출력을 만들므로 여기에 전체 입력 시퀀스의 의미가 담겨야 합니다. 시퀀스가 긴 경우, 모든 것을 고정된 하나의 표현을 압축하..

[ 밑줄/연결 ] "지금은 인류의 가을이고 우리는 빗방울 사이의 순간이다." - 핀란드 작가 가이 소탈라(Kaj Sotala)의 시 (2장. 자동화로 인한 실업은 필연적일까? ) 이 책에서 옹호하고자 하는 네 가지 논점 논점 1 : 일의 자동화는 바람직하다. 논점 2 : 삶의 자동화는 바람직하지 않다. 논점 3 : 사이보그 유토피아는 위험을 수반할 수 있다. 논점 4 : 가상 유토피아는 유용할 수 있다. 농업과 제조업에서의 인간 곁다리화 인간이 퇴조하는, 우울한 소리가 들린다. 금융에서의 인간 곁다리화 빠른 알고리즘이 느린 인간을 대체한다. 전문직종에서의 인간 곁다리화 의사, 변호사는 이미 절벽에서 뛰어내렸지만 '일'에 대한 이 책의 정의 금전적 보수를 얻기 위한 모든 활동 기술 의거 실업을 주장하는 이..

[ 밑줄/연결 ] 우리가 인공지능에게 가르칠 때 사용하는 알고리즘 자체가 보상과 징벌, 달리 말하면 두려움과 탐욕이란 알고리즘이다. 결국 인공지능의 가치 체계는 우리가 주입하는 프로그램에 의해 결정되는 게 아니라 우리가 인공지능에 제공하는 정보에 의해 결정된다. (3가지 필연적 사건) ㅇ 인공지능이 등장할 것이고, 멈추는 일은 불가능할 것이다. ㅇ 인공지능이 인간보다 더 똑똑해질 것이다. ㅇ 우리가 어려움을 자초하는 실수를 범할 것이다. (3가지 본능) ㅇ 자기 보존을 위해 필요한 것이면 무엇이든 할 것이다. ㅇ 자원을 취합하는 데 집착할 것이다. ㅇ 창의력을 발휘할 것이다. (3가지 특성) ㅇ 의식 ㅇ 감정 ㅇ 윤리 (3가지 핵심적인 사실) ㅇ 우리는 인공지능을 억제하거나 견제하는 힘을 갖지 못할 것이..