본문 바로가기

전체 글

 (74)
[DL 기초 #4]Deep Learning과 Overfitting 1. Deep Learning 이전까지는 Artificial Neuron에 대해서 다뤘습니다. 이 Artificial Neuron을 여러 개를 사용하여 하나의 층(Hidden Layer)을 만들고, 이렇게 만들어진 층을 여러 개를 이어서 만들어진 구조를 Neural Network라고 부르며 이 Network를 학습하는걸 Machine Learning(ML)이라고 합니다. 그리고 위와 같은 Network에서 Hidden Layer의 수를 늘려서 깊은 Layer를 쌓으면 그걸 Deep Neural Network라고 부르며 이걸 학습하는 과정을 Deep Learning(DL)이라고 합니다. 사실 이런 Layer의 깊이만이 ML과 DL을 구분하는 요소는 아닙니다. ML은 데이터의 특징적인 요소를 사람이 찾아내(..
[DL 기초 #3] Single Perceptron - Artificial Neuron (3. Optimization - Gradient Descent) 이전 두 글에서 다룬 Foward propagation과 Back-propagation의 한 사이클을 '1 Epoch' 라고 부르며 이 과정을 반복하여 (Loss를 최소화 하는 방향으로) W를 최적화 합니다. 이때 사용하는 최적화 알고리즘을 Gradient Descent라고 합니다. III. Optimization Gradient Descent의 조건 : Convex Loss의 최솟값을 구하기 위해서는 Loss 함수의 그래프가 아래와 같이 convex한 형태여야 합니다. 즉, w값이 증가함에 따라 기울기(slope)가 꾸준하게 증가하는 형태를 뜻합니다. 더 정확히 말하자면 convex란 아래의 그림처럼 곡선의 두 지점을 직선으로 이었을때, 이 직선이 곡선보다 위쪽에 위치하는 것을 뜻합니다. 이러한 con..
[DL 기초 #2] Single Perceptron - Artificial Neuron (2. Backward propagation) 이전 글에 이어서 Loss를 최소화하기 위한 Back-propagation(Backward-propagation) 과정에 대해서 설명하겠습니다. 위의 Loss 함수를 최소화해야 합니다. 수학에서는 함수의 최솟값을 구하기 위해서 미분을 하고 미분한 값의 부호가 (-)에서 (+)로 바뀌는 지점을 찾습니다. 이런 지점을 '극소점'이라고 부르며 이 극소점 중에서 가장 함수의 값이 작은 지점을 '최소점'이라고 부릅니다. 위의 그래프는 Loss function의 그래프이며 이 함수를 미분하여 함수가 '최소'가 되는 지점을 찾아가는 것이 Machine Learning에서의 '학습'입니다. 더 정확히 말하면 이 '학습'이란 Loss function을 최소로 만드는 weight parameters 즉, 이전 글에서 다뤘..
[코인 채굴] RXD (Radiant) 는 채굴의 대표코인이 될 수 있을 것인가? 최근 코인 가격 상승폭이 상당하다. 코인가격의 '지수' 라고 표현할만한 비트코인(BTC) 의 시세는 아래와 같다. 2023.04.11 4시14분 기준, 1년치 그래프를 봤을때, 1년전 수준을 회복하진 못했지만, 그만큼 올라온 모습을 보여준다. 3년의 빙하기를 예상했지만, 그보다 훨씬 빠른 회복세다. 이더리움 머지 이후로, 사람들은 한때 이러리움 클래식으로 채굴을 옮겨갔지만 채산성이 안맞는다는 얘기가 많았다. (채산성 = 채굴한 코인의 가치 - 전기세 - 임대료) 1. 채굴계의 신성(2023년 4월 기준) 채굴 코인의 신성은 Kaspa, Nexa, Rxd, Dnx, Alph, Nexa 라고 할 수 있다. 최근엔 Kaspa를 대량으로 캐고있는 모습이 땡글 커뮤니티에 자주 보인다. 하지만 나는 Rxd 코인의 ..
Dynamic Programming 이번 포스트에서는 강화학습에서의 Dynamic Programming을 설명하도록 하겠습니다. Dynamic Programming Dynamic Programming 흔히 DP라고도 부르는 이 방법은 최적화 이론의 한 기술이며, 특정 범위까지의 값을 구하기 위해서 그것과 다른 범위까지의 값을 이용하여 효율적으로 값을 구하는 알고리즘 설계 기법입니다. 쉽게 설명하자면 큰 문제를 작은 문제들로 나누어 푸는 방법입니다. 여기서 작은 문제들은 반복이 일어나며, 항상 같은 값을 갖고, 해당 값을 어딘가에 저장해 놓고 필요할 때마다 값을 불러와 큰 문제를 풀어냅니다. 이러한 방법으로 모든 작은 문제들을 한 번만 풀면서 큰 문제를 풀어낼 수 있습니다. 강화학습에서의 DP 강화학습에서 DP를 사용하는 알고리즘은 대표적으..
GAN(Generative Adversarial Network)과 Stable diffusion의 이해와 정리 https://stablediffusionweb.com/ Stable Diffusion Online Stable Diffusion Online Stable Diffusion is a latent text-to-image diffusion model capable of generating photo-realistic images given any text input, cultivates autonomous freedom to produce incredible imagery, empowers billions of people to create stunnin stablediffusionweb.com https://arxiv.org/abs/1406.2661 Generative Adversarial Network..
[DL 기초 #1] Single Perceptron - Artificial Neuron (1. Forward propagation) 소위 AI라고 불리는 인공지능은 Artificial Neural Networ(ANN)라고 할 수 있습니다. 그리고 이 ANN은 수많은 Artificial Neuron으로 이루어져 있으며, Artificial Neuron은 Single Perceptron으로 나타낼 수 있습니다. 위의 사진은 Artificial Neuron. 즉, Single Perceptron을 도식화한 그림으로 위와 같은 형태의 연산을 통해 Output(예측값)이 도출됩니다. 이 연산이 일어나는 과정을 차례대로 설명하도록 하겠습니다. I. Forward-propagation 1. Sum of Each (Inputs x Weights) = Linear Equation 이 부분에서는 동그라미 안에 들어있는 각 Input(x)과 연결된 선(..
query embedding vector, document embedding vector Introducing text and code embeddings (openai.com) Introducing text and code embeddings We are introducing embeddings, a new endpoint in the OpenAI API that makes it easy to perform natural language and code tasks like semantic search, clustering, topic modeling, and classification. openai.com openai api를 사용하여 query embedding vector 와 document embedding vector 유사도 비교하여 특수한 도메인 문서를 사용하여 대화하는 방법 여기..

티스토리툴바