Deeplearning (6) 썸네일형 리스트형 [논문리뷰]AN IMAGE IS WORTH 16X16 WORDS:TRANSFORMERS FOR IMAGE RECOGNITION AT SCALE(ViT) 목차 Vision Transformer (ViT) 개요 Inductive Bias ViT 모델 구조 Positional Embedding Transformer Encoder Vision Transformer (ViT) 수식 설명 Hybrid Architecture Fine-tuning and Higher ResolutionVision Transformer (ViT) 개요본 연구에서는 NLP에서 사용되는 standard Transformer를 이미지에 그대로 적용하여 이미지 분류에 좋은 성능을 도출한 Vision Transformer (ViT)를 제안합니다.ViT는 이미지를 패치로 분할한 후, 이를 NLP의 단어로 취급하여 각 패치의 linear embedding.. [논문리뷰]Attention Is All You Need(transformer) 이번 포스팅은 Transformer의 시초논문에 대해서 구조를 중심으로 리뷰하겠습니다.https://arxiv.org/abs/1706.03762 Attention Is All You NeedThe dominant sequence transduction models are based on complex recurrent or convolutional neural networks in an encoder-decoder configuration. The best performing models also connect the encoder and decoder through an attention mechanism. We propose a newarxiv.org transformer 구조에 대해 알아보기전, 우.. [논문리뷰]Neural Machine Translation by Jointly Learning to Align and Translate(Attention) 이번 포스팅은 attention 메커니즘의 시초논문에 대해서 수식을 중심으로 리뷰하겠습니다. https://arxiv.org/abs/1409.0473 Neural Machine Translation by Jointly Learning to Align and TranslateNeural machine translation is a recently proposed approach to machine translation. Unlike the traditional statistical machine translation, the neural machine translation aims at building a single neural network that can be jointly tuned to maxim.. RNN에서 디코더와 인코더 목차RNN 기반 인코더RNN 기반 디코더 RNN 기반 인코더 RNN 기반 인코더는 입력 시퀀스를 처리하여 고정 길이의 컨텍스트 벡터를 생성합니다. 수식은 다음과 같습니다:상태 업데이트:\( h_t = f(h_{t-1}, x_t) \)여기서,\( h_t \): 현재 시간 스텝 \( t \)의 상태 벡터\( h_{t-1} \): 이전 시간 스텝 \( t-1 \)의 상태 벡터\( x_t \): 현재 시간 스텝 \( t \)의 입력 벡터\( f \): 상태 업데이트 함수 (예: RNN, LSTM, GRU 등)최종 컨텍스트 벡터 계산:\( c = h_T \)여기서,\( c \): 최종 컨텍스트 벡터, 인코더의 마지막 시간 스텝 \( T \)의 상태 벡터설명:\( h_t \): 현재 시간 스텝 \( t \)의 .. mAP(mean Average precision) mAP에 설명하기 앞서 IoU에 대한 설명을 간단하게 해드리도록하겠습니다. IoUIoU는 Intersection over Union의 약자로 교집합/합집합이라고 생각하면 됩니다. 이 IoU(교집합/합집합)이 임계값에 따라 True/False 가 결정됩니다. 여기서 임계값이란 다음과 같습니다. 임계값(Threshold)특정 클래스로 분류하기 위한 기준치로 이진 분류에서는 기본적으로 0.5로 설정임계값 설정에 따라서 정밀도와 재현율의 값이 달라지는데, 정밀도와 재현율을 균형 있게 예측하는 적절한 임계값을 설정AP쉽게 설명하면 AP는 P/R Curve의 아래 영역의 넓이입니다. AUC가 ROC curve의 아래 영역의 넓이를 의미하는 것과 동일합니. Curve의 아래영역을 계산하기 쉽게 하기 위해서 P(pre.. 모델 평가 지표 정리 고려대학교 산업공학과 김태연님의 모델 평가 지표 정리 세미나(https://www.youtube.com/watch?v=4ZOH9DRbN0k)를 보고 정리 하였습니다. Intro평가지표에 대한 내용을 알아 보기전에 이 모델 평가 지표를 사용하는 기계학습(Machine learning)에 대해서 먼저 알아보겠습니다. Machine learning 기계학습이란 컴퓨터가 학습할 수 있도록 하는 알고리즘과 기술을 개발하는 분야 입니다. 예를 들어 아래와 같이 label이 없는 비지도 학습을 통해 패턴이 비슷한 것들 끼리 컴퓨터의 계산과정을 통해 분류하는 것입니다. 이 Machine learning에 대한 과정은 5가지로 나눌 수 있습니다.데이터 수집 (Data collection): 목적에 적합한 데이터를 .. 이전 1 다음
