전체 글 (40) 썸네일형 리스트형 [논문리뷰]AN IMAGE IS WORTH 16X16 WORDS:TRANSFORMERS FOR IMAGE RECOGNITION AT SCALE(ViT) 목차 Vision Transformer (ViT) 개요 Inductive Bias ViT 모델 구조 Positional Embedding Transformer Encoder Vision Transformer (ViT) 수식 설명 Hybrid Architecture Fine-tuning and Higher ResolutionVision Transformer (ViT) 개요본 연구에서는 NLP에서 사용되는 standard Transformer를 이미지에 그대로 적용하여 이미지 분류에 좋은 성능을 도출한 Vision Transformer (ViT)를 제안합니다.ViT는 이미지를 패치로 분할한 후, 이를 NLP의 단어로 취급하여 각 패치의 linear embedding.. [논문리뷰]Attention Is All You Need(transformer) 이번 포스팅은 Transformer의 시초논문에 대해서 구조를 중심으로 리뷰하겠습니다.https://arxiv.org/abs/1706.03762 Attention Is All You NeedThe dominant sequence transduction models are based on complex recurrent or convolutional neural networks in an encoder-decoder configuration. The best performing models also connect the encoder and decoder through an attention mechanism. We propose a newarxiv.org transformer 구조에 대해 알아보기전, 우.. [논문리뷰]Neural Machine Translation by Jointly Learning to Align and Translate(Attention) 이번 포스팅은 attention 메커니즘의 시초논문에 대해서 수식을 중심으로 리뷰하겠습니다. https://arxiv.org/abs/1409.0473 Neural Machine Translation by Jointly Learning to Align and TranslateNeural machine translation is a recently proposed approach to machine translation. Unlike the traditional statistical machine translation, the neural machine translation aims at building a single neural network that can be jointly tuned to maxim.. RNN에서 디코더와 인코더 목차RNN 기반 인코더RNN 기반 디코더 RNN 기반 인코더 RNN 기반 인코더는 입력 시퀀스를 처리하여 고정 길이의 컨텍스트 벡터를 생성합니다. 수식은 다음과 같습니다:상태 업데이트:\( h_t = f(h_{t-1}, x_t) \)여기서,\( h_t \): 현재 시간 스텝 \( t \)의 상태 벡터\( h_{t-1} \): 이전 시간 스텝 \( t-1 \)의 상태 벡터\( x_t \): 현재 시간 스텝 \( t \)의 입력 벡터\( f \): 상태 업데이트 함수 (예: RNN, LSTM, GRU 등)최종 컨텍스트 벡터 계산:\( c = h_T \)여기서,\( c \): 최종 컨텍스트 벡터, 인코더의 마지막 시간 스텝 \( T \)의 상태 벡터설명:\( h_t \): 현재 시간 스텝 \( t \)의 .. 3D Reconstruction Using Triangulation 3D Reconstruction- Object 3D Reconstruction- Outdoor 3D Reconstruction3D 복원 (3D Reconstruction)3D 복원은 실제 세계의 물체나 환경을 세밀하게 디지털화하는 과정입니다. 이 기술은 여러 이미지나 스캔 데이터를 사용하여 대상의 3차원 구조를 재구성합니다. 이 과정은 건축, 게임 개발, 영화 제작, 가상현실, 로보틱스 등 다양한 분야에서 활용됩니다.물체 3D 복원 (Object 3D Reconstruction)물체 3D 복원은 특정 물체의 3차원 모델을 생성하는 프로세스입니다. 이 과정은 물체를 다양한 각도에서 촬영한 이미지나 3D 스캐닝 기술을 사용하여 이루어집니다. 이러한 3D 모델은 제품 디자인, 산업 디자인, 과학 연구에서 실제.. mAP(mean Average precision) mAP에 설명하기 앞서 IoU에 대한 설명을 간단하게 해드리도록하겠습니다. IoUIoU는 Intersection over Union의 약자로 교집합/합집합이라고 생각하면 됩니다. 이 IoU(교집합/합집합)이 임계값에 따라 True/False 가 결정됩니다. 여기서 임계값이란 다음과 같습니다. 임계값(Threshold)특정 클래스로 분류하기 위한 기준치로 이진 분류에서는 기본적으로 0.5로 설정임계값 설정에 따라서 정밀도와 재현율의 값이 달라지는데, 정밀도와 재현율을 균형 있게 예측하는 적절한 임계값을 설정AP쉽게 설명하면 AP는 P/R Curve의 아래 영역의 넓이입니다. AUC가 ROC curve의 아래 영역의 넓이를 의미하는 것과 동일합니. Curve의 아래영역을 계산하기 쉽게 하기 위해서 P(pre.. 모델 평가 지표 정리 고려대학교 산업공학과 김태연님의 모델 평가 지표 정리 세미나(https://www.youtube.com/watch?v=4ZOH9DRbN0k)를 보고 정리 하였습니다. Intro평가지표에 대한 내용을 알아 보기전에 이 모델 평가 지표를 사용하는 기계학습(Machine learning)에 대해서 먼저 알아보겠습니다. Machine learning 기계학습이란 컴퓨터가 학습할 수 있도록 하는 알고리즘과 기술을 개발하는 분야 입니다. 예를 들어 아래와 같이 label이 없는 비지도 학습을 통해 패턴이 비슷한 것들 끼리 컴퓨터의 계산과정을 통해 분류하는 것입니다. 이 Machine learning에 대한 과정은 5가지로 나눌 수 있습니다.데이터 수집 (Data collection): 목적에 적합한 데이터를 .. Recurrent Neural Networks의 이해 RNN에 대한 내용은 고려대학교 산업공학부 김성범 교수님의 강의를 참고 하여 작성했습니다.https://www.youtube.com/watch?v=pjw7yfpk2jc 1. Recurrent Neural NetworksRNN(Recurrent Neural Network, 순환 신경망)은 시퀀스 데이터 처리에 특화된 인공 신경망의 한 종류입니다. 일반적인 신경망과 달리, RNN은 내부에 반복적인 연결 구조를 가지고 있어, 이전의 계산 결과를 현재의 입력과 함께 반복적으로 처리할 수 있습니다. 이 특성 덕분에 RNN은 시간적으로 연속성이 있는 데이터나 순서가 중요한 데이터를 다루는 데 적합합니다. RNN의 주요 특징과 사용 예시는 다음과 같습니다:주요 특징메모리 기능: RNN은 이전의 입력 정보를 일종의 .. 이전 1 2 3 4 5 다음
