목록RNN (4)

함께하는 데이터 분석

[Find-A][Pytorch] 임베딩 함수를 이용한 LSTM, GRU 모델 구현

RNN 모델 구현 import torch import torch.nn as nn import string import random import re import time, math num_epochs = 2000 print_every = 100 plot_every = 10 chunk_len = 200 hidden_size = 100 batch_size = 1 num_layers = 1 embedding_size = 70 lr = 0.002 필요한 하이퍼 파라미터를 지정 # import 했던 string에서 출력가능한 문자들을 다 불러옴 all_characters = string.printable # 출력가능한 문자들의 개수를 저장 n_characters = len(all_characters) print(..
학회 세션/파인드 알파 2022. 9. 21. 21:17
[Find-A] LSTM, GRU, 임베딩

순환 신경망의 한계 및 개선 방안 RNN은 어느 정도 이상부터는 결과가 한계에 부딪힘 이유는 타임 시퀀스가 늘어나며 역전파 시 하이퍼볼릭 탄젠트 함수의 미분 값이 0 ~ 1 사이의 값이 나오고 여러 번 곱해져 기울기 값이 역전파될 때 타임 시퀀스가 길어질수록 모델이 제대로 학습을 하지 못하는 기울기 소실(vanishing gradient)이라는 현상이 일어남 순환 신경망에서는 활성화 함수를 바꾸는 경우도 있지만 개선 모델인 LSTM과 GRU를 사용 LSTM(long short-term memory) 기존의 순환 신경망 모델에 장기기억을 담당하는 부분을 추가한 것 기존에는 은닉 상태만 있었다면 셀 상태라는 이름을 가지는 전달 부분을 추가 GRU(gated recurrent unit) LSTM보다 간단한 구..
학회 세션/파인드 알파 2022. 9. 21. 20:35
[Pytorch] 순환 신경망 모델 학습

모델 구현 import torch import torch.nn as nn import torch.optim as optim import numpy as np from tqdm.notebook import tqdm n_hidden = 35 # 순환 신경망의 노드 수 lr = 0.01 epochs = 1000 string = "hello pytorch. how long can a rnn cell remember? show me your limit!" chars = "abcdefghijklmnopqrstuvwxyz ?!.,:;01" char_list = [i for i in chars] n_letters = len(char_list) 예시에서 사용할 문장은 'hello pytorch. how long can ..
데이터분석 공부/ML | DL 2022. 9. 20. 20:21
[RNN] 순환 신경망

순환 신경망의 발달 과정 순환 신경망(RNN)은 합성곱 신경망보다 먼저 나왔음 위키피디아에 따르면 1982년 존 홉필드가 순환 신경망의 기본적인 형태를 대중화했다고 알려져 있지만, 해당 아이디어가 이때 처음 나온 것은 아니고 이전에도 언급된 적이 있음 이때 만들어진 순환 신경망이 오늘날의 순환 신경망의 형태로 오기까지는 꽤 많은 시간이 걸렸는데, 발전된 연산 능력과 데이터의 증가로 인해 성과를 보일 수 있게 된 것 특히 발전 과정에서 나온 LSTM(long short-term memory)과 GRU(gated recurrent unit)같은 변형 모델들은 오늘날에도 많이 사용되고 있음 순환 신경망이 왜 필요한지를 살펴보면 TRIANGLE과 INTEGRAL이라는 글자는 같은 알파벳들의 나열이지만 순서가 다..
데이터분석 공부/ML | DL 2022. 9. 20. 19:29
이전 Prev 1 Next 다음