[CS224n]Lecture17. Issuses in NLP and possible architectures for NLP
2주도 전에 들은 수업을 지금 정리하는 클라스.. 기억을 더듬어 가며 다시 해보자. 이번 수업에서는 5가지 포인트를 중점으로 얘기한다. 1. NLP 과거 - 현재 엄청 간략하게 말하자면 NLP 문제를 해결하기 위한 여러 연구자의 공헌이 있었다. 그 덕분에 deep learning이 있기 전에도 이미 많은 NLP의 문제에 대한 해답을 찾을 수 있었다. 특히나 BiLSTM 이 등장하면서는 비약적으로 발전한 NLP. 하지만 그럼에도 여전히 부족한 점들이 있다. 우선, long term memory 는 여전히 취약한 부분. 극단적으로 인간과 비교를 해볼 때, 인간은 몇 년 전에 읽었던 문장도 기억하는 한편 deep learening 이 아무리 long term memory 가 좋아졌다고 해도 최대 몇십 문장정도..
NLP /CS224n
2019. 8. 26. 00:36
공지사항
최근에 올라온 글
최근에 달린 댓글
- Total
- Today
- Yesterday
링크
TAG
- neural network
- Attention Mechanism
- 언어모델
- Pre-trained LM
- LM
- 뉴럴넷
- Contextual Embedding
- neurone
- 벡터
- 뉴런
- transformer
- Elmo
- Bert
- 워터마킹
- GPTZero
- Neural Language Model
- language model
- Statistical Language Model
- cs224n
- weight vector
- word embedding
- nlp
일 | 월 | 화 | 수 | 목 | 금 | 토 |
---|---|---|---|---|---|---|
1 | 2 | 3 | ||||
4 | 5 | 6 | 7 | 8 | 9 | 10 |
11 | 12 | 13 | 14 | 15 | 16 | 17 |
18 | 19 | 20 | 21 | 22 | 23 | 24 |
25 | 26 | 27 | 28 | 29 | 30 | 31 |
글 보관함