named entity recognizer
분리되어있는 두개의 모델을 동시에 학습가능하도록 잇는 방법 : 강화학습
Bidirectional LSTM → 텍스트가 길 때 까먹음
두개의 개체가 얼마나 관련있는지
eqwe
q
ew그냥 어텐션은 벡터와 매트릭스 → 벡터가 매트릭스의 어떤 벡터와 가장 연관이 있는지 계산하는 것. 특정 단어가 있고 다른 문장이 있을 때, 그 단어와 문장안의 각각의 단어들과의 연관도(가 되도록 W를 학습) → 이걸 coefficient로 사용 → 문단안에서 정답 entity를 찾는데 사용함
에서 W를 그런 식으로 학습시킨 것. 뽑은 스코어가 정답인 entity일 확률을 가장 높게 하도록 W가 학습이 되는 거지. 그냥 어떤 목적을 가지길 원하고 학습시키는지가 중요.
감정분류데이터면 W는 감정에 관련된 높은 단어를 잘 찾도록 학습이되는
q : 200차원, p : 100차원 가 50개인 매트릭스
중요한 부분을 취하는
score : 범위 제한이 없는거
probability : 0 ~ 1 제한인 것
Document reader
Document Retriever : BM25라는 뉴럴넷이 아닌 모델, tf-idf 같은 것도 있었다.
짧은걸 여러번 보는게 이해하는데 낫다?
Type of attention
- Dot product
- Multiplicative
- Additive
transformer는 학습가능한 부분을 엄청 키운 형태다.
위지윅에디터 사용 + Assistant
Share article