๊ฐ ์ฑํฐ๋ณ ๋ด์ฉ ํ๋์ ์ดํด๋ณด๊ธฐ
1์ฅ ์๋ก
- ์๋ฒ ๋ฉ์ ์ ์, ์ญ์ฌ์ ์ข ๋ฅ๋ฑ์ ์ดํผ๋ฉฐ ๋์ปค์ ๊ฐ์ ๊ฐ๋ฐํ๊ฒฝ์ ๊ตฌ์ฑํ๋ ๊ณผ์ ์ค๋ช
2์ฅ ๋ฒกํฐ๊ฐ ์ด๋ป๊ฒ ์๋ฏธ๋ฅผ ๊ฐ์ง๊ฒ ๋๋๊ฐ
- ์์ฐ์ด์ ์๋ฏธ๋ฅผ ์๋ฒ ๋ฉ์ ์ด๋ป๊ฒ ํจ์ถ์ํฌ์์๋์ง,
- ๊ฐ ์๋ฒ ๋ฉ ๊ธฐ๋ฒ๋ค์ ํฌ๊ณ ์์ ์ฐจ์ด๊ฐ ์์ง๋ง ๋ง๋ญ์น;corpus์ ํต๊ณ์ ํจํด ์ ๋ณด;statistical pattern๋ฅผ ๋ฐ์ํ๋ค๋ ์ ์์ ๊ณตํต์ ์ด๋ค.
3์ฅ ํ๊ตญ์ด ์ ์ฒ๋ฆฌ
- ์๋ฒ ๋ฉ ํ์ต์ ์ํ ํ๊ตญ์ด ๋ฐ์ดํฐ์ ์ ์ฒ๋ฆฌ ๊ณผ์
- ์น ๋ฌธ์/json ํ์ผ ๊ฐ์ ํํ์ ๋ฐ์ดํฐ๋ฅผ ์์ ํ ์คํธ ํ์ผ๋ก ๋ฐ๊พธ๋ฉฐ ์ฌ๊ธฐ์ ํํ์ ๋ถ์+๋์ด์ฐ๊ธฐ ๊ต์ ์ ์ค์ํ๋ ๋ฐฉ๋ฒ ์ค๋ช
4์ฅ ๋จ์ด ์์ค ์๋ฒ ๋ฉ
- ๋ค์ํ ๋จ์ด ์์ค ์๋ฒ ๋ฉ ๋ชจ๋ธ์ ์ค๋ช
- NPLM, Word2Vec, FastText ๋ฑ์ ์์ธก๊ธฐ๋ฐ ๋ชจ๋ธ,
- LSA, GloVe, Swivel ๋ฑ์ ํ๋ ฌ๋ถํด;matrix factorization
- ๊ฐ์ค ์๋ฒ ๋ฉ;weighted embedding์ ๋จ์ด ์๋ฒ ๋ฉ์ ๋ฌธ์ฅ ์์ค์ผ๋ก ํ์ฅํ๋ ๋ฐฉ๋ฒ
5์ฅ ๋ฌธ์ฅ ์์ค ์๋ฒ ๋ฉ
- ๋ฌธ์ฅ ์์ค ์๋ฒ ๋ฉ์ ๋ค๋ฃจ๋ฉฐ, ํ๋ ฌ๋ถํด, ํ๋ฅ ๋ชจ๋ธ, ๋ด๋ด ๋คํธ์ํฌ ๊ธฐ๋ฐ ๋ชจ๋ธ ๋ฑ ์ธ ์ข ๋ฅ๋ฅผ ์๊ฐ
- ์ ์ฌ ์๋ฏธ ๋ถ์;LSA์ ํ๋ ฌ๋ถํด, ์ ์ฌ ๋๋ฆฌํฌ๋ ํ ๋น LDA๋ ํ๋ฅ ๋ชจ๋ธ,
- Doc2Vec, ELMo, GPT, BERT๋ฑ์ ๋ด๋ด ๋คํธ์ํฌ๊ฐ ์ค์ฌ์ธ ๋ฐฉ๋ฒ -> ํนํ GPT, BERT๋ ์ ํ ์ดํ ์ self-attention๊ธฐ๋ฐ์ ํธ๋ ์คํฌ๋จธ ๋คํธ์ํฌ;transformer network ๊ฐ ๊ทธ ๋ผ๋๋ฅผ ์ด๋ฃจ๊ณ ์๋ค.
6์ฅ ์๋ฒ ๋ฉ ํ์ธ ํ๋
- ๋จ์ด, ๋ฌธ์ฅ ์์ค ์๋ฒ ๋ฉ์ ํ์ธ ํ๋ํ๋ ๋ฐฉ๋ฒ์ ๋ค๋ฃธ
- ๋ค์ด๋ฒ ์ํ ๋ฆฌ๋ทฐ ๋ง๋ญ์น๋ก ๊ทน์ฑ์ ๋ถ๋ฅํ๋ ๊ณผ์ ์ํ
๋ถ๋ก
- ์ด ์ฑ ์ ์ดํดํ๋๋ฐ ํ์ํ ์์ ์๊ฐ
- ์ ํ๋์ํ, ํ๋ฅ ๋ก , ๋ด๋ด ๋คํธ์ํฌ, ๊ตญ์ดํ ๋ฑ์ ๋ด์ฉ ๊ฐ๋ตํ ์๊ฐ
'๋์๋ฆฌ๋ทฐ' ์นดํ ๊ณ ๋ฆฌ์ ๋ค๋ฅธ ๊ธ
[์ฑGPT ์ ์์ฑ ; ์ฑGPT์ ์ ๋ฌด์๋ํ] - ์ํค๋ถ์ค (1) | 2023.05.01 |
---|---|
[ํต๊ณ๋ก ํตํ๋ค 2023 ๋น ๋ฐ์ดํฐ๋ถ์๊ธฐ์ฌ ํ๊ธฐ] -์์ด๋ฆฌํฌ (4) | 2023.03.05 |
OS๊ฐ ๋ณด์ด๋ ๊ทธ๋ฆผ์ฑ - ์ฑ์๋น (1) | 2022.11.19 |
๊ทธ๋ฆผ์ผ๋ก ์ ๋ฆฌํ ์๊ณ ๋ฆฌ์ฆ๊ณผ ์๋ฃ๊ตฌ์กฐ(2018) (2) | 2022.10.06 |
๋ฐ๋ก ์์ํ๋ ํ๋ธ๋ก_๋์์ถํ ๊ธธ๋ฒ (2) | 2022.09.29 |