๊ด€๋ฆฌ ๋ฉ”๋‰ด

๋ชฉ๋กBag-of-Words (1)

hyerong's Dev_world๐ŸŽก

[boostcourse][์ž์—ฐ์–ด ์ฒ˜๋ฆฌ์˜ ๋ชจ๋“ ๊ฒƒ] ๊ธฐ์กด์˜ ์ž์—ฐ์–ด ์ฒ˜๋ฆฌ ๊ธฐ๋ฒ•

์ฑ•ํ„ฐ 1์˜ 2๊ฐ• : ๊ธฐ์กด ์ž์—ฐ์–ด ์ฒ˜๋ฆฌ ๊ธฐ๋ฒ• ์†Œ๊ฐœ ํ•ต์‹ฌ ๋‹จ์–ด : BOW, ์›ํ•ซ ๋ฒกํ„ฐ, ๋‚˜์ด๋ธŒ ๋ฒ ์ด์ฆˆ ๋ถ„๋ฅ˜๊ธฐ, ๋ฌธ์žฅ ๋ถ„๋ฅ˜ Bag-Of-Words (๋‹จ์–ด ๊ฐ€๋ฐฉ ๋ชจํ˜•) ๋‹จ์–ด ์ˆœ์„œ ๊ณ ๋ ค X, ๊ฐ ๋‹จ์–ด๋“ค์˜ ์ถœํ˜„ ๋นˆ๋„(frequency)์—๋งŒ ์ง‘์ค‘ํ•˜๋Š” ๋ฌธ์žํ˜• ๋ฐ์ดํ„ฐ์˜ ์ˆ˜์น˜ํ™” ํ‘œํ˜„ ๋ฐฉ๋ฒ• ๋‹จ์–ด๋ฅผ ๋ฒกํ„ฐ๋กœ ํ‘œํ˜„ํ•˜๊ธฐ ์œ„ํ•ด์„œ๋Š” ์ฃผ์–ด์ง„ ๋ฌธ์žฅ์— ์“ฐ์ธ ๋‹จ์–ด๋“ค์„ ์‚ฌ์ „(Vocabulary(key-value) ํ˜•ํƒœ๋กœ ์ €์žฅ(์ค‘๋ณต ํ—ˆ์šฉ X) ์ €์žฅ๋œ ๋‹จ์–ด๋“ค์€ ๊ฐ๊ฐ ์œ ๋‹ˆํฌํ•œ ์นดํ…Œ๊ณ ๋ฆฌ ๋ณ€์ˆ˜(Categorical variable)์ด๋ฏ€๋กœ, ์›-ํ•ซ ์ธ์ฝ”๋”ฉ(One-hot Encoding)๋ฅผ ์ด์šฉํ•ด ๋ฒกํ„ฐ๋กœ ํ‘œํ˜„ํ•  ์ˆ˜ ์žˆ๊ณ  -> ๊ฒฐ๊ตญ ์ฃผ์–ด์ง„ ๋ฌธ์žฅ์„ ์›-ํ•ซ ๋ฒกํ„ฐ์˜ ํ•ฉ, ์ฆ‰ ์ˆซ์ž๋กœ ํ‘œํ˜„(numericalํ•˜๊ฒŒ) ๊ฐ€๋Šฅ ๋ฌธ์žฅ์„ ๊ตฌ์„ฑํ•˜๊ณ  ์žˆ๋Š” ๋‹จ์–ด๋“ค์„ ๊ฐ€๋ฐฉ์— ์ˆœ์ฐจ์ ์œผ๋กœ..