๊ฐ์ธ ๊ณต๋ถ7 [๋ ผ๋ฌธ ์ด๋ก๐] Attention is All you Need The dominant sequence transduction models are based on complex recurrent or convolutional neural networks that include an encoder and a decoder. The best performing models also connect the encoder and decoder through an attention mechanism. ์ง๋ฐฐ์ ์ธ ์ํ์ค ๋ณํ ๋ชจ๋ธ(dominant sequence transduction models)์ encoder ๋ฐ decoder๋ฅผ ํฌํจํ๋ ๋ณต์กํ ์ํ ์ ๊ฒฝ๋ง ๋๋ ์ปจ๋ณผ๋ฃจ์ ์ ๊ฒฝ๋ง์ ๊ธฐ๋ฐ์ผ๋ก ํ๋ค. ์ต๊ณ ์ ์ฑ๋ฅ์ ์๋ํ๋ ๋ชจ๋ธ๋ค์ ์ดํ ์ ๋ฉ์ปค๋์ฆ(attention mechanis.. 2024. 1. 24. [๋คํธ์ํฌ] #01. ๋คํธ์ํฌ์ ๊ธฐ์ด ๊ฐ๊ฐ์ ์๋๊ณ ๋คํธ์ํฌ ๊ธฐ์ด์ ๋ํด ํ์ตํ๊ธฐ ์์ํ๋ค. ๋ค์ํ๊ธฐ์ ์ปดํจํฐ ๋คํธ์ํฌ ๊ณผ๋ชฉ์ ์๊ฐํ๋๋ฐ ์ ๋ชจ๋ฅด๋ ๋ถ์ผ์ด๊ธฐ ๋๋ฌธ์ ๋คํธ์ํฌ ๊ธฐ์ด๋ผ๋ ์์งํด๋๊ธฐ๋ก ํ๋ค. ์์ต์ฉ์ผ๋ก ์ธํฐ๋ท ๊ฐ์๋ kmooc์ ์ฐธ๊ณ ํ์๋ค. ์ฑ๊ท ๊ด๋ ์์ฑ์ง ๊ต์๋์ ๋คํธ์ํฌ ๊ธฐ์ด๋ค. ๊ฐ์ ๋งํฌ : http://www.kmooc.kr/courses/course-v1:SKKUk+SKKU_26+2022_T1/video video | K-MOOC ๋ผ์ฐํ ํ๋กํ ์ฝ๊ณผ ๊ฑฐ๋ฆฌ๋ฒกํฐ ๋ผ์ฐํ ์์ฒญ www.kmooc.kr || 1๊ฐ ๋คํธ์ํฌ ๊ธฐ์ด 01) ๋คํธ์ํฌ ๊ตฌ์ฑ์์ ๋คํธ์ํฌ๋ฅผ ์๊ฐํ๋ฉด์ ์ฒซ๋ฒ์งธ๋ก ์์์ผ ํ๋ ๊ฒ์ "๋คํธ์ํฌ์ ๊ตฌ์ฑ์์๊ฐ ๋ฌด์์ธ์ง", ์ด์ ๋ํด ์์์ผ ํ๋ค. ์ฒซ๋ฒ์งธ๋ก ๋ ธ๋, ๋๋ฒ์งธ๋ก ๋งํฌ๊ฐ ์กด์ฌํ๋ค. ๋ ธ๋๋ ๋คํธ์ํฌ ๊ตฌ์ฑ์์๋ค์ ์ง.. 2023. 8. 5. [C++] ๊ตฌ์กฐ์ฒด ๊ฐ๋ ๋ฐ ์ ์ ์ ์ธ ๊ตฌ์กฐ์ฒด๋ ์๋ฃ๊ตฌ์กฐ๋ฅผ ๊ณต๋ถํ ๋๋ฉด ์ ์ธ ์ค ์์์ผํ๋ ์๋ฃํ์ด๋ผ๊ณ ์๊ฐํ๋ค. ๋ณดํต ํ๋ก๊ทธ๋๋ฐ ์ธ์ด๋ง ๊ณต๋ถํ ๋ ๊ตฌ์กฐ์ฒด๊ฐ ๋ท๋ถ๋ถ ์ง๋์ ์์ด์ ์ ๊ฒฝ์ ๋ง์ด ๋ชป ์ธ ์ ์๋๋ฐ, ๊ทธ๋ฌ๋ฉด ์๋ฃ๊ตฌ์กฐ ๊ณต๋ถํ ๋ ๊ต์ฅํ ํ๋๋๊น ํ๋ก๊ทธ๋๋ฐ ์ธ์ด๋ ์๋ถ๋ถ๋ณด๋ค ๋ท๋ถ๋ถ ์ง๋์ ๋ ์ ๊ฒฝ์จ์ ๊ณต๋ถํ๋๊ฒ ์ข์ ๊ฒ ๊ฐ๋ค. (๋ง์.. ๋ด ์ด์ผ๊ธฐ๋ค...) ์ ๊ทธ๋ฌ๋ฉด ๋จ๋ค ๋ค ์๋ฃ๊ตฌ์กฐ ๊ณต๋ถํ ๋ ํผ์ ํ๋ก๊ทธ๋๋ฐ ์ธ์ด ๋ณต์ต์ ํด์ผํ๋ค. (๋ด ์ด์ผ๊ธฐ๋ค...222) ๊ตฌ์กฐ์ฒด์ ๋ํด ์์๋ณธ๋ค. struct ํค์๋๋ฅผ ์ฌ์ฉํ์ฌ ๊ตฌ์กฐ์ฒด๋ฅผ ์ ์ํ๋๋ฐ, ๊ตฌ์กฐ์ฒด์ ์๊น์๋ ๋ค์๊ณผ ๊ฐ๋ค. struct ์ฌ์ฉํ ๊ตฌ์กฐ์ฒด์ ํ์ ์ด๋ฆ { ๋ฉค๋ฒ 1 ๋ฉค๋ฒ 2 } ; //๊ฐํน ์ฌ๊ธฐ์ ๊ตฌ์กฐ์ฒด ๋ณ์ ์ด๋ฆ์ ์์ฑํด์ ๊ตฌ์กฐ์ฒด ์ ์ธ,์ ์๋ฅผ ํ๋ฒ์ ํ๊ธฐ๋ ํ๋ค. ์ด๋ ๋ฉค๋ฒ๋ ํ๋๋ผ๊ณ ๋.. 2023. 5. 7. [Python] random/while/list/tuple/dict >>์ง๋์ฃผ ๊ณต๋ถ ๋ด์ฉ ๋ณต์ต # ๋๋ค ์ซ์๋ฅผ ์ฌ์ฉํ๊ณ ์ถ์๋ ์ฌ์ฉํ๋ import ๋ฌธ #random๋ชจ๋์์ randint ํจ์ import from random import randint # while ์กฐ๊ฑด ๋ค์๋ or / and ๋ฅผ ์ฌ์ฉํ ์ ์๋ค. #๋ฆฌ์คํธ๋ ๋ณ๊ฒฝ ๊ฐ๋ฅ, ํํ์ ๋ณ๊ฒฝ ๋ถ๊ฐ๋ฅ. ์์ ๊ฐ๋ฅํ ์๋ฃ๊ตฌ์กฐ๋ฅผ ์ํ๋ค๋ฉด ๋ฆฌ์คํธ๋ฅผ ๋ง๋ค๊ฒ -> ๋ง์ฝ ํํ์ด dict ์์ key-valueํ์์ผ๋ก ๋ค์ด๊ฐ ๊ฒ์ด๋ผ๋ฉด ์ดํ ์ฝ๋๋ฅผ ์ด์ฉํ์ฌ ๋ณ๊ฒฝํ ์๋ ์๋ค. ์๋ ๊ทธ๋ฆผ ์์ ์ฐธ๊ณ #dictionary๋ ๋ฐ์ดํฐ๋ฅผ ์ถ๊ฐํ๊ณ ์์ ํ๊ณ ์ญ์ ํ ์ ์๋ค. ์ฆ ๋ณ๊ฒฝ๊ฐ๋ฅ. mutable! 2022. 9. 8. ์ด์ 1 2 ๋ค์