[ML hands-on] Tensorflow for Poets 2 (๊ฝƒ ์ด๋ฏธ์ง€ ๋ถ„๋ฅ˜)

Tensorflow๋Š” ์จ๋ด์•ผ ๊ฒ ๋‹ค ์‹ถ์–ด ๋’ค์  ๋’ค์  ๊ฑฐ๋ฆฌ๋Š”๋ฐ ์ข‹์€ ๊ธฐํšŒ์— Google Codelabs์˜ Github์— Tensorflow for Poets ๊ฐ€ ์žˆ์–ด์„œ ์‹œ๋„ํ•ด๋ณด์•˜๊ณ , ๋ณด๊ณ ์„œ๊นŒ์ง€ ์จ์„œ ๊ณผ์ œ๋กœ ์ œ์ถœํ–ˆ๊ธฐ ๋•Œ๋ฌธ์— ๊ทธ ๋ณด๊ณ ์„œ๋ฅผ ๊ทธ๋Œ€๋กœ ์˜ฎ๊ฒจ๋ณด๋ ค๊ณ  ํ•œ๋‹ค. ๋‹ค๋ฅธ ์†Œ์Šค๋ฅผ ์ฐพ๊ธฐ๊ฐ€ ๊ท€์ฐฎ๊ฑฐ๋‚˜ ํž˜๋“ค์—ˆ๋‹ค๋ฉด ์ด ๋ณด๊ณ ์„œ๋ฅผ ๊ทธ๋Œ€๋กœ ๋”ฐ๋ผํ•˜๋ฉด ์ž˜ ๋‚˜์˜ค์ง€ ์•Š์„๊นŒ ์‹ถ๋‹ค. Sorting Flowers - Machine Learning in Tensorflow What is Tensorflow? Tensorflow๋Š” machine learning ๋ชจ๋ธ์„ ๋งŒ๋“ค๊ณ  ๋ฐฐํฌ๋ฅผ ์‰ฝ๊ฒŒ ํ•˜๊ฒŒ๋” ๋„์™€์ฃผ๋Š” ํ”Œ๋žซํผ์ด๋‹ค. Tensorflow์™€ machine learning์„ ์‰ฝ๊ฒŒ ์‹œ์ž‘ํ•  ์ˆ˜ ์žˆ๋„๋ก API ์™€ ๋ผ์ด๋ธŒ๋Ÿฌ๋ฆฌ๋ฅผ ์ œ๊ณตํ•ด์ค„ ๋ฟ๋งŒ ์•„๋‹ˆ๋ผ ์ œํ’ˆํ™”๊นŒ์ง€ ..

CS/Data Science 2019. 6. 9. 13:30
๋Œ€๊ธฐ์—… ์ฝ”๋”ฉ ํ…Œ์ŠคํŠธ ๊ณต๋ถ€๋ฐฉ๋ฒ•

์ฝ”๋”ฉ ํ…Œ์ŠคํŠธ, ์ฝ”๋”ฉ ์ธํ„ฐ๋ทฐ ์ŠคํŠธ๋ ˆ์Šค ๋ฐ›์ฃ . ๊ณต๋ถ€๋ฅผ ํ•˜๋ฉด ๋˜์ง€๋งŒ ์•„๋ฌด๋ž˜๋„ ํšจ์œจ์ ์œผ๋กœ ํ•˜๊ณ  ์‹ถ์œผ๋‹ˆ ๊ฒ€์ƒ‰๋ถ€ํ„ฐ ํ•ฉ๋‹ˆ๋‹ค. '์ฝ”๋”ฉ ํ…Œ์ŠคํŠธ ๊ณต๋ถ€ ๋ฐฉ๋ฒ•'ใ…Žใ…Ž ์ด์ œ๋Š” ์•ˆํ•˜์ง€๋งŒ ์ €๋„ ์ฐธ ์—ด์‹ฌํžˆ ๊ฒ€์ƒ‰์„ ํ–ˆ์—ˆ์ฃ . ์ €๋Š” ๋ฌธ์ œํ’€์ด๋„ ์žฌ๋ฐŒ์ง€๋งŒ ํ”„๋กœ์ ํŠธํ•˜๋Š” ๊ฒƒ์„ ๋” ์ข‹์•„ํ•˜๋Š”๋ฐ ๊ทธ๋ž˜๋„ ์ € ๋†’์œผ์‹  ๋ถ„๋“ค๊ป˜ '์ œ๊ฐ€ ์ด๋Ÿฌ์ด๋Ÿฐ๊ฑธ ํ–ˆ์–ด์š”์˜ค!!'๋ผ๊ณ  ์‹ ๋‚˜๊ฒŒ ๋ณด์—ฌ์ฃผ๊ธฐ ์ „์— ์ผ๋‹จ ์ด ์žฅ๋ฒฝ์„ ๋„˜์–ด์•ผ์ฃ . ์ด์ œ๋Š” ๋Œ€์ถฉ ์ฝ”ํ…Œ๊ฐ€ ๋ฌด์—‡์„ ์›ํ•˜๋Š”์ง€, ์–ด๋Š์ •๋„๋ฅผ ์š”ํ•˜๋Š”์ง€ ๊ฐ์€ ์˜ค๋Š” ๊ฒƒ ๊ฐ™์Šต๋‹ˆ๋‹ค. ์Šค๋งˆํŠธํ•˜์‹  ๋ถ„๋“ค๊ป˜์„œ ์ด๋ฏธ ์ •๋ฆฌํ•ด์ฃผ์‹  ๋‹ค์–‘ํ•œ ์ž๋ฃŒ๋“ค์„ ์ •๋ฆฌํ•ด๋ณด๋„๋ก ํ•˜๊ฒ ์Šต๋‹ˆ๋‹ค. ์•ˆ๊ฒฝ์žก์ด ๊ฐœ๋ฐœ์ž (Youtube) ๊ณต๋ถ€ ์‚ฌ์ดํŠธ ๊ธฐ์ดˆ : ์ฝ”๋“œ์—…(์•Œ๊ณ ๋ฆฌ์ฆ˜์„ ์ฒ˜์Œ ์ ‘ํ•˜๋Š” ํ•™์ƒ์ด ์‰ฝ๊ฒŒ ์‹œ์ž‘ํ•  ์ˆ˜ ์žˆ๋Š” ๊ธฐ์ดˆ 100์ œ) ๊ทธ ์ดํ›„: ๋ฐฑ์ค€, ์ฝ”๋“œํฌ์Šค ๋“ฑ์˜ ์‚ฌ์ดํŠธ์—์„œ ๋ฌธ์ œ๋ฅผ ํ’€์–ด๋ณด๋Š” ๊ฒƒ์ด ..

CS/๊ธฐํƒ€ 2019. 6. 2. 18:41
[0.78468]Kaggle(์บ๊ธ€) : Titanic ์ƒ์กด์ž ์˜ˆ์ธก(Logistic Regression)

๋“ค์–ด๊ฐ€๊ธฐ์— ์•ž์„œ... accuracy : 0.78468 / gradient descent algorithm & logistic regression ์ง์ ‘ ์ฝ”๋“œ ์งฌ ์ง€๋‚œ ํ•™๊ธฐ์— '๋ฐ์ดํ„ฐ์‚ฌ์ด์–ธ์Šค ๊ฐœ๋ก ' ์ˆ˜์—…์„ ๋“ฃ๊ณ  ๋ฐฉํ•™ ๋•Œ ๋กฏ๋ฐ ์—˜ํฌ์ธํŠธ ๋Œ€ํšŒ๋ฅผ ํ†ตํ•ด ์‹ค์ „์„ ๋งž์ดํ–ˆ๋Š”๋ฐ, ํ˜„์‹ค์€ ์ƒ๊ฐ๋ณด๋‹ค ๊ฐ€ํ˜นํ•˜๋”๋ผ. ์‹ฌ์ง€์–ด ๊ฑฐ๊ธฐ์„œ ์ค€ ๋ฐ์ดํ„ฐ๋„ ์–ด๋Š ์ •๋„ ์ •๋ฆฌ๋ฅผ ํ•˜๊ณ  ์คฌ์„ํ…๋ฐ... (์•„ ๊ทผ๋ฐ ์•„๋‹Œ๊ฒƒ ๊ฐ™๋‹ค... ๊ฐ€์ƒ ๋ฐ์ดํ„ฐ๋ฉด ๊ฐ€์ƒ ๋ฐ์ดํ„ฐ์ง€ ์ •๋ฆฌ๋Š” 1๋„ ์•ˆํ•˜๊ณ  ์ฃผ์‹  ๋“ฏ... ๋งž์ฃ ?) ๊ทธ๋ฆฌ๊ณ  ์ด๋ฒˆ ํ•™๊ธฐ์—๋Š” ๋ฐ์‚ฌ๊ฐœ์˜ ์—ฐ์žฅ์„  ์ƒ์— ์žˆ๋Š” '๋ฐ์ดํ„ฐ๋งˆ์ด๋‹๊ณผ ๋ถ„์„' ์ด๋ผ๋Š” ์ˆ˜์—…์„ ๋“ฃ๊ณ  ์žˆ๋‹ค. ์ค‘๊ฐ„๊ณ ์‚ฌ๊ฐ€ ๋๋‚˜๊ณ  ํ•œ์ฐธ(?) ํ›„์—์•ผ ๋‚˜์˜จ ์ฒซ ๋ฒˆ์งธ ๊ณผ์ œ๋Š” Kaggle์˜ ์‹œ์ž‘๊ณผ๋„ ๊ฐ™์€ Machine Learning from Disaster (๊ณผ์ œ๊ฐ€ ๋‚˜์˜จ ..

CS/Data Science 2019. 5. 30. 19:40
์ž„์‚ฐ๋ถ€๋ฅผ ์œ„ํ•œ ์ฑ—๋ด‡(3) - Text Preprocessing(1)

๋žฉ์‹ค์—์„œ๋Š” ์—ฌ์ „ํžˆ ํฌ๋กค๋ง์ด ์ง„ํ–‰ ์ค‘์ด๊ณ , ์‹คํ—˜ ์ •์‹ ์„ ๋ฐœํœ˜ํ•ด ๋ณด๊ธฐ ์œ„ํ•ด ์•ฝ 8000๊ฐœ์˜ ๋ฐ์ดํ„ฐ๋งŒ ๋บด์™”๋‹ค. ๋ˆˆ์œผ๋กœ ์“ฐ์œฝ ๋ดค๋Š”๋ฐ, ์•„... ๋ถ„์„์ด ๋  ๋ฐ์ดํ„ฐ ๊ฐ™์ง€๋Š” ์•Š์€๋ฐ ํ•ด๋ณด์ž๐Ÿ˜Ž๐Ÿ˜Ž [Word Tokenization] : ๋‹จ์–ด ํ† ํฐํ™” ์‰ฝ๊ฒŒ ์ƒ๊ฐํ•ด์„œ ๋‹จ์–ด ๋ญ‰ํƒฑ์ด๋กœ ์ชผ๊ฐœ๋Š” ๊ฒƒ์„ ๋œปํ•œ๋‹ค. ๋ฌผ๋ก  Sentence Tokenization์„ ํ•  ๊ฒฝ์šฐ ๊ทธ ๋ญ‰ํƒฑ์ด์˜ ๋‹จ์œ„๊ฐ€ ๋ฌธ์žฅ์ด ๋œ๋‹ค๋Š” ์ฐจ์ด์ ์ด ์žˆ์ง€๋งŒ ํ•„์š”์— ๋”ฐ๋ฅธ ๊ธฐ์ค€์— ์˜ํ•ด ์ชผ๊ฐœ๋Š” ๊ฒƒ์„ ๋œปํ•˜๋Š” ๊ฒƒ์€ ๋ณ€ํ•จ ์—†๋‹ค. Word Tokenization(WT)์˜ ์˜ˆ์‹œ๋กœ๋Š” punctuation์„ ์ œ๊ฑฐํ•˜๊ณ  space๋ฅผ ๊ธฐ์ค€์œผ๋กœ ์ž˜๋ผ๋‚ด๋Š” ๊ฒƒ์ด๋ผ๊ณ  ํ•  ์ˆ˜ ์žˆ๊ฒ ๋‹ค. ๊ทธ๋Ÿฌ๋‚˜ ์ด๋Ÿฐ ์‹์˜ ์–ด์ ˆ ํ† ํฐํ™”๋Š” ํ•œ๊ตญ์–ด NLP(Natural Language Process)์—๋Š” ๋ถ€์ ํ•ฉํ•˜๋‹ค. ์™œ๋ƒํ•˜๋ฉด 1)ํ•œ๊ตญ..

CS/Data Science 2019. 4. 4. 23:04