¡ã = ETRI ÀÓÁØÈ£ ¼±ÀÓ¿¬±¸¿øÀÌ ÄÚ¹öÆ®(KorBERT) ÀÛµ¿ ¿ø¸®¿¡ ´ëÇØ ¼³¸íÇÏ°í ÀÖ´Ù. |
Çѱ¹ÀüÀÚÅë½Å¿¬±¸¿ø(ETRI)Àº ÃÖ÷´Ü Çѱ¹¾î ¾ð¾î¸ðµ¨ ‘ÄÚ¹öÆ®(KorBERT)’¸¦ °³¹ßÇØ ´©¸®Áý(http://aiopen.aihub.or.kr)À» ÅëÇØ °ø°³Çß´Ù°í 11ÀÏ ¹àÇû´Ù.
ÄÚ¹öÆ®´Â ÀÚ¿¬¾î ó¸® µö·¯´×À» À§ÇØ ¾ð¾î¸¦ ¼ýÀڷΠǥÇöÇÑ ÈÄ ÇнÀ¿¡ µû¶ó ´Ü¾î°¡ ³ªÅ¸³¯ È®·ü ºÐÆ÷¸¦ ¸ðÀº ¸»¹¶Ä¡·Î À̹ø¿¡ ¿¬±¸ÁøÀº ±¸±ÛÀÇ ¾ð¾îÇ¥Çö ¹æ¹ýÀ» ±â¹ÝÀ¸·Î ´õ ¸¹Àº Çѱ¹¾î µ¥ÀÌÅ͸¦ ³Ö¾î ¸¸µç ¾ð¾î¸ðµ¨°ú Çѱ¹¾îÀÇ '±³Âø¾î' Ư¼º±îÁö ¹Ý¿µÇØ ¸¸µç ¾ð¾î¸ðµ¨ µî 2Á¾·ù¸¦ °ø°³Çß´Ù.
¾ð¾î󸮸¦ À§ÇÑ µö·¯´× ±â¼úÀ» °³¹ßÅ° À§Çؼ´Â ÅؽºÆ®¿¡ ±â¼úµÈ ¾îÀýÀ» ¼ýÀڷΠǥÇöÇØ¾ß ÇÑ´Ù.
À̸¦ À§ÇØ ±×µ¿¾È ¾ð¾î¸¦ È°¿ëÇÑ ¼ºñ½º¸¦ °³¹ßÇÏ´Â ±â°ü¿¡¼´Â ÁÖ·Î ±¸±ÛÀÇ ´Ù±¹¾î ¾ð¾î¸ðµ¨ '¹öÆ®'(BERT)¸¦ »ç¿ëÇß´Ù.
¹öÆ®´Â ¹®Àå ³» ¾îÀýÀ» ÇÑ ±ÛÀÚ¾¿ ³ª´« µÚ ¾ÕµÚ·Î ÀÚÁÖ ¸¸³ª´Â ±ÛÀÚ³¢¸® ´Ü¾î·Î ÀνÄÇÑ´Ù.
´ë¿ë·® ¿ø½Ã ÅؽºÆ®·ÎºÎÅÍ ¾îÈÖ¿Í ¹®Àå °£ ¾ç¹æÇâ ¼±ÈÄ°ü°è¸¦ ÇнÀÇØ ´Ü¾îÀÇ ¹®¸ÆÀ» ¹Ý¿µÇÑ º¤ÅͷΠǥÇöÇÏ´Â ÀÌ ¹æ½ÄÀº Áö³ÇØ 11¿ù óÀ½ °ø°³µÅ ¾ð¾îó¸® 11°³ ºÐ¾ß¿¡¼ ¸¹Àº ¼º´É Çâ»óÀ» ÀÌ·ï ÁÖ¸ñÀ» ¹Þ¾Ò´Ù.
±¸±ÛÀº 40¿© ¸¸ °ÇÀÇ À§Å°¹é°ú ¹®¼ µ¥ÀÌÅ͸¦ »ç¿ëÇØ Çѱ¹¾î ¾ð¾î¸ðµ¨À» °³¹ßÇß´Ù. ETRI ¿¬±¸ÁøÀº ¿©±â¿¡ 23±â°¡(GB)¿¡ ´ÞÇÏ´Â Áö³ 10³â°£ÀÇ ½Å¹®±â»ç¿Í ¹é°ú»çÀü Á¤º¸¸¦ ´õÇØ 45¾ï°³ÀÇ ÇüżҸ¦ ÇнÀ½ÃÄÑ ±¸±Ûº¸´Ù ¸¹Àº Çѱ¹¾î µ¥ÀÌÅ͸¦ ±â¹ÝÀ¸·Î ¾ð¾î¸ðµ¨À» °³¹ßÇß´Ù.
¿¬±¸ÁøÀº µ¥ÀÌÅÍ ¾ç°ú ÀÇ¹Ì ÃÖ¼Ò ´ÜÀ§ÀÎ ÇüżұîÁö °í·ÁÇØ ±¹¾î Ư¼ºÀ» ÃÖ´ëÇÑ ¹Ý¿µÇÑ ¾ð¾î¸ðµ¨À» ¸¸µé¾î °íµµÈÇß´Ù.
À̹ø Çѱ¹¾î¿¡ ÃÖÀûÈµÈ ¾ð¾î¸ðµ¨Àº ¡ãÀüó¸® °úÁ¤¿¡¼ ÇüżҸ¦ ºÐ¼®ÇÑ ¾ð¾î¸ðµ¨ ¡ãÇѱ¹¾î¿¡ ÃÖÀûÈµÈ ÇнÀ ÆĶó¹ÌÅÍ ¡ã¹æ´ëÇÑ µ¥ÀÌÅÍ ±â¹Ý µîÀÌ ±¸±Û°úÀÇ Â÷º°¼ºÀ̶ó°í ¿¬±¸ÁøÀº ¼³¸íÇß´Ù.
°³¹ßµÈ ¾ð¾î¸ðµ¨Àº ¼º´ÉÀ» È®ÀÎÇÏ´Â 5°¡Áö ±âÁØ¿¡¼ ±¸±ÛÀÌ ¹èÆ÷ÇÑ Çѱ¹¾î ¸ðµ¨º¸´Ù ¼º´ÉÀÌ Æò±Õ 4.5% °¡·® ¿ì¼öÇϸç ƯÈ÷ ´Ü¶ô ¼øÀ§È(Passage Ranking) ±âÁØ¿¡¼´Â 7.4%³ª ³ôÀº ¼öÄ¡¸¦ ±â·ÏÇß´Ù.
ETRIÀÇ ¾ð¾î¸ðµ¨À» È°¿ëÇÏ¸é ¼ºñ½º ¼º´É ¹× °æÀï·ÂÀ» ³ôÀÏ ¼ö ÀÖ¾î µö·¯´× ¿¬±¸, ±³À° µîÀÇ ¸ñÀûÀ¸·Î ´ëÇÐ, ±â¾÷, ±â°üÀÇ °³¹ßÀÚµéÀÇ ¸¹Àº È°¿ëÀÌ ÀÌ·ïÁú °ÍÀ¸·Î ¿¹»óµÈ´Ù.
°³¹ßµÈ ¾ð¾î¸ðµ¨Àº ´ëÇ¥ÀûÀÎ µö·¯´× ÇÁ·¹ÀÓ¿öÅ©ÀÎ ÆÄÀÌÅäÄ¡(PyTorch)¿Í ÅÙ¼Ç÷οì(Tensorflow) ȯ°æ ¸ðµÎ¿¡¼ »ç¿ë °¡´ÉÇÏ¸ç °ø°øÀΰøÁö´É ¿ÀÇ API·µ¥ÀÌÅÍ ¼ºñ½º Æ÷Åп¡¼ ½±°Ô ã¾Æº¼ ¼ö ÀÖ´Ù.
¿¢¼Òºê·¹ÀÎ »ç¾÷ÀÇ ÃÑ°ýÃ¥ÀÓÀÚÀÎ ETRI ±èÇö±â ¹Ú»ç´Â "Çѱ¹¾î¿¡ ÃÖÀûÈµÈ ¾ð¾î¸ðµ¨À» ÅëÇØ Çѱ¹¾î ºÐ¼®, Áö½ÄÃß·Ð, ÁúÀÇÀÀ´ä µîÀÇ ´Ù¾çÇÑ Çѱ¹¾î µö·¯´× ±â¼úÀÇ °íµµÈ°¡ °¡´ÉÇÒ °ÍÀ¸·Î ±â´ëµÈ´Ù"°í ¸»Çß´Ù.
ÇöÀç ±¸±Û°ú ¿¬±¸ÁøÀÌ ¾ð¾î¸ðµ¨ °³¹ß¿¡ È°¿ëÇÑ BERT ¹æ½ÄÀº ¾à 512°³ ÀÌ»óÀÇ ´Ü¾î°¡ µé¾î°£ ¹®¼¸¦ ÇÑ ¹ø¿¡ ó¸®ÇÏÁö ¸øÇÑ´Ù. ÇâÈÄ ¿¬±¸ÁøÀº ÇÑ ¹ø¿¡ ´õ¿í ¸¹Àº ¾ð¾î µ¥ÀÌÅ͸¦ ó¸®ÇÏ°í °ËÁõ ¹æ¹ýÀ» °íµµÈÇÑ ¸ðµ¨À» °³¹ßÇÒ °èȹÀÌ´Ù.
ÃæûºñÁî thecm11@naver.com
<ÀúÀÛ±ÇÀÚ © ÃæûºñÁî, ¹«´Ü ÀüÀç ¹× Àç¹èÆ÷ ±ÝÁö>