요즘은 인공지능의 시대입니다. 최근 화두인 인공지능은 이미지를 거쳐 이제 자연어가 기술 발전의 중심에 있습니다. 이 책은 인공지능 기술 발전의 중심에 서 있는 뉴럴 모델 기반의 자연어 처리 기술을 다루고 있으며, 한국어 처리 기술도 일부 다루었습니다.

이 책은 총 네 개의 파트로 구성되어 있습니다. 첫 번째 파트에서는 딥러닝으로 대표되는 뉴럴 모델의 기초를 간략히 다룹니다. 두 번째 파트에서는 뉴럴 모델을 이용하여 텍스트를 표현하는 방법에 대한 개념과 원리를 소개합니다. 세 번째 파트에서는 분류, 번역, 질의응답, 추론, 언어 모델링 등을 포함하는 자연어 처리의 주요 기술을 다루고, BERT 등의 당대 최고 성능을 내는 최신 기술에 대한 연구 결과를 마지막 파트에서 소개합니다.

들어가며

Part 1. 뉴럴 모델의 기초 - 신경망

Chapter 1. 신경망의 기본 구조와 학습 과정

1.1 신경망이란?

1.2 활성화 함수와 출력층

1.3 학습 과정

Chapter 2. 텍스트 처리에서의 CNN과 RNN

2.1 합성곱 신경망

2.2 순환 신경망

Part 2. 텍스트 표현 (Text Representation)

Chapter 3. 단어 수준의 텍스트 표현 - Word2vec

3.1 자연어를 컴퓨터에게 이해시키기

3.2 Word2vec

3.3 Word2vec의 속도 개선 및 평가

Chapter 4. 문장 수준의 텍스트 표현 - Doc2vec

4.1 Doc2vec

4.2 Doc2vec의 평가

Chapter 5. 하위 단어 수준의 텍스트 표현 - FastText

5.1 하위 단어 임베딩이란?

5.2 FastText

Chapter 6. FastText를 이용한 한국어 텍스트 표현

6.1 한국어 FastText [1]

Part 3. 텍스트 처리 (Text Processing)

Chapter 7. 텍스트 분류

7.1 텍스트 분류란?

7.2 CNN을 이용한 텍스트 분류

7.3 RNN을 이용한 텍스트 분류

Chapter 8. 기계 번역

8.1 기계 번역이란?

8.2 LSTM을 활용한 기계 번역

8.3 Seq2seq을 이용한 기계 번역

Chapter 9. 질의응답

9.1 질의응답이란?

9.2 GRU

9.3 기계 독해

Chapter 10. 자연어 추론

10.1 자연어 추론이란?

10.2 Bidirectional LSTM을 이용한 자연어 추론

10.3 다양한 자연어 추론 모델

Chapter 11. 언어 모델링

11.1 언어 모델링이란?

11.2 RNN을 활용한 언어 모델링

Chapter 12. 한국어 텍스트 처리를 위한 데이터셋

12.1 한국어 텍스트 분류를 위한 데이터셋

12.2 한국어 기계 번역을 위한 데이터셋

12.3 한국어 질의응답을 위한 데이터셋

12.4 한국어 언어 모델링을 위한 데이터셋

Part 4. 최신 연구 동향

Chapter 13. 어텐션 메커니즘

13.1 어텐션 메커니즘의 등장

13.2 seq2seq에 적용한 어텐션 메커니즘

Chapter 14. Transformer

14.1 Transformer의 등장

14.2 Transformer 기반 기계 번역

Chapter 15. BERT

15.1 ELMo, ULMFiT

15.2 OpenAI GPT, OpenAI GPT-2

15.3 BERT

15.4 최신 자연어 처리 모델들

Chapter 16. BERT를 이용한 한국어 처리

16.1 한국어 BERT 학습 [1]

16.2 사전 학습된 한국어 BERT

우리가 매일같이 가족, 친구들과 대화하고 뉴스, 책을 읽을 때 사용하는 언어를 인공지능은 어떻게 이해하고 처리할까? 이러한 궁금증에 대한 설명을 담았습니다.

특히, 딥러닝으로 대표되는 뉴럴 모델을 이용하여 우리가 매일 사용하는 언어를 이해하고 처리하는 최신 인공지능 기술을 소개하고 있습니다.

이 책은 자연어 처리에 관심을 가지는 일반 사람들과 대학생들, 그리고 자연어 처리 분야를 연구하는 대학원생들에게 언어 지능에 대한 밑그림을 전달하고자 하는 목적으로 구성되었습니다. 따라서 가능한 한 개념과 원리를 중심으로 쉽게 설명하려 노력하는 동시에, 코드 설명과 실습을 통한 실제 적용은 담지 않았습니다. 최근 자연어 처리 기술이 오픈소스 형태로 연구되고 있습니다. 독자들이 관심을 가지는 대부분의 기술은, 논문은 물론 데이터와 코드까지 공개되어 있어 어렵지 않게 독자들이 실제 적용해 보는 것이 가능합니다.

이상근

2003년부터 고려대학교 컴퓨터학과와 인공지능학과에서 교수로 재직하며, 빅데이터와 인공지능 분야의 후학을 양성하고 있습니다. 인간과 자연스럽게 소통할 수 있는 인간친화적인 인공지능의 출현을 꿈꾸며, 인간 수준의 언어 지능과 상식을 가진 인공지능을 연구하고 있습니다.