엘라스틱서치 가이드

엘라스틱서치 가이드

용어 정리

---

💡 개념

ES의 개념 용어

• 색인 (indexing) : 데이터가 검색될 수 있게 원본을 토큰으로 변환하여 저장하는 과정
• 인덱스 (index, indices) : 색인 과정을 거친 결과물, 색인된 데이터가 저장되는 저장소 → 도큐먼트들의 집합
• 검색 (search) : 인덱스에 들어있는 검색어 토큰들을 포함하고 있는 도큐먼트를 찾아가는 과정
• 질의 (query) : 사용자가 원하는 도큐먼트를 찾거나 집계 결과를 출력하기 위해 검색 시 입력하는 검색어 또는 검색 조건
• 도큐먼트 (document) : 원본데이터를 색인 과정을 통해 색인된 데이터, 문서라고 칭하기도 함, 검색 결과시 여러 개의 도큐먼트 출력 → 단일 데이터 단위

---

💡 구조

ES의 구조 관련된 용어

• 클러스터링 : 대용량 데이터의 증가에 따른 스케일 아웃과 데이터 무결성을 유지 → 1개의 물리서버 마다 하나의 노드를 실행하는 것을 권장
• 디스커버리 : 노드가 처음 실행 될 때 같은서버, 또는 discovery.seed_hosts: [ ]에 설정된 네트워크 상의 다른 노드들을 찾아 하나의 클러스터로 바인딩하는 과정
• 샤드 (shard) : 루씬의 단일 검색 인스턴스, 인덱스는 기본적으로 샤드라는 단위로 분리되고 각 노드에 분산되어 저장
• 프라이머리 샤드 (primary shard) : 처음 생성된 샤드
• 복제본 (replica) : 복제본
• 마스터 노드 (master node) : 샤드의 위치와 같은 클러스터 상태 정보를 관리하는 노드
• 데이터 노드 : 실제로 색인된 데이터를 저장하고 있는 노드
• Split Brain : 데이터 정합성, 무결성 유지를 위해 마스터 후보 노드를 3개 이상의 홀수로 구성

클러스터에 노드를 추가하게 되면 샤드들이 각 노드들로 분산되며, 디폴트로 1개의 복제본 생성
→ 샤드와 복제본은 동일한 데이터를 담고 있으며 반드시 서로 다른 노드에 저장

단, 노드가 1개만 있는 경우 복제본은 생성되지 않음 → 최소 3개의 노드로 구성 할 것을 권장

---

💡 쿼리

ES의 검색 쿼리 용어

풀 텍스트 쿼리 (FULL TEXT QUERY)

• match_all : 별다른 조건없이 해당 인덱스의 모든 도큐먼트를 검색하는 쿼리
• match : 검색어가 포함되어 있는 도큐먼트 검색
• match_phrase : 검색어가 공백을 포함해 정확히 일치하는 내용을 검색

복합 쿼리 (Bool Query) : 여러 쿼리 조합

• must : 쿼리가 참인 도큐먼트를 검색
• must_not : 쿼리가 거짓인 도큐먼트를 검색
• should : 검색 결과 중 쿼리에 해당되는 도큐먼트의 점수를 높임
• filter : 쿼리가 참인 도큐먼트를 검색하지만 스코어를 계산하지 않음 (must 보다가 검색 속도가 빠르고 캐싱이 가능)

범위 쿼리 (Range Query) : 숫자 날짜 검색

• gte (Greater-than or equal to) : 이상 (같거나 큼)
• gt (Greater-than) : 초과 (큼)
• lte (Less-than or equal to) : 이하 (같거나 작음)
• lt (Less-than) : 미만 (작음)

정확도 (Relevancy) : 관련성 연관성

• score점수 : 검색된 결과가 얼마나 검색 조건과 일치하는지를 나타내며 점수가 높은 순으로 결과를 보여줌
• TF(Term Frequency) : 도큐먼트 내에 검색된 텀(Term)이 많을수록 점수가 높아지는 것
• IDF(Inverse Document Frequency) : 검색한 텀(Term)을 포함하고 있는 도큐먼트 개수가 많을 수록 점수가 감소하는 것
• Field Length : 도큐먼트에서 필드 길이가 큰 필드 보다는 짧은 필드에 있는 텀이 포함 될수록 점수가 높아짐

---

💡 인덱싱

ES의 인덱싱 관련 용어

• 역 인덱스 (Inverted Index) : 추출된 텀(Term)으로 도큐먼트 id를 가져올 수 있음
• 애널라이저 (Analyzer) : 문자열 필드가 저장될 때 데이터에서 검색어 토큰을 저장하는 처리과정을 텍스트 분석(Text Analysis)라고 하며 이 과정을 처리하는 기능을 뜻한다.
• 캐릭터 필터 : 전체 문장에서 특정 문자를 대치, 제거 과정을 담당하는 기능
• 토크나이저 : 전체 문장에 속한 단어들을 텀 단위로 하나씩 분리 해 내는 처리 과정을 담당하는 기능

애널라이저 구성
: 0 - 3개의 캐릭터 필터(Character Filter)와 1개의 토크나이저(Tokenizer), 0 - N(Token Filter)개의 토큰 필터로 이루어져 있음

인덱스 설정 : settings

• number_of_shards : 샤드 개수 설정
• number_of_replicas : 복제본 개수 설정
• refresh_interval : 세그먼트가 만들어지는 리프레시 타임

은전한닢 플러그인 : 형태소 분석기

• user_words : 사용자 사전
• user_dict_path : 사용자 사전 파일
• decompound : 복합명사 분해 (디폴트 true)
• deinflect : 활용어의 원형 추출 (디폴트 true)
• index_eojeol : 어절 추출 (디폴트 true)
• index_poses : 추출할 품사 (디폴트 ["N", "SL", "SH", "XR", "V", "M", "UNK"])
• pos_tagging : 품사태깅, 키워드에 품사를 붙여서 토큰을 뽑음 (디폴트 true)
• max_unk_length : unknown 키워드로 뽑을 수 있는 최대 길이 (디폴트 8)

1. 사용자 사전은 하나만 허용되어 여러 개의 토크나이저를 생성해도 마지막 로드된 사전으로 유지
2. user_words와 user_dict_path를 함께 설정할 경우 user_words무시
3. pos_tagging이 true일 경우 키워드와 품사가 함께 토큰으로 나오기 때문에 stopword, synonym 필터 사용시 적용 안됨

index_poses
1. UNK : 미지어
2. EP : 선어말어미
3. E : 어미 
4. I : 독립언 
5. J : 관계언
6. M : 수식언 
7. N : 체언
8. S : 부호
9. SL : 외국어
10. SH : 한자
11. SN : 숫자
12. V : 용언
13. VCP : 긍정지정사
14. XP : 접두사
15. XS : 접미사
16. XR : 어근

인덱스 매핑 : mappings

• 매핑에서 필드들은 properties 항목의 아래에 지정
• 매핑을 지정하지 않고 도큐먼트를 저장하면 자동으로 매핑 설정 → 필드 타입은 들어가는 실 데이터 보다 큰 범위로 지정이 됨

---

💡 매핑 필드

ES의 필드 관련 용어

1. 문자열

• text : 입력된 문자열을 텀 단위로 쪼개어 역 색인 (풀 텍스트 검색에 사용할 문자열 필드 들을 text타입으로 지정)
  1. analyzer : 색인에 사용할 애널라이저 (디폴트 standard) → 토크나이저, 토큰필터들을 따로 지정할 수가 없음 (인덱스 매핑에서 설정)
  2. search_analyzer : 색인에 사용한 애널라이저가 아닌 검색 시에만 적용되는 애널라이저 → nGram으로 색인을 했을 때는 지정해주는 것이 적절
  3. index : false로 설정하면 해당 필드는 검색이 불가능 (디폴트 true)
  4. boost : 풀텍스트 검색 시 1보다 높으면 해당 필드 스코어 점수에 가중치 부여, 1보다 낮으면 가중치 감소 (디폴트 1)
  5. fielddata : true로 설정하면 해당 필드의 색인된 텀을 가지고 집계(aggregation - kibana) 또는 정렬(sorting)이 가능 (디폴트 false)

fielddata를 true로 설정이 되면 쿼리에 메모리 사용이 많아져 권장하지 않음 → keyword필드로 사용 권장

• keyword : 입력된 문자열을 하나의 토큰으로 저장, 집계(aggregation) 또는 정렬(sorting)에 사용할 문자열 필드를 지정

옵션 ( index, boost 옵션은 text타입과 동일 )

1. `doc_values` : `false`로 설정 시 집계와 정렬 설정 안됨 (디폴트 `true`)
2. `ignore_above` : 설정된 길이 이상의 문자열은 색인을 하지 않아 검색이나 집계 불가능 (디폴트 `2,147,483,647`)
3. `nomarlizer` : `keyword` 타입은 애널라이저를 사용하지 않는 대신 사용 → 토크나이저는 적용이 안되며, 캐릭터 필터와 토큰 필터만 적용해서 사용 가능

2. 숫자

• long : 64비트 정수
• integer : 32비트 정수
• short : 16비트 정수
• byte : 8비트 정수
• double : 64비트 실수
• float : 32비트 실수
• half_float : 16비트 실수
• scaled_float : 실수형이지만 부동소수점이 아니라 long 형태이며 옵션으로 소수점 위치 지정 → 통화 같이 소수점 자리가 고정된 값일때 사용

옵션 ( index, boost, doc_values 옵션은 text, keyword타입과 동일 )

1. `coerce` : 기본적으로 숫자로 이해될 수 있는 값들은 숫자로 변경 (디폴트 `true`)
2. `null_value` : 필드값이 입력되지 않거나 `null`일 때 디폴트 값 지정
3. `ignore_malformed` : `true`로 설정하면 숫자가 아닌 값이 들어와도 정상 (디폴트 `false`) → 검색이나 집계에서는 무시
4. `scaling_factor` (`scaled_float` 타입에서만 사용) : 소수점 몇 자리까지 저장할지 지정

3. 날짜

• date : epoch_millis 형태의 long데이터 입력 가능

옵션 ( `index`, `null_value`, `ignore_malformed` 옵션은 다른 타입과 동일 )

1. `format` : 입력 가능한 날짜 형식을 `||`로 구분

4. 불리언 - boolean

• boolean

옵션 ( `index`, `doc_values` 옵션은 다른 타입과 동일 )

1. `null_value` : 필드값이 입력되지 않거나 `null`일 때 디폴트 값 지정

5. Object - 한 필드 안에 하위 필드를 넣는 object

• object 필드 선언 할 때는 properties를 입력하고 그 아래에 하위 필드 이름과 타입 지정
• object 필드를 쿼리로 검색 하거나 집계 할때 ${필드명}.${하위필드명}

배열(array) 타입의 필드를 선언하지 않음

6. Nested - object 타입 필드에 있는 여러 개의 object 값들이 서로 다른 역 색인 구조

• nested

6. Geo : 도큐먼트 입력하기 전에 인덱스 매핑 정의 필수

• geo_point : 위도 경도 두개의 값을 가진 1차원 데이터 점

geo_bounding_box 쿼리 옵션 : 밑의 두 옵션을 기준으로 하는 네모 영역 안에 있는 도큐먼트를 가져옴

1. `top_left`
2. `bottom_right`

geo_distance 쿼리 옵션 : 밑의 옵션 값을 이용하여 반경의 원 안에 있는 도큐먼트를 가져옴

1. `distance`

• geo_shape : 선, 면 등의 2차원 값 → 도큐먼트 입력시 점, 선, 다중점, 다각형 등을 type에 명시

coordinates 값에 [경도, 위도] 배열 형식으로 입력
도큐먼트 입력 시 type

1. point : 단일 점 (geo_point와 같은 용도)
2. multipoint : 여러 점을 하나의 값으로 저장, 점들을 배열로 입력
3. linestring : 점 2개 값을 배열로 입력, 직선을 저장
4. multilinestring : 여러개의 직선을 배열로 저장
5. polygon : 배열의 순서대로 점을 이어 다각형 지정 → 배열 마지막 값 = 배열 처음 값
6. multipolygon : 여러개의 다각형을 배열로 저장
7. envelope : 좌측 상단 점과 우측 하단 점 두개로 직사각형을 저장

geo_shape 쿼리 옵션 : shape에 검색할 영역의 type, coordinates, relation 으로 검색

relation

• intersects : 쿼리 영역에 조금이라도 걸쳐있는 도큐먼트 결과
• within : 쿼리 영역에 완전히 포함되어있는 도큐먼트 결과
• disjoint : 쿼리 영역 바깥에 있는 도큐먼트 결과

8. IP : IP 주소 형식

   • ip

9. 범위 (Range) : 숫자나 날짜, IP (gt, gte, lt, lte 로 값 입력)

• integer_range
• float_range
• long_range
• double_range
• date_range
• ip_range
• range 쿼리 옵션

relation
within : 도큐먼트 범위 값이 쿼리한 범위 안에 완전히 포함된 도큐먼트 결과
contains : within과 반대로 쿼리 범위가 도큐먼트 범위 안에 완전히 포함되는 도큐먼트 결과intersects : 도큐먼트 범위 값과 쿼리 범위에 공통적인 부분이 있는 도큐먼트 결과

10. Binary : 시스템 파일이나 이미지 정보 같은 바이너리 값 저장 → 색인이 되지 않아 검색이나 집계 불가능

• binary

10. 멀티 필드 (Multi Field) : 하나의 필드값만 있지만, 필드의 값을 여러 개의 역 색인 하여 저장 가능한 필드

---

💡 집계 (Aggregation)

키바나 대시보드에서 사용

• aggregations만 사용하는 경우 size를 0으로 세팅하면 쿼리 성능이 좋아짐

종류

1. metrics : 숫자 또는 날짜 필드의 값을 가지고 계산

• min
• max
• sum
• avg
• stats : 위의 값들을 모두 가져오고 count까지 한번에 가져오는 옵션
• cardinality : 필드의 값이 몇 종류인지 구할 수 잇음 → text필드에서 사용 불가하며, 숫자 필드나 keyword, ip 필드 등에 사용 가능
• percentiles : 값들을 백분위로 출력 (디폴트 1%, 5%, 25%, 50%, 75%, 95%, 99% 구간) → 구간 설정 시 percents 옵션 사용
• percentile_ranks : 반대로 값을 입력해서 그 값이 위치 해 있는 백분위 출력

1. bucket : 범위나 keyword 값 등을 가지고 도큐먼트들을 그룹화 values에 값 입력

• range : 숫자 필드 값으로 범위를 지정하고, 각 범위에 해당하는 버킷을 만듬

  1. field : 필드명
  2. ranges : 배열로 from, to 값 세팅

• histogram : range와 마찬가지로 숫자 필드의 범위

  1. field : 필드명
  2. interval : 간격 크기

date_range, date_histogram : 날짜 필드를 이용해서 범위 지정
calendar_interval 옵션 : day, month, week 간격 지정 가능
fixed_interval : 정확히 구분되는 날짜 (예시 : 30일 - 30d)

• terms : keyword 필드의 문자열 별로 그룹화

하위(sub-aggregations) : bucket으로 만든 내부에 bucket 또는 metrics 생성 가능
-> depth가 깊어질 수록 작업량과 메모리 소모량이 커져 오류 발생의 가능성

3. pipeline : 다른metrics aggregation의 결과를 새로운 입력으로 하는 기능

• min_bucket

• max_bucket

• avg_bucket

• sum_bucket

• stats_bucket

• moving_avg : 이동 평균

• derivative : 미분값

• cumulative_sum : 값의 누적 합

  1. buckets_path : 사용할 버킷 지정 → > 를 사용해서 지정 가능 (예 : 부모버킷>자녀버킷)

---

💡 결과

ES 검색 RESPONSE 용어

• took : 요청 시간 (mills)

• timed_out : true 일 경우 시간 초과

• _shards : 요청된 샤드의 개수

  • total : 샤드의 총 개수
  • successful : 요청이 성공된 샤드의 수
  • skipped : 요청을 건너 뛴 샤드의 수
  • failed : 요청이 실패한 샤드의 수

• hits : 도큐먼트 및 메타데이터 포함

  • total : 도큐먼트의 개수에 대한 메타데이터

    • value : 도큐먼트 총 개수
    • relation : 개수에 대한 관계
      • eq : total.value와 일치
      • gte : total.value보다 크거나 같음

  • max_score : _score의 최댓값

  • hits : 도큐먼트 집합

    • _index : 인덱스 명
    • _id : 도큐먼트 ID
    • _score : 검색 점수
    • _source : 도큐먼트 JSON

---

기능 정리

🛠 인덱싱

ES 색인 관련 기능

애널라이저

• _analyze : 애널라이저 API를 이용하여 분석된 문장을 확인 할 수 있음
• _termvectors : 텀 백터 API를 이용해서 역 인덱스 내용 확인 가능
• 인덱스에 저장되는 데이터의 처리에 대한 설정은 애널라이저만 적용 가능 → 제공되는 애널라이저 보다는 사용자 정의 애널라이저를 주로 사용
• standard : 매핑에 아무 설정을 하지 않는 경우 디폴트로 적용되는 애널라이저

캐릭터 필터

• html_strip : HTML 태그 및 문법 용어들을 제거

토크나이저

• whitespace : 공백만으로 기준으로 텀 들을 분리
• standard : 공백으로 텀을 구분하면서 특수문자 제거
• letter : 알파벳을 제외한 모든 공백, 숫자, 기호들을 기준으로 텀을 분리
• uax_url_email : 이메일 주소와 URL 경로는 분리하지 않고 하나의 텀으로 처리
• path_hierarchy : 경로 데이터를 계층별로 저장해서 하위 디렉토리에 속한 도큐먼트를 수준별로 검색 가능

토큰 필터

• lowercase : 대문자를 소문자로 변경
• stop : a, an, are, at, the … 불용어로 간주되어 검색어 토큰에서 제외 → 언어팩에 있는 불용어 지정 가능 (한중일은 안됨)
• snowball : ~s, ~ing .. 와 같이 문법상 변형된 단어를 일반적으로 검색에 쓰이는 기본 형태로 변환
• synonym : quick, fast 동의어를 추가 해 주는 기능
• nGram : 빠른 검색을 위해 검색에 사용될 텀 들을 미리 분리해서 역 인덱스에 저장 → 검색 결과보다 자동완성 기능에 적합
• edgeNGram : 앞 쪽의 nGram만 저장
• shingle : 문자가 아니라 단어 단위로 구성된 묶음 (nGram은 문자 단위로 묶음)
• unique : 중복되는 텀 들을 하나만 저장

---

🛠 도큐먼트

ES 도큐먼트 입력 기능

---

🛠 검색

ES 검색 기능

• 쉼표로 나열해서 여러 인덱스를 검색하거나 *를 이용해서 검색 가능
• 반드시 필드명을 통해 쿼리하는 것이 이상적이다.
• match 검색 시, AND 조건으로 검색하려면 operator 옵션 사용
• match_phrase 검색 시, slop 옵션을 사용하면 검색어 중간에 설정한 slop 값의 개수만큼의 다른 단어가 들어올 수 있음
• should는 match_phrase와 함께 유용하게 사용 가능, 정확히 일치하는 결과를 맨 상위에 노출
• term 쿼리 match쿼리와 유사하지만 애널라이저를 적용하지 않고 검색어 그대로 일치하는 텀을 검색
• ${필드명}.keyword 검색 : 스코어를 계산하지 않으며 정확값의 일치 여부만을 판단 → 사용시 스코어에 영향을 주지 않은 filter 구문안에 넣어서 사용
• 범위 쿼리 (Range Query) : 스코어를 계산하지 않아 filter 구문안에 넣어서 사용
• 하이라이트 된 쿼리 태그 설정 가능
• 사이즈 (디폴트값 : 10)