개발산발

“같은 검색어인데 왜 결과가 다르지?” - 한글 검색 정규화 문제 해결기

산희 — Wed, 13 Nov 2024 23:40:14 +0900

문제의 시작: “왜 검색 결과가 다르지?”

“힛탠다드”와 같은 검색어를 직접 입력했을 때는 문제가 없었어요. 하지만 "힛텐다드"와 같이 잘못된 검색어를 입력했을 때,

검색 서비스에서 제공하는 검색어 제안 기능으로 "힛탠다드"가 검색이 되면 NR(검색 결과 없음)으로 표시되는 이슈가 발생했습니다.

분명 같은 키워드인데 왜 어떤 상황에서는 검색이 잘되고, 다른 상황에서는 검색 결과가 나오지 않을까요?

힛탠다드에 대한 정상적인 검색 결과

문제 추적 과정: 어디서부터 차이가 생겼을까?

첫 번째 단서: encodeURIComponent로 인한 문자열 길이 차이 발견

검색어가 제안되었을 때만 NR(검색 결과 없음)이 발생하는 것을 발견하고, 검색어 제안 과정에 문제가 있을 가능성을 의심했습니다.

이때 프론트엔드 개발자분이 encodeURIComponent("힛탠다드")로 인코딩한 결과, 문자열의 길이 차이를 발견해 주셨습니다.

이를 통해 키워드가 다르게 인식되고 있음을 확인하게 되었습니다.

두 번째 단서: 유니코드 분석으로 확인한 NFD와 NFC 차이

문자열 길이 차이의 원인을 더 자세히 파악하기 위해, 유니코드 코드 포인트로 두 검색어를 분해하여 비교했습니다.

그 결과, 자동 제안된 키워드가 NFD 방식으로 분해된 상태라는 사실을 발견했습니다.

예시:

NFC(정상적인 검색어): 힛탠다드

코드 포인트: U+D79B U+D0E0 U+B2E4 U+B4DC

NFD(자동 제안된 검색어): 힛탠다드

코드 포인트: U+1112 U+1175 U+11BA U+1110 U+1162 U+11AB U+1103 U+1161 U+1103 U+1173

제안된 키워드가 NFD 방식으로 분리된 형태로 제공되어, 검색 엔진에 NFC 방식으로 저장된 데이터와 일치하지 않아 검색 결과가 나오지 않았던 것이 원인이었습니다.

문자셋과 인코딩에 대하여

문제를 이해하기 위해 문자셋과 인코딩의 개념을 간단히 살펴보겠습니다.

문자셋(Character Set)

문자셋은 컴퓨터가 문자들을 다루기 위해 각 문자에 부여한 고유한 코드의 집합입니다.

대표적인 문자셋:

ASCII 코드: 영어 알파벳, 숫자, 특수 문자 등을 포함하는 7비트 문자셋으로 구성되며 총 128개의 문자를 표현
- 예: A는 ASCII 코드로 65에 해당.
유니코드(Unicode): 전 세계의 모든 문자를 통합적으로 표현하기 위한 문자셋

인코딩(Encoding)

인코딩은 문자셋에 정의된 문자 코드를 컴퓨터 시스템에서 실제로 저장하고 전달하는 방식입니다.

대표적인 인코딩 방식:

UTF-8: 가변 길이 인코딩으로, ASCII 문자는 1바이트, 한글 등은 2~4바이트로 표현
UTF-16: 대부분의 문자를 2바이트로 표현

문제 원인: NFD와 NFC 정규화 방식의 차이

유니코드와 한글

유니코드는 완성형 문자와 조합형 문자 모두를 지원합니다.

완성형 문자: 자음과 모음이 결합된 하나의 음절을 하나의 코드 포인트로 표현합니다.

조합형 문자: 자음과 모음을 개별적인 코드 포인트로 분리하여 표현합니다.

이처럼 유니코드에서는 동일한 문자를 여러 가지 방법으로 표현할 수 있기 때문에, 이를 표준화하기 위한 정규화(Normalization) 방식이 필요합니다.

이 정규화 방식에는 NFC, NFD 등이 있습니다.

NFC (Normalization Form Composed)

문자를 완성형 문자로 조합하여 표현하는 방식입니다.

예시: '힛탠다드'를 완성형 코드 포인트로 표현하면 각 음절이 하나의 코드 포인트로 나타납니다.

'힛': U+D79B

'탠': U+D0E0

'다': U+B2E4

'드': U+B4DC

NFD (Normalization Form Decomposed)

문자를 분해된 자모 문자로 표현하는 방식입니다.

예시: '힛탠다드'를 자모로 분해하여 표현하면 각 음절이 자음과 모음의 조합으로 나타납니다.

'힛': ‘ᄒ’ (U+1112) + ‘ᅵ’ (U+1175) + ‘ᆺ’ (U+11BA)

'탠': ‘ᄐ’ (U+1110) + ‘ᅢ’ (U+1162) + ‘ᆫ’ (U+11AB)

'다': ‘ᄃ’ (U+1103) + ‘ᅡ’ (U+1161)

'드': ‘ᄃ’ (U+1103) + ‘ᅳ’ (U+1173)

왜 문제가 발생했을까?

이번 문제는 최근 검색어 제안 시스템을 이관하는 과정에서 제안된 응답을 NFC 방식으로 정규화하는 과정이 누락되면서 발생했습니다.

제안된 키워드가 NFD 방식으로 응답되었지만, 브라우저 상에서는 완성형처럼 보여 문제가 있는지 사전에 파악하기가 어려웠던 것이죠.

그 결과, 검색어 제안 기능에서 NFD로 정규화된 키워드가 그대로 검색 요청에 사용되었고, NFC 방식으로 저장된 검색 엔진 데이터와 일치하지 않아 검색 결과가 나오지 않는 상황이 발생했습니다.

결국, 정규화 방식의 불일치로 인해 같은 키워드임에도 불구하고 검색 엔진에서 매칭되지 않는 문제가 생긴 것입니다.

검색어 제안 시스템에서는 왜 NFD를 사용했을까?

한글의 특성과 편집 거리

한글은 자모(자음과 모음)로 이루어져 있어, 철자 오류나 오타에 민감합니다. 한 글자만 바뀌어도 단어의 의미가 완전히 달라질 수 있죠.

예시: "사랑", "사물", "사장", "사돈"

위 네 단어는 한 글자 차이지만, 의미는 완전히 다릅니다.

자소 분리를 하지 않고 단어 전체를 비교하면 편집 거리가 동일하게 계산되어 의도하지 않은 제안이 이루어질 수 있습니다.

자소 분리를 통한 정확한 편집 거리 계산

자소 분리를 통해 단어를 초성, 중성, 종성 단위로 나누면, 더 세밀한 편집 거리 계산이 가능합니다.

예시: 힛탠다드와 힛텐다드

자소 분리 후 편집거리를 비교하면 ㅐ와 ㅔ의 차이만 인식하여 사용자가 의도한 검색어를 제안할 수 있습니다.

문제 해결: 유니코드 정규화 일관성 유지하기

검색어 제안 API에서 응답을 제공할 때, 유니코드 정규화(NFC 방식)를 적용하여 문제를 해결했습니다.

이를 통해 NFC 방식으로 저장된 검색 엔진 데이터와 정규화 규약이 일치하게 되었고, 제안된 키워드로도 정상적인 검색이 가능해져 문제가 해결되었습니다.

⌨️ 번외. 플랫폼별 NFD와 NFC 렌더링 방식 차이

크롬 브라우저에서의 NFD와 NFC 처리

크롬 브라우저에서는 NFD와 NFC 정규화 여부와 상관없이 한글을 일관된 완성형 문자인 것처럼 렌더링합니다. 이로 인해 NFD와 NFC의 차이가 시각적으로 드러나지 않아 처음 문제를 파악하는 데 어려움이 있었습니다.

NFD면 당연히 쪼개져서 표현될 거라 생각했거든요.

크롬 브라우저상 NFC, NFD 글자 표현되어 구분이 되지 않는다.

macOS에서의 NFD와 NFC 처리

macOS는 기본적으로 NFD 방식을 사용하며, NFC와 NFD를 모두 지원합니다. 이 때문에 힛탠다드(NFC)라는 이름의 폴더를 생성한 후, 힛탠다드(NFD) 라는 이름의 폴더를 생성하려고 하면 같은 이름으로 인식되어 충돌이 발생합니다.

이는 macOS 파일 시스템이 두 정규화 방식을 동일하게 취급하기 때문입니다.

Windows에서의 NFD와 NFC 처리

Windows에서는 기본적으로 NFC 방식만을 사용하여 한글을 처리합니다.

이러한 이유로 NFD로 인코딩된 한글은 Windows 환경에서 자모가 분리된 형태로 변환되는 것을 확인했습니다.

예를 들어, NFD 방식의 힛탠다드를 폴더 이름으로 지정하려고 하면 "ㅎ ㅣ ㅅ ㅌ ㅐ ㄴ ㄷ ㅏ ㄷ ㅡ"처럼 자음과 모음이 분리된 형태로 표시됩니다.

Windows11 에서의 NFD, NFC

안드로이드에서의 NFD와 NFC 처리

흥미롭게도 안드로이드 14에서는 NFC와 NFD 간에 폰트 렌더링 차이가 있어 구분이 가능했습니다.

NFD로 인코딩된 한글은 글자 모양이 미세하게 다르게 표시되는 것이 확인되었습니다.

마무리 및 느낀 점

이번 문제는 겉보기에는 작은 해프닝처럼 보일 수 있지만, 이를 해결하는 과정에서 데이터 처리 일관성의 중요성과 한글 검색어 처리의 중요성을 다시 한 번 깨닫게 되었습니다.

배운 점 1: 데이터 처리 일관성의 중요성

시스템 전반에서 데이터 처리 방식을 일관성 있게 유지하는 것이 얼마나 중요한지 알게 되었습니다. 과거에 빅 엔디안과 리틀 엔디안 간의 차이로 발생한 NUXI 문제처럼, 데이터 처리 방식의 불일치는 서비스 안정성과 사용자 경험에 직접적인 영향을 줄 수 있다는 사실을 다시금 실감했습니다.

배운 점 2: 협업의 가치

이번 문제를 해결하는 데 있어 프론트엔드 개발자와의 협업이 큰 도움이 되었습니다. 서로 협력함으로써 문제를 더 빠르고 정확하게 해결할 수 있었습니다. 팀원 간의 원활한 소통이 얼마나 중요한지 다시 한 번 느꼈습니다.

Elasticsearch Enrich를 활용한 데이터 통합

산희 — Wed, 28 Aug 2024 00:42:21 +0900

Elasticsearch Enrich 프로세서란?

Elasticsearch Enrich 프로세서는 데이터에 추가적인 정보를 자동으로 결합해주는 기능입니다. 이 기능은 Elasticsearch 7.5 버전부터 제공되며, 특정 데이터를 사전에 정의된 정책(policy)에 따라 색인화 과정에서 다른 인덱스의 데이터와 결합할 수 있게 해줍니다.

Enrich 프로세서를 사용하기 위해서는 Elasticsearch 클러스터 내에 인제스트(Ingest) 노드가 필요합니다. Ingest 노드는 Ingest Pipeline을 통해 문서가 처리될 때 필수적인 역할을 하며, 데이터를 통합하거나 변환하는 과정을 처리합니다.

https://www.elastic.co/guide/en/elasticsearch/reference/current/ingest-enriching-data.html

Enrich Index의 특성

Enrich Index는 Elasticsearch에 의해 내부적으로 관리되는 시스템 인덱스입니다. 이 인덱스는 일반 사용자가 직접 접근하여 변경하는 것은 불가능합니다.
모든 Enrich Index는 .enrich-* 형식으로 시작하는 이름을 가집니다.
Enrich Index는 읽기 전용으로 설정되어 있어, 직접적인 데이터 변경이 불가능합니다. 데이터 수정이 필요한 경우 원본 인덱스 데이터를 수정하고 Enrich Policy를 다시 실행하여 Enrich Index를 갱신해야 합니다.
Policy를 통해 생성된 Enrich 데이터는 시스템 인덱스에 저장된 후 자동으로 업데이트되지 않습니다. 즉, 소스 데이터(예: 카테고리 정보)가 변경될 경우, 변경된 데이터를 인덱싱에 반영하기 위해서는 Policy를 수동으로 다시 실행해주어야 합니다. 이를 통해 Enrich 인덱스가 갱신됩니다.
검색 속도를 최적화하기 위해, Enrich Index는 force merge 되어 저장됩니다.

Enrich를 활용해 다중 문서 통합해보기

이제 제가 구성한 시나리오를 기반으로, Enrich 프로세서를 활용해 상품 정보에 카테고리 정보를 통합하는 실습을 진행 해보겠습니다.

이 실습에서 각 상품은 여러 카테고리에 속할 수 있으며 해당 카테고리들의 다양한 속성들이 함께 저장 된다고 가정합니다.

1. 카테고리 인덱스 생성 및 데이터 입력

먼저, 다양한 카테고리 정보를 담고 있는 category_index를 생성하고 데이터를 추가합니다. 이 데이터는 나중에 상품 정보와 통합될 소스 데이터로 사용됩니다.

PUT /category_index/_doc/1
{
  "category_code1": "001",
  "category_name1": "패션",
  "category_title1": "패션",
  "category_code2": "001001",
  "category_name2": "남성패션",
  "category_title2": "남성패션",
  "category_code3": "001001001",
  "category_name3": "상의",
  "category_title3": "상의",
  "category_code4": "001001001001",
  "category_name4": "티셔츠",
  "category_title4": "티셔츠",
  "category_type": "ITEM",
  "find_code": "001001001001@#ITEM",
  "use_yn": "Y",
  "display_start_date": "2022-01-01 00:00:00",
  "display_end_date": "2030-12-31 23:59:59"
}

PUT /category_index/_doc/2
{
  "category_code1": "002",
  "category_name1": "스포츠",
  "category_title1": "스포츠",
  "category_code2": "002002",
  "category_name2": "축구",
  "category_title2": "축구",
  "category_code3": "002002002",
  "category_name3": "용품",
  "category_title3": "용품",
  "category_code4": "002002002002",
  "category_name4": "축구공",
  "category_title4": "축구공",
  "category_type": "ITEM",
  "find_code": "002002002002@#ITEM",
  "use_yn": "Y",
  "display_start_date": "2022-01-01 00:00:00",
  "display_end_date": "2030-12-31 23:59:59"
}

PUT /category_index/_doc/3
{
  "category_code1": "003",
  "category_name1": "생활용품",
  "category_title1": "생활용품",
  "category_code2": "003003",
  "category_name2": "주방용품",
  "category_title2": "주방용품",
  "category_code3": "003003003",
  "category_name3": "그릇",
  "category_title3": "그릇",
  "category_code4": "003003003003",
  "category_name4": "접시",
  "category_title4": "접시",
  "category_type": "ITEM",
  "find_code": "003003003003@#ITEM",
  "use_yn": "Y",
  "display_start_date": "2022-01-01 00:00:00",
  "display_end_date": "2030-12-31 23:59:59"
}

PUT /category_index/_doc/4
{
  "category_code1": "004",
  "category_name1": "전자제품",
  "category_title1": "전자제품",
  "category_code2": "004004",
  "category_name2": "컴퓨터",
  "category_title2": "컴퓨터",
  "category_code3": "004004004",
  "category_name3": "노트북",
  "category_title3": "노트북",
  "category_code4": "004004004004",
  "category_name4": "게이밍노트북",
  "category_title4": "게이밍노트북",
  "category_type": "ITEM",
  "find_code": "004004004004@#ITEM",
  "use_yn": "Y",
  "display_start_date": "2022-01-01 00:00:00",
  "display_end_date": "2030-12-31 23:59:59"
}

PUT /category_index/_doc/5
{
  "category_code1": "005",
  "category_name1": "가전제품",
  "category_title1": "가전제품",
  "category_code2": "005005",
  "category_name2": "청소기",
  "category_title2": "청소기",
  "category_code3": "005005005",
  "category_name3": "무선청소기",
  "category_title3": "무선청소기",
  "category_code4": "005005005005",
  "category_name4": "로봇청소기",
  "category_title4": "로봇청소기",
  "category_type": "ITEM",
  "find_code": "005005005005@#ITEM",
  "use_yn": "Y",
  "display_start_date": "2022-01-01 00:00:00",
  "display_end_date": "2030-12-31 23:59:59"
}

PUT /category_index/_doc/6
{
  "category_code1": "006",
  "category_name1": "자동차용품",
  "category_title1": "자동차용품",
  "category_code2": "006006",
  "category_name2": "타이어",
  "category_title2": "타이어",
  "category_code3": "006006006",
  "category_name3": "자동차타이어",
  "category_title3": "자동차타이어",
  "category_code4": "006006006006",
  "category_name4": "겨울용타이어",
  "category_title4": "겨울용타이어",
  "category_type": "ITEM",
  "find_code": "006006006006@#ITEM",
  "use_yn": "Y",
  "display_start_date": "2022-01-01 00:00:00",
  "display_end_date": "2030-12-31 23:59:59"
}

PUT /category_index/_doc/7
{
  "category_code1": "007",
  "category_name1": "취미",
  "category_title1": "취미",
  "category_code2": "007007",
  "category_name2": "사진촬영",
  "category_title2": "사진촬영",
  "category_code3": "007007007",
  "category_name3": "카메라",
  "category_title3": "카메라",
  "category_code4": "007007007007",
  "category_name4": "DSLR",
  "category_title4": "DSLR",
  "category_type": "ITEM",
  "find_code": "007007007007@#ITEM",
  "use_yn": "Y",
  "display_start_date": "2022-01-01 00:00:00",
  "display_end_date": "2030-12-31 23:59:59"
}

PUT /category_index/_doc/8
{
  "category_code1": "008",
  "category_name1": "도서",
  "category_title1": "도서",
  "category_code2": "008008",
  "category_name2": "소설",
  "category_title2": "소설",
  "category_code3": "008008008",
  "category_name3": "판타지",
  "category_title3": "판타지",
  "category_code4": "008008008008",
  "category_name4": "하이판타지",
  "category_title4": "하이판타지",
  "category_type": "ITEM",
  "find_code": "008008008008@#ITEM",
  "use_yn": "Y",
  "display_start_date": "2022-01-01 00:00:00",
  "display_end_date": "2030-12-31 23:59:59"
}

PUT /category_index/_doc/9
{
  "category_code1": "009",
  "category_name1": "게임",
  "category_title1": "게임",
  "category_code2": "009009",
  "category_name2": "비디오게임",
  "category_title2": "비디오게임",
  "category_code3": "009009009",
  "category_name3": "콘솔게임",
  "category_title3": "콘솔게임",
  "category_code4": "009009009009",
  "category_name4": "플레이스테이션",
  "category_title4": "플레이스테이션",
  "category_type": "ITEM",
  "find_code": "009009009009@#ITEM",
  "use_yn": "Y",
  "display_start_date": "2022-01-01 00:00:00",
  "display_end_date": "2030-12-31 23:59:59"
}

PUT /category_index/_doc/10
{
  "category_code1": "010",
  "category_name1": "음악",
  "category_title1": "음악",
  "category_code2": "010010",
  "category_name2": "악기",
  "category_title2": "악기",
  "category_code3": "010010010",
  "category_name3": "피아노",
  "category_title3": "피아노",
  "category_code4": "010010010010",
  "category_name4": "그랜드 피아노",
  "category_title4": "그랜드 피아노",
  "category_type": "ITEM",
  "find_code": "010010010010@#ITEM",
  "use_yn": "Y",
  "display_start_date": "2022-01-01 00:00:00",
  "display_end_date": "2030-12-31 23:59:59"
}

2. 상품 인덱스 맵핑 구조 정의

공식 문서에서는 동적인 문서 맵핑으로 데이터 통합 예제를 제공하지만, 이번 실습을 통해 정적인 맵핑 구조로도 유연하게 데이터 통합이 가능하다는 점을 확인하기 위해 타겟 인덱스인 상품 인덱스(test-product)를 정적 구조로 정의합니다.

PUT /test-product
{
  "settings": {
    "analysis": {
      "analyzer": {
        "ngram_analyzer": {
          "type": "custom",
          "tokenizer": "ngram_tokenizer"
        }
      },
      "tokenizer": {
        "ngram_tokenizer": {
          "type": "ngram",
          "min_gram": 1,
          "max_gram": 3,
          "token_chars": [
            "letter",
            "digit"
          ]
        }
      }
    },
    "index": {
      "max_ngram_diff": 2
    }
  },
  "mappings": {
    "dynamic": "strict",  // strict 맵핑 구조 설정
    "properties": {
      "goods_no": {
        "type": "keyword"
      },
      "goods_name": {
        "type": "keyword"
      },
      "brand_name": {
        "type": "keyword"
      },
      "category_code": {
        "type": "keyword"
      },
      "enriched_category": {  // 통합된 카테고리 정보 저장
        "properties": {
          "find_code": {
            "type": "keyword",
            "fields": {
              "analyzed": {
                "type": "text",
                "analyzer": "ngram_analyzer"
              }
            }
          },
          "category_code1": { "type": "keyword" },
          "category_name1": { "type": "keyword" },
          "category_title1": { "type": "keyword" },
          "category_code2": { "type": "keyword" },
          "category_name2": { "type": "keyword" },
          "category_title2": { "type": "keyword" },
          "category_code3": { "type": "keyword" },
          "category_name3": { "type": "keyword" },
          "category_title3": { "type": "keyword" },
          "category_code4": { "type": "keyword" },
          "category_name4": { "type": "keyword" },
          "category_title4": { "type": "keyword" },
          "category_type": {
            "type": "keyword",
            "fields": {
              "analyzed": {
                "type": "text",
                "analyzer": "ngram_analyzer"
              }
            }
          },
          "display_start_date": {
            "type": "date",
            "format": "yyyy-MM-dd HH:mm:ss||yyyy-MM-dd||epoch_second"
          },
          "display_end_date": {
            "type": "date",
            "format": "yyyy-MM-dd HH:mm:ss||yyyy-MM-dd||epoch_second"
          },
          "use_yn": {
            "type": "keyword"
          }
        }
      }
    }
  }
}

3. Enrich Policy 설정

다음으로, Enrich Policy를 설정하여 카테고리 정보를 상품 정보에 통합할 수 있도록 준비합니다.

PUT /_enrich/policy/category_hierarchy_policy
{
  "match": {
    "indices": "category_index",
    "match_field": "find_code",
    "enrich_fields": [
      "category_code1",
      "category_name1",
      "category_title1",
      "category_code2",
      "category_name2",
      "category_title2",
      "category_code3",
      "category_name3",
      "category_title3",
      "category_code4",
      "category_name4",
      "category_title4",
      "category_type",
      "display_start_date",
      "display_end_date",
      "use_yn"
    ]
  }
}

4. Enrich Policy 실행

POST /_enrich/policy/category_hierarchy_policy/_execute

앞서 언급했듯이, 소스 데이터(예: 카테고리 정보)가 변경되면 변경된 내용을 반영하기 위해 Enrich Policy를 수동으로 다시 실행해야 합니다. 이 작업을 통해 Enrich 인덱스가 갱신되어, 최신 데이터를 인덱싱할 수 있습니다.

5. Ingest Pipeline 설정

Enrich Policy가 설정된 후, 이를 실제 문서에 적용하기 위한 Ingest Pipeline을 구성해야 합니다. 이 Pipeline은 데이터를 인덱싱할 때 카테고리 정보를 상품 문서에 통합하는 역할을 합니다.

PUT _ingest/pipeline/enrich_category_pipeline
{
  "processors": [
    {
      "enrich": {
        "policy_name": "category_hierarchy_policy",
        "field": "category_code",
        "target_field": "enriched_category",
        "max_matches": "100"
      }
    }
  ]
}

max_matches는 Enrich 프로세서에서 매우 중요한 설정으로, 매칭되는 데이터의 최대 개수를 정의합니다.이 설정은 Enrich Policy에서 지정한 match_field와 일치하는 여러 문서가 있을 때, 몇 개의 문서를 통합할지 결정합니다.

공식 문서에 따르면 최대값은 128이며, 그 이유는 문서의 크기가 지나치게 커지는 것을 방지하기 위함이라고 합니다.

max_matches: 1로 설정할 경우, 매칭되는 데이터 중 하나만 통합되며,target_field는 JSON 객체 형태가 됩니다.
max_matches: 2 이상으로 설정할 경우, 여러 매칭된 데이터를 통합할 수 있으며, 이때 target_field는 JSON 배열로 변환됩니다. 예를 들어, 여러 개의 카테고리 정보가 상품에 연결될 경우, 각각의 카테고리가 배열에 담기게 됩니다.

6. 상품 데이터 인덱싱

이제 상품 데이터를 인덱싱할 때, Enrich Pipeline을 사용하여 카테고리 정보를 통합합니다.

일반적인 ES 문서 색인과 동일하지만 URL 파라미터를 보면 pipeline=enrich_category_pipeline가 추가 된 것을 확인할 수 있습니다.

POST /test-product/_doc?pipeline=enrich_category_pipeline
{
  "goods_no": "123456",
  "goods_name": "멀티 카테고리 상품",
  "brand_name": "브랜드명",
  "category_code": [
    "001001001001@#ITEM",
    "002002002002@#ITEM",
    "003003003003@#ITEM",
    "004004004004@#ITEM",
    "005005005005@#ITEM",
    "006006006006@#ITEM",
    "007007007007@#ITEM",
    "008008008008@#ITEM",
    "009009009009@#ITEM",
    "010010010010@#ITEM"
  ]
}

7. 통합된 데이터 확인

인덱싱된 데이터를 조회하여 카테고리 정보가 통합된 상태를 확인할 수 있습니다.

GET /test-product/_search
{
  "query": {
    "match_all": {}
  }
}

응답

{
  "took": 1,
  "timed_out": false,
  "_shards": {
    "total": 1,
    "successful": 1,
    "skipped": 0,
    "failed": 0
  },
  "hits": {
    "total": {
      "value": 2,
      "relation": "eq"
    },
    "max_score": 1,
    "hits": [
      {
        "_index": "test-product",
        "_id": "bxMTb5EBZ_Pa7rwW3zqv",
        "_score": 1,
        "_source": {
          "goods_name": "멀티 카테고리 상품",
          "enriched_category": [
            {
              "category_title3": "콘솔게임",
              "category_title4": "플레이스테이션",
              "category_name4": "플레이스테이션",
              "display_start_date": "2022-01-01 00:00:00",
              "category_title1": "게임",
              "category_title2": "비디오게임",
              "use_yn": "Y",
              "find_code": "009009009009@#ITEM",
              "category_name1": "게임",
              "category_type": "ITEM",
              "category_name2": "비디오게임",
              "category_name3": "콘솔게임",
              "category_code4": "009009009009",
              "category_code3": "009009009",
              "category_code2": "009009",
              "category_code1": "009",
              "display_end_date": "2030-12-31 23:59:59"
            },
            {
              "category_title3": "무선청소기",
              "category_title4": "로봇청소기",
              "category_name4": "로봇청소기",
              "display_start_date": "2022-01-01 00:00:00",
              "category_title1": "가전제품",
              "category_title2": "청소기",
              "use_yn": "Y",
              "find_code": "005005005005@#ITEM",
              "category_name1": "가전제품",
              "category_type": "ITEM",
              "category_name2": "청소기",
              "category_name3": "무선청소기",
              "category_code4": "005005005005",
              "category_code3": "005005005",
              "category_code2": "005005",
              "category_code1": "005",
              "display_end_date": "2030-12-31 23:59:59"
            },
            {
              "category_title3": "노트북",
              "category_title4": "게이밍노트북",
              "category_name4": "게이밍노트북",
              "display_start_date": "2022-01-01 00:00:00",
              "category_title1": "전자제품",
              "category_title2": "컴퓨터",
              "use_yn": "Y",
              "find_code": "004004004004@#ITEM",
              "category_name1": "전자제품",
              "category_type": "ITEM",
              "category_name2": "컴퓨터",
              "category_name3": "노트북",
              "category_code4": "004004004004",
              "category_code3": "004004004",
              "category_code2": "004004",
              "category_code1": "004",
              "display_end_date": "2030-12-31 23:59:59"
            },
            {
              "category_title3": "피아노",
              "category_title4": "그랜드 피아노",
              "category_name4": "그랜드 피아노",
              "display_start_date": "2022-01-01 00:00:00",
              "category_title1": "음악",
              "category_title2": "악기",
              "use_yn": "Y",
              "find_code": "010010010010@#ITEM",
              "category_name1": "음악",
              "category_type": "ITEM",
              "category_name2": "악기",
              "category_name3": "피아노",
              "category_code4": "010010010010",
              "category_code3": "010010010",
              "category_code2": "010010",
              "category_code1": "010",
              "display_end_date": "2030-12-31 23:59:59"
            },
            {
              "category_title3": "백팩",
              "category_title4": "노트북백팩",
              "category_name4": "노트북백팩",
              "display_start_date": "2022-01-01 00:00:00",
              "category_title1": "패션잡화",
              "category_title2": "가방",
              "use_yn": "Y",
              "find_code": "011011011011@#ITEM",
              "category_name1": "패션잡화",
              "category_type": "ITEM",
              "category_name2": "가방",
              "category_name3": "백팩",
              "category_code4": "011011011011",
              "category_code3": "011011011",
              "category_code2": "011011",
              "category_code1": "011",
              "display_end_date": "2030-12-31 23:59:59"
            },
            {
              "category_title3": "그릇",
              "category_title4": "접시",
              "category_name4": "접시",
              "display_start_date": "2022-01-01 00:00:00",
              "category_title1": "생활용품",
              "category_title2": "주방용품",
              "use_yn": "Y",
              "find_code": "003003003003@#ITEM",
              "category_name1": "생활용품",
              "category_type": "ITEM",
              "category_name2": "주방용품",
              "category_name3": "그릇",
              "category_code4": "003003003003",
              "category_code3": "003003003",
              "category_code2": "003003",
              "category_code1": "003",
              "display_end_date": "2030-12-31 23:59:59"
            },
            {
              "category_title3": "판타지",
              "category_title4": "하이판타지",
              "category_name4": "하이판타지",
              "display_start_date": "2022-01-01 00:00:00",
              "category_title1": "도서",
              "category_title2": "소설",
              "use_yn": "Y",
              "find_code": "008008008008@#ITEM",
              "category_name1": "도서",
              "category_type": "ITEM",
              "category_name2": "소설",
              "category_name3": "판타지",
              "category_code4": "008008008008",
              "category_code3": "008008008",
              "category_code2": "008008",
              "category_code1": "008",
              "display_end_date": "2030-12-31 23:59:59"
            },
            {
              "category_title3": "상의",
              "category_title4": "티셔츠",
              "category_name4": "티셔츠",
              "display_start_date": "2022-01-01 00:00:00",
              "category_title1": "패션",
              "category_title2": "남성패션",
              "use_yn": "Y",
              "find_code": "001001001001@#ITEM",
              "category_name1": "패션",
              "category_type": "ITEM",
              "category_name2": "남성패션",
              "category_name3": "상의",
              "category_code4": "001001001001",
              "category_code3": "001001001",
              "category_code2": "001001",
              "category_code1": "001",
              "display_end_date": "2030-12-31 23:59:59"
            },
            {
              "category_title3": "카메라",
              "category_title4": "DSLR",
              "category_name4": "DSLR",
              "display_start_date": "2022-01-01 00:00:00",
              "category_title1": "취미",
              "category_title2": "사진촬영",
              "use_yn": "Y",
              "find_code": "007007007007@#ITEM",
              "category_name1": "취미",
              "category_type": "ITEM",
              "category_name2": "사진촬영",
              "category_name3": "카메라",
              "category_code4": "007007007007",
              "category_code3": "007007007",
              "category_code2": "007007",
              "category_code1": "007",
              "display_end_date": "2030-12-31 23:59:59"
            },
            {
              "category_title3": "용품",
              "category_title4": "축구공",
              "category_name4": "축구공",
              "display_start_date": "2022-01-01 00:00:00",
              "category_title1": "스포츠",
              "category_title2": "축구",
              "use_yn": "Y",
              "find_code": "002002002002@#ITEM",
              "category_name1": "스포츠",
              "category_type": "ITEM",
              "category_name2": "축구",
              "category_name3": "용품",
              "category_code4": "002002002002",
              "category_code3": "002002002",
              "category_code2": "002002",
              "category_code1": "002",
              "display_end_date": "2030-12-31 23:59:59"
            },
            {
              "category_title3": "자동차타이어",
              "category_title4": "겨울용타이어",
              "category_name4": "겨울용타이어",
              "display_start_date": "2022-01-01 00:00:00",
              "category_title1": "자동차용품",
              "category_title2": "타이어",
              "use_yn": "Y",
              "find_code": "006006006006@#ITEM",
              "category_name1": "자동차용품",
              "category_type": "ITEM",
              "category_name2": "타이어",
              "category_name3": "자동차타이어",
              "category_code4": "006006006006",
              "category_code3": "006006006",
              "category_code2": "006006",
              "category_code1": "006",
              "display_end_date": "2030-12-31 23:59:59"
            }
          ],
          "brand_name": "브랜드명",
          "category_code": [
            "001001001001@#ITEM",
            "002002002002@#ITEM",
            "003003003003@#ITEM",
            "004004004004@#ITEM",
            "005005005005@#ITEM",
            "006006006006@#ITEM",
            "007007007007@#ITEM",
            "008008008008@#ITEM",
            "009009009009@#ITEM",
            "010010010010@#ITEM",
            "011011011011@#ITEM"
          ],
          "goods_no": "123456"
        }
      }
    ]
  }
}

번외. Enrich 인덱스의 문서 내용 확인하는 법?

Kibana에서 Enrich 인덱스 문서를 확인하려면 다음 단계를 따릅니다:

Kibana에서 Index Management로 이동합니다.
상단에서 Include hidden indices 옵션을 클릭한 후, 검색창에 enrich를 입력하여 생성된 Enrich 인덱스를 검색합니다.
우리가 생성한 .enrich-category_hierarchy_policy 인덱스를 클릭합니다.
우측 상단에 있는 나침반 아이콘을 클릭하면, 해당 Enrich 인덱스에 색인된 문서들을 확인할 수 있습니다.

이 방법을 통해 Enrich 인덱스의 내용을 쉽게 확인할 수 있습니다.

결론

이번 리서치와 실습을 통해 Elasticsearch의 Enrich 프로세서를 활용하여 데이터를 효과적으로 통합하는 방법을 익혔습니다. 특히, 공식 문서에서 주로 소개되는 동적 맵핑뿐만 아니라, 정적 맵핑 구조를 사용하여 데이터를 더 엄격하고 명확하게 관리할 수 있다는 점도 확인했습니다.

Enrich 프로세서를 활용할 때 몇 가지 유의사항만 잘 숙지한다면, 다양한 데이터 소스를 결합하고 복합적인 작업을 효율적으로 처리할 수 있을 것으로 보입니다.

참고

Enrich your data | Elasticsearch Guide [8.15] | Elastic

You can use the enrich processor to add data from your existing indices to incoming documents during ingest. For example, you can use the enrich processor to: Identify web services or vendors based on known IP addresses Add product information to retail or

www.elastic.co

Enrich processor | Elasticsearch Guide [8.15] | Elastic

The enrich processor can enrich documents with data from another index. See enrich data section for more information about how to set this up. Table 17. Enrich Options Name Required Default Description policy_name yes - The name of the enrich policy to use

www.elastic.co

왜 Elasticsearch 검색이 실패할까? 인덱스 Close와 Alias의 관계

산희 — Thu, 4 Jul 2024 20:33:28 +0900

배경

실무에서 Elasticsearch를 사용하면서 index_closed_exception 오류를 경험한 적이 있습니다.

해당 에러는 ES에서 4XX대 응답을 내려주고 있지만 자칫하면 검색이 되지 않는 크리티컬한 상황이 될 수 있습니다.

위 다이어그램은 제게 이슈가 있었던 상황을 표현한 것입니다.

복수 개의 인덱스가 존재하고 공통 alias로 인덱스가 연결 되어있는 상태일 때

alias 연관 인덱스를 close 하고 alias 검색 시 close 인덱스에도 접근을 시도 하게 되어 index_closed_exception 예외가 발생하며 검색 요청이 실패합니다.

해결

원인은 close된 인덱스가 여전히 alias에 의해 참조되고 있어서 발생한 에러 입니다.

A closed index is blocked for read/write operations and does not allow all operations that opened indices allow. It is not possible to index documents or to search for documents in a closed index

https://www.elastic.co/guide/en/elasticsearch/reference/current/indices-close.html

이러한 문제를 피하기 위한 가장 좋은 방법은

인덱스를 close하기 전에 해당 인덱스를 공통 alias에서 제거하거나 인덱스를 삭제하는 것입니다.

이 방법은 검색 실패를 미연에 방지하고, 시스템의 안정성을 유지하는 데 도움이 됩니다.

GitHub Actions를 이용하여 GitOps의 YAML 파일 동적 업데이트

산희 — Thu, 4 Jul 2024 20:32:19 +0900

배경

Jenkins & Spinnaker 기반의 CI/CD 환경에서 GitHub Action & Argo CD로 전환하게 되었습니다.
Spinnaker에서는 배포 시 동적 파라미터를 제공하여 yaml 을 수정하는 기능이 있었으나, Argo CD는 이러한 기능을 지원하지 않는걸로 파악했습니다.

구현

Argo CD가 GitOps 방식을 따르므로, 애플리케이션 배포 시 GitHub Actions를 활용하여 Deploy Repository의 yaml 파일을 워크플로우 디스패치 이벤트로부터 받은 파라미터로 동적으로 수정합니다. 이를 통해 최종 배포 단계에서 yaml 파일을 업데이트하여 파라미터를 주입합니다. (* yq 활용)

구현 샘플.

Application Repository 설정

# GitHub Workflow

name: Update WORKER_COUNT in sample.yaml

on:
  workflow_dispatch:
    inputs:
      workerCount:
        description: 'New WORKER_COUNT value'
        required: true
        default: '99' 
      userName:
        description: 'New userName value'
        required: true
        default: 'root'
      versionName:
        description: 'New Version Value'
        required: true
        default: '2'

jobs:
  update-yaml:
    runs-on: ubuntu-latest
    steps:
    - name: Checkout B Repository
      uses: actions/checkout@v2
      with:
        repository: 'author/repository'
        token: ${{ secrets.TEST_B_REPO_TOKEN }}
        ref: 'main'

    - name: Install yq (YAML Processor)
      run: sudo snap install yq

    - name: Update WORKER_COUNT in sample.yaml
      run: |
        yq eval '.version = ${{ github.event.inputs.versionName }}' -i sample.yaml
        yq eval '.services.worker.environment.WORKER_COUNT = "${{ github.event.inputs.workerCount }}"' -i sample.yaml
        yq eval '.databases.postgres.environment.POSTGRES_USER = "${{ github.event.inputs.userName }}"' -i sample.yaml

    - name: Commit and Push changes
      uses: EndBug/add-and-commit@v7
      with:
        author_name: authorName
        author_email: authorEmail
        message: 'Update WORKER_COUNT in sample.yaml to ${{ github.event.inputs.workerCount }}'
        add: 'sample.yaml'
        push: true
        token: ${{ secrets.B_REPO_TOKEN }}

Deploy Repository의 sample.yaml 예시

version: 1
services:
  web:
    image: "example/webapp:latest"
    ports:
      - "80:80"
    environment:
      DEBUG: "false"
      DATABASE_URL: "postgres://user:password@postgres:5432/dbname"
  worker:
    image: "example/worker:latest"
    environment:
      QUEUE: "tasks"
      WORKER_COUNT: "2"
databases:
  postgres:
    image: "postgres:13"
    ports:
      - "5432:5432"
    environment:
      POSTGRES_USER: "sampe"
      POSTGRES_PASSWORD: "password"
      POSTGRES_DB: "dbname"
networks:
  default:
    external:
      name: "my-custom-network"

[Datadog] Anomaly Detection 리서치

산희 — Thu, 4 Jul 2024 20:28:33 +0900

Anomaly Detection

메트릭의 과거 트렌드, 계절별 패턴을 비교 분석하여 메트릭이 정상적인 범위를 벗어 났는지 탐지하는 데이터독 기능

그래서 언제 사용?

https://docs.datadoghq.com/ko/monitors/guide/anomaly-monitor/

모니터링 하고자 하는 Elasticsearch 클러스터의 검색 성능과 관련된 지표에서 규칙적인 패턴이 발견됨.

이상 징후 모니터를 통해 기대 하는 것 (가설)

Datadog의 Anomaly Monitor를 통해 검색 지표를 모니터링 하여 비정상적인 부하를 조기에 감지하여 알람을 받을 수 있다.
이상 징후 알람으로 조기 조치가 가능 해진다면 시스템 다운타임을 방지하고, 사용자 경험을 개선하는 데 도움을 줄 수 있다.

설정 방법

Datadog - Monitors
Choose the detection method > Anomaly Detection 선택

Define the metric

Anomaly Detection은 모니터링 쿼리에 대해 Historical View,Evaluation Preview 2가지가 제공됨.

그래프명설명

Historical View	Evaluation Preview 보다 넓은 시간 범위에서 지표를 확인 할 수 있어 트렌드 파악에 용이
Evaluation Preview	Alerting Window 보다 큰 범위가 제공되며, Anomaly Algorithm이 계산한 경계를 회색 영역으로 제공함.

Set alert conditions

알람 조건설명예시

Anomaly Detection	메트릭이 Anomaly Algorithm에 의해 생성된 회색 영역을 벗어나는 경우를 감지할 때 사용 되는 조건	above
Trigger Window (= Alert Window)	Anomaly detection에서 알림을 트리거하기 위해 고려되는 특정 시간 범위	Evaluate the bounds for the last 1 hour
Recovery Window	메트릭이 정상지표로 탐지 되는 데 걸리는 시간 범위	Recover if the values are within the bounds for at least 1 hour
Alert Threshold	Datadog의 Anomaly detection에서 알림을 발생시키는 데 사용되는 기준이며, 일정 시간 동안 Deviations로 정해진 안정 범위(회색 영역)를 벗어난 메트릭의 비율을 말합니다.	70%
	Threshold가 높으면 많은 수의 데이터 포인트가 비정상 범위에 있어야 알림이 발생하고, 낮으면 적은 수의 데이터 포인트만으로도 알림이 트리거 됩니다.
Recovery Threshold	Recovery Window 동안 메트릭 비율이 정상으로 간주되는 비율	30%
	Recovery Threshold가 30%로 설정된 경우, Recovery Window 동안의 메트릭 중 30%만 비정상이어도 나머지 70%가 정상 범위에 있으면 알람이 해제

Recovery Window 크기

문서에 따르면, Recovery Window는 Trigger Window의 사이즈와 동일하게 가져가는 것이 일반적입니다.
하지만, Trigger와 Recovery 조건을 모두 충족시키는 상황을 피하기 위해 Trigger Window와 Alert Threshold에 따라 Recovery Window의 사이즈는 달라질 수 있습니다.

Recovery Window 크기 계산

- (최소 길이) Trigger Window * (1 - Threshold/100) + 1 min
- (최대 길이) Trigger Window 이상

Recovery Window 크기 계산 예시

- Threshold: 50%
- Trigger Window: 4h
- Recovery Window:
  - (최소 길이) 121 min (= 4h * (1-0.5) + 1min)
  - (최대 길이) 4h 이상

Recovery Window는 Trigger 시간 보다 조금 더 길어야만, Recovery 조건과 Trigger 조건을 동시에 만족하지 않게 됩니다.
따라서 Recovery Window의 최소 길이는 Trigger Window와 동시 충족되는 상황을 피하기 위해 2시간(120분)보다 1분 더 긴 121분이 되어야 합니다.

Advanced option

Advanced options설명예시

Deviations	비정상 감지의 민감도를 설정하는 표준편차의 배수로, 정상 범위에서 얼마나 많은 표준 편차를 벗어난 것을 비정상으로 간주할지 정의	Evaluation View의 회색 영역
Algorithm	이상 감지 알고리즘의 종류	basic, agile, robust
Seasonality	agile, robust 알고리즘에서 사용되는 메트릭의 패턴	hourly, daily, weekly
Daylight savings	agile, robust 알고리즘의 daily, weekly 패턴에서 사용 되는 썸머타임(타임존) 옵션

서머타임은 이상 징후 탐지 모니터에 어떤 영향을 미치나요?

Anomaly detection algorithms

알고리즘설명사용 예시

Basic	Basic 알고리즘은 Seasonality를 보지 않고, 롤링 퀀타일이라는 통계적 기법으로 정상 범위를 계산합니다.	데이터가 비교적 안정적이고 예측 가능할 때 사용, 변동성이 크지 않고 일관된 패턴을 보이는 메트릭에 적합
	Basic 알고리즘은 Alert Window 크기 만큼의 최근 데이터에서 계산된 퀀타일에서 구한 표준편차에 Deviations 값을 곱하여 정상 범위의 상한과 하한을 결정
Agile	메트릭의 최근 트렌드와 패턴 변화에 빠르게 적응 가능하여	웹 트래픽 모니터링, IT 인프라 모니터링 등..
	알고리즘은 변동성이 더 높고, 빠르게 변하는 데이터에 적합
Robust	메트릭 최근 트렌드의 큰 변화나 중요한 이상 현상을 감지하는 데 초점을 맞춘 방법	장기적인 변화 또는 추세를 감지하는 데 이상적
		장기적인 매출 감소나 증가 추세를 감지

Seasonality

각 Seasonality는 최소 3배 이상 많은 데이터를 가지고 있어야함.

(데이터를 집계해서 표준편차를 구하는 것 같음)

패턴설명예시

Hourly	한 시간전과 같이 동작하도록 예상	오후 5시15분이라면 오후 4시 15분, 오후 3시 15분 등과 같이 동작
Daily	오늘 시간이 지난 날의 시간처럼 동작할 것을 예상	오늘 오후 5시가 어제 오후 5시처럼 동작
Weekly	특정 요일이 지난 요일 처럼 동작하도록 예상함.	이번 화요일은 지난 화요일처럼 동작

Alert Conditions 사례 (by GPT)

장기적 이상 감지, 빠른 회복 확인:

* 장기적인 데이터 패턴이 중요한 시스템 *

- Trigger Window: 4시간
- Alert Threshold: 70%
- Recovery Window: 1시간 13분 -> 2시간
- Recovery Threshold: 30%

민감한 알람 설정, 완화된 회복 조건:

* 빠른 이상 감지가 중요한 민감한 시스템 *

- Trigger Window: 30분
- Alert Threshold: 50%
- Recovery Window: 30분
- Recovery Threshold: 20%

결론

아직은 Anomaly Detection을 적용하면서 처음 기대한 조기 예측에 따른 효과를 보지 못했다. 차차 서비스에 맞게 Threshold, Deviations, Algorithm 커스텀을 하면서 상황을 지켜봐야할 것 같다.

Deviations (표준편차) 1배수 / agile 알고리즘

Deviations (표준편차) 4배수, agile 알고리즘

Reference.

[Datadog] Detection Method 정리

산희 — Thu, 4 Jul 2024 20:27:50 +0900

데이터독에 전송된 메트릭은 사전에 정의한 임계값에 도달하면 알람을 받을 수 있다.

Threshold Alert

특정 메트릭이 설정된 임계값을 초과하거나 미달할 때 경고를 발생시키는 방법
적합한 상황
- 잘 알려진 성능 기준이나 목표가 있을 때 유용
사용 케이스
- CPU 사용량 (`elasticsearch.node.cpu.utilization`)이 설정된 임계치 도달
- 클러스터 상태 (`elasticsearch.cluster.health_status`)가 "yellow" 또는 "red"로 변경.
- 단위 샤드 크기 50GB 초과
- ES JVM 힙 메모리 85% 이상 사용
- LB 응답시간 p95가 200ms 이상

Change Alert

메트릭 값의 변화율을 감지하고, 이 변화율이 설정한 임계치를 초과할 때 알림을 발생시킵니다.
적합한 상황
- 평소와 다른 사용량 증가나 급격한 변화가 예상될 때
예상 사용 케이스
- 노드 수의 증가 또는 감소
- 샤드 수 변화

Forecast Alert

장기적인 과거 데이터를 바탕으로 미래의 데이터 트렌드를 예측하고, 예측된 범위를 벗어나는 경우
적합한 상황
- 특정 추세나 패턴을 따르는 메트릭에 유용하며, 예측 가능한 트래픽 증가나 이벤트가 예정되어 있을 때
예상 사용 케이스:
- 디스크 공간 사용량 예측
- JVM 메모리 사용 추세 예측
- CPU 부하의 미래 추세 예측
- 색인화 속도의 미래 추세 예측

Outliers Alert

특정 그룹이 동료 그룹과 다르게 행동하는 경우를 감지
예상 사용 케이스:
- 평소와 다른 검색 쿼리 지연 시간
- 특정 파드의 일반적이지 않은 JVM 메모리 사용량

Anomaly Alert

과거 데이터를 기반으로 정상 범위를 학습하고, 현재 데이터가 이 범위를 벗어날 때 경고를 발생시키는 메소드
적합한 상황
- 트래픽 변동성이 크거나, 평소와 다른 사용 패턴이 예상될 때
사용 케이스
- 비정상적인게 query_current 증가

Reference.

https://docs.datadoghq.com/monitors/

[Elasticsearch] maximum normal shards open - 클러스터 샤드 수 제한

산희 — Thu, 4 Jul 2024 20:18:03 +0900

상황

아래 ES 에러 메시지가 발생하면서 신규 인덱스 생성 불가

{"type":"illegal_argument_exception",
"reason":"Validation Failed: 1: this action would add [10] shards, 
but this cluster currently has [993]/[1000] 
maximum normal shards open;"}

분석

ES 공식문서에 따르면,

클러스터의 샤드 수는 노드 수에 기반한 소프트 제한이 있으며, 이것은 클러스터를 불안정하게 할 수 있는 작업을 방지하기 위함입니다.
클러스터 샤드 제한은 하드웨어 구성과 부하량에 따라 안정적인 샤드 수가 다릅니다.
closed index는 위 max_shards_per_node 에 포함되지 않습니다.
새 인덱스 생성, 인덱스 스냅샷 복원, closed index 열기와 같은 작업으로 샤드 수가 초과하게 되면 위와 같은 maximum normal shards open 에러가 발생합니다.
클러스터가 이미 샤드 제한을 초과한 경우, 일부 인덱스가 closed 되거나 삭제될 때까지 새로운 인덱스 생성이나 closed index 열기 작업이 실패합니다.
cluster.max_shards_per_node 설정으로 클러스터 샤드 제한을 동적으로 조정할 수 있으며, 이는 노드당 최대 수를 제한합니다.
cluster.max_shards_per_node 기본값은 1000입니다.

해결방법

1. 샤드 수 조정
  - 인덱스당 샤드 수 조정
  - 샤드 병합(포스 머지)
  -  Open Index 중 사용하지 않는 인덱스를 Closed 혹은 Delete 처리

2. 클러스터 설정 변경 (cluster.max_shards_per_node)

3. 데이터 노드 증설

클러스터 설정 변경 (cluster.max_shards_per_node)

해당 옵션은 각 노드가 보유할 수 있는 최대 샤드(Shard) 수로 상황에 따라 성능 저하가 동반될 수 있어 장기적으로는 샤드 크기와 구조를 최적화 하는게 바람직함.

cluster.max_shards_per_node 설정 확인

    
GET _cluster/settings?include_defaults

max_shards_per_node 옵션 조정

PUT _cluster/settings
{
  "persistent": {
    "cluster.max_shards_per_node": "원하는 샤드 수"
  }