Cb-tumblebug: "List NS" is not working well

[jihoon-seo]

What happened
:

[현상 1]
"already exists" occurs for non-existing namespace

cb-tumblebug/src/testclient/scripts/2.configureTumblebug# ./list-ns.sh
####################################################################
## 0. Namespace: List
####################################################################
{
  "ns": [
    {
      "id": "inno-demotest-ns",
      "name": "inno-demotest-ns",
      "description": "innogrid namespace for test"
    },
    {
      "id": "mzc-demotest-ns",
      "name": "mzc-demotest-ns",
      "description": "mzc\nnamespace"
    }
  ]
}

cb-tumblebug/src/testclient/scripts/2.configureTumblebug# ./create-ns.sh
####################################################################
## 2. Namespace: Create
####################################################################
{
  "message": "CreateNs(); The namespace ns-jhseo already exists."
}

---

[현상 2]
NS 를 새로 만든 뒤 "List NS" 해도 보이지 않음

cb-tumblebug/src/testclient/scripts/2.configureTumblebug# ./create-ns.sh
####################################################################
## 2. Namespace: Create
####################################################################
{
  "id": "ns-jhseo2",
  "name": "ns-jhseo2",
  "description": "NameSpace for General Testing"
}

cb-tumblebug/src/testclient/scripts/2.configureTumblebug# ./list-ns.sh
####################################################################
## 0. Namespace: List
####################################################################
{
  "ns": [
    {
      "id": "inno-demotest-ns",
      "name": "inno-demotest-ns",
      "description": "innogrid namespace for test"
    },
    {
      "id": "mzc-demotest-ns",
      "name": "mzc-demotest-ns",
      "description": "mzc\nnamespace"
    }
  ]
}

---

["Get NS" 는 작동함]

cb-tumblebug/src/testclient/scripts/2.configureTumblebug# ./get-ns.sh
####################################################################
## 0. Namespace: Get
####################################################################
{
  "id": "ns-jhseo2",
  "name": "ns-jhseo2",
  "description": "NameSpace for General Testing"
}

---

[Objects 조회 - /ns 로 조회하면 ns-jhseo, ns-jhseo2 보이지 않음]

{
  "object": [
    "/ns/inno-demotest-ns",
    "/ns/mzc-demotest-ns",
    "/ns/mzc-demotest-ns/mcis/mcis-expert-only22",
    "/ns/mzc-demotest-ns/mcis/mcis-expert-only22/vm/aaaa",
    "/ns/mzc-demotest-ns/mcis/mcis-expert-only22/vm/asynctest",
    "/ns/mzc-demotest-ns/mcis/mcis-expert-only22/vm/asynctest2",
    "/ns/mzc-demotest-ns/mcis/mcis-expert-only22/vm/asynctest3",
    "/ns/mzc-demotest-ns/mcis/mcis-expert-only22/vm/asynctest4",
    "/ns/mzc-demotest-ns/mcis/mcis-expert-only22/vm/simple-vm-import",
    "/ns/mzc-demotest-ns/mcis/mcis-expert-only22/vm/vm-test0001",
    "/ns/mzc-demotest-ns/mcis/mzc-aws-mcis-01",
    "/ns/mzc-demotest-ns/mcis/mzc-aws-mcis-01/vm/mzc-aws-mcis-server-01",
    "/ns/mzc-demotest-ns/mcis/mzc-aws-mcis-01/vm/mzc-gcp-mcis-server-02",
    "/ns/mzc-demotest-ns/mcis/mzc-gcp-mcis-01",
    "/ns/mzc-demotest-ns/mcis/mzc-gcp-mcis-01/vm/expert-vm-01-add",
    "/ns/mzc-demotest-ns/mcis/mzc-gcp-mcis-01/vm/mzc-gcp-mcis-server-01"
  ]
}

[Objects 조회 - /ns/ns-jhseo 로 조회하면 /ns/ns-jhseo 가 보임]

{
  "object": [
    "/ns/ns-jhseo",
    "/ns/ns-jhseo/cpuSize/1/memSize/1/diskSize/0/specId/jhseo-wt-test",
    "/ns/ns-jhseo/resources/image/jhseo-wt-test",
    "/ns/ns-jhseo/resources/securityGroup/jhseo-wt-test",
    "/ns/ns-jhseo/resources/spec/jhseo-wt-test",
    "/ns/ns-jhseo/resources/sshKey/jhseo-wt-test",
    "/ns/ns-jhseo/resources/vNet/jhseo",
    "/ns/ns-jhseo/resources/vNet/jhseo-wt-test",
    "/ns/ns-jhseo2"
  ]
}

[Objects 조회 - /ns/ns-jhseo2 로 조회하면 /ns/ns-jhseo2 가 보임]

{
  "object": [
    "/ns/ns-jhseo2"
  ]
}

What you expected to happen
:

How to reproduce it (as minimally and precisely as possible)
:

Anything else we need to know?
:

Environment

• Source version or branch:
• OS:
• Others:

Proposed solution
:

Any other context
:

[추정]
Key-Value store 를 사용하는 과정에서, entry handling 을 제대로 하지 못해 일어난 현상일지..?

[jihoon-seo]

ns 로 시작하는 NS 에 대해서는 위의 현상이 발생하고,
ns 로 시작하지 않는 NS 에 대해서는 위의 현상이 발생하지 않고 있습니다.

cb-tumblebug/src/testclient/scripts/2.configureTumblebug# ./list-ns.sh
####################################################################
## 0. Namespace: List
####################################################################
{
  "ns": [
    {
      "id": "inno-demotest-ns",
      "name": "inno-demotest-ns",
      "description": "innogrid namespace for test"
    },
    {
      "id": "jhseo-test",
      "name": "jhseo-test",
      "description": ""
    },
    {
      "id": "jhseo-test2",
      "name": "jhseo-test2",
      "description": ""
    },
    {
      "id": "mzc-demotest-ns",
      "name": "mzc-demotest-ns",
      "description": "mzc\nnamespace"
    }
  ]
}

[seokho-son]

이상하네요.. 흠... 잘되던 기능이었던거 같은데..
최근에 이것저것 변경하면서 영향이 간 것 같기도 하고.. ㅠㅠ cb-store의 영향도 있으려나요.. ㅠㅠ

[seokho-son]

일단 현재 라이프사이클 정리하는데 오류가 좀 있어서 처리하고 함께 보도록 하겠습니다..

[seokho-son]

ns-01, ns-02 등록 후,

오브젝트로 리스트 조회(Key: /ns or /ns/ 하기를 했을 때의 결과는
/ns/ns-01 만 나오고 /ns/ns-02 는 나오지 않습니다.

오브젝트 조회 기능의 코드를 보면, 단순히 CBStore 의 GetList만 하기 떄문에
이 오류는 CBStore에서 기인했다고 판단이 됩니다.

// func GetObjectList returns IDs of each child objects that has the same key.
func GetObjectList(key string) []string {
    keyValue, _ := CBStore.GetList(key, true)
    var childIdList []string
    for _, v := range keyValue {
        childIdList = append(childIdList, v.Key)
    }
    return childIdList
}

@powerkimhub 오류 상황 참고하시기 바랍니다.

CBStrore의 해당 오류를 수정하면, 다른 FW에도 영향이 있어서,
혹시 모를 파장을 방지하기 위해서
카푸치노 행사까지는 수정하지 않고, 릴리스 전에 수정 및 테스트하는 것으로 이야기 되었습니다.

그 동안, 한시적으로, CB-TB의 ns 등을 사용하실 때 유의 사항을 공유 드립니다.

CB-TB (그리고 CB-Ladybug, 아마도 CB-Spider, .. 등도 모두 관련) 의 오브젝트(ns, mcis, vm, vnet, sg, ...)를 생성하실 때,
name (또는 id) 값으로 해당 string을 포함하는 패턴을 피해주시기 부탁드립니다.
(예를 들어 ns를 생성하실때, ns라는 단어를 피해주시고, mcis 생성하실 때 mcis를 피해주시는 등의 패턴입니다.)

명확하게 문제를 확인한 것은 ns 이며, 다른 오브젝트도 문제 발생의 소지가 있으므로

혹시 오브젝트 등록 후, 리스트 기능을 수행했는데
등록한 오브젝트가 리스트에 포함이 되어 있지 않다거나 하는 경우가 발생하면, 리포트를 부탁 드립니다.

[jihoon-seo]

@powerkimhub says (in this message):

관련 이슈는 10,000개 가까이 Object(Key/Value)가 등록되었을 때 발생하는 문제입니다.
현재 cb-store: GetList()가 fetch시 10,000개 limit이 존재합니다.

[jihoon-seo]

Related issue: https://github.com/cloud-barista/cb-store/issues/27

[jihoon-seo]

Resolved in https://github.com/cloud-barista/cb-store/releases/tag/v0.3.15