Cb-tumblebug: Bug: ListNs() returns weird values

[jihoon-seo]

❯ ./delete-all-ns.sh
####################################################################
## 0. Namespace: Delete
####################################################################
{
   "message" : "All namespaces has been deleted"
}

(There should be no namespaces.)

❯ ./list-ns.sh | less
####################################################################
## 0. Namespace: List
####################################################################
{
   "ns" : [
      {
         "name" : "222f9394-f2b7-4c62-8024-586304b45eb3",
         "id" : "222f9394-f2b7-4c62-8024-586304b45eb3",
         "description" : ""
      },
      {
         "name" : "fe149015-ca50-4497-9cde-9ff0b3be2df2",
         "description" : "",
         "id" : "fe149015-ca50-4497-9cde-9ff0b3be2df2"
      },
      {
         "name" : "",
         "description" : "",
         "id" : "aws-us-east-1-t2.nano"
      },
      {
         "name" : "",
         "id" : "aws-us-east-1-t1.micro",
         "description" : ""
      },
      {
         "name" : "",
         "id" : "aws-us-east-1-t2.micro",
         "description" : ""
      },
      {
         "name" : "",
         "id" : "aws-us-east-1-a1.medium",
         "description" : ""
      },
      {
         "id" : "aws-us-east-1-c6g.medium",
         "description" : "",
         "name" : ""
      },
      {
         "description" : "",
         "id" : "aws-us-east-1-c6gd.medium",
         "name" : ""
      },
      {
         "id" : "aws-us-east-1-m1.small",
         "description" : "",
         "name" : ""
      },
      {
         "description" : "",
         "id" : "aws-us-east-1-t2.small",
         "name" : ""
      },
...

---

List Ns 했을 때 나오는 것들

• Spec
• Image
• ...

[issue-label-bot[bot]]

Issue-Label Bot is automatically applying the label bug to this issue, with a confidence of 0.98. Please mark this comment with :thumbsup: or :thumbsdown: to give our bot feedback!

Links: app homepage, dashboard and code for this bot.

[seokho-son]

@jihoon-seo 어떤 상황에서 버그가 발생하는지요?
다른 저장소의 업데이트 상황과 연계되어 있나요?

[jihoon-seo]

TB 에서 CreateNs() 함수를 부르면
Key-Value store에

• Key: "/ns/NS-01"
• Val: (JSON)

{
  "id": "NS-01",
  "name": "NS-01",
  "description": "my desc"
}

이런 형식으로 저장합니다.

---

이후 Image 객체를 생성하면
Key-Value store에

• Key: "/ns/NS-01/resources/image/IMAGE-01"
• Val: (JSON)

        {
            "connectionName": "'${CONN_CONFIG[$INDEX,$REGION]}'", 
            "name": "'${CONN_CONFIG[$INDEX,$REGION]}'-'${POSTFIX}'",
            "cspImageId": "'${IMAGE_NAME[$INDEX,$REGION]}'",
            "cspImageName": "",
            "creationDate": "",
            "description": "Canonical, Ubuntu, 18.04 LTS, amd64 bionic",
            "guestOS": "Ubuntu",
            "status": "",
            "keyValueList": [
                {
                    "Key": "",
                    "Value": ""
                },
                {
                    "Key": "",
                    "Value": ""
                }
            ]
        }

이런 형식으로 저장합니다.

---

TB 의 ListNs() 함수를 부르면

key := "/ns"
keyValue, err := CBStore.GetList(key, true)

를 호출하는데

CBStore.GetList() 함수는
/ns 라는 키의 하위에 있는 모든 Key-Val pair 를 리턴합니다.

• Key: "/ns/NS-01" 인 객체의 keyValue pair
• Key: "/ns/NS-01/resources/image/IMAGE-01" 인 객체의 keyValue pair
• ...

이러한 이유로 위와 같은 현상이 나타나고 있습니다.

---

KV store 에서
특정 계위 (예: /ns) 의 직속후배만 리턴하는 함수를
cb-store 에 추가 요청 드렸습니다.

이 함수가 완성되면, TB 에서 사용하고 있는 CBStore.GetList() 함수 부분을
새 함수로 대체하겠습니다.

Ref: @powerkimhub

[jihoon-seo]

[Files and functions that using CBStore.GetList() function]

• src/core/common/namespace.go
  
  
  
  • func ListNs() ([]NsInfo, error)
  
  
  • func ListNsId() []string
  
  
• src/core/mcir/common.go
  
  
  
  • func ListResourceId(nsId string, resourceType string) []string
  
  
  • func ListResource(nsId string, resourceType string) (interface{}, error)
  
  
• (obsolete) src/core/mcir/obsolete/publicip.go
  
  
  
  • func getPublicIpList(nsId string) []string
  
  
• (obsolete) src/core/mcir/obsolete/subnet.go
  
  
  
  • func getSubnetList(nsId string) []string
  
  
• (obsolete) src/core/mcir/obsolete/vnic.go
  
  
  
  • func getVNicList(nsId string) []string
  
  
• src/core/mcis/control.go
  
  
  
  • func ListMcisId(nsId string) []string
  
  
  • func ListVmId(nsId string, mcisId string) ([]string, error)
  
  
  • func GetRecommendList(nsId string, cpuSize string, memSize string, diskSize string) ([]TbVmPriority, error)
  
  

[jihoon-seo]

func ListNsId() []string 에 해당 로직이 있습니다.
https://github.com/cloud-barista/cb-tumblebug/blob/e42e87081448772bcb459971079e1d677e18d10d/src/core/common/namespace.go#L131
그런데 필터링을 수동으로 해 줘야 합니다.
(위의 링크에서는

        if !strings.Contains(v.Key, "mcis") && !strings.Contains(v.Key, "cpu") && !strings.Contains(v.Key, "resources") {
            nsList = append(nsList, strings.TrimPrefix(v.Key, "/ns/"))
        }

이렇게 필터링 하고 있음)

[안]

1. cb-store 에서 새 함수를 만들어 주시기를 기다린다.
2. func ListNsId() []string 에 있는 로직을 func ListNs() ([]NsInfo, error) 에도 넣는다. (다른 함수들에도 마찬가지)
3. func ListNs() ([]NsInfo, error) 를 호출하면
   func ListNsId() []string 를 호출하고
   그 결과로 나온 NsId 들에 대해 func GetNs(id string) (NsInfo, error) 하여
   최종적으로 []NsInfo 를 리턴한다.
   (다른 함수들에도 마찬가지)

[powerkimhub]

@jihoon-seo @seokho-son

[개요]

• Key-Value Store는 Key와 Value 내부 Semantic는 알지 못합니다. '/'의 포함 여부도...의미도...알지 못합니다.
• Key를 '/'를 사용하여 path를 만들어 관리하는 건 사용자의 몫이라 할수 있습니다.

[계획]

• Key "/ns/NS-01"에서 "/ns"는 Key는 아니고 Key의 일부 문자열로서,
• Key-Value Store 내부에서 의미를 부여하여 child list를 제공하는 것은 모호한 상황
• Cloud-Barista에서는 자주 쓰일 듯하니,
• cb-store utils에 다음 기능을 추가 예정
  
  
  
  • func GetChildList(keyValueList []KeyValue, key string) ([]KeyValue)
  
  

[사용예시]

keyValueList, _ := store.GetList("/ns", true)                 //  => /ns*
targetList, _ := utils.GetChildList(keyValueList, "/ns")  // => /ns/[*]

[powerkimhub]

@jihoon-seo @seokho-son

[utils.GetChildList() 추가 및 시험 완료]

• 참고: https://github.com/cloud-barista/cb-store/blob/master/test/test-v.sh