Misskey: [MFM] #𝙏𝙤𝙠𝙪𝙜𝙖𝙬𝙖_𝙁𝙚𝙨𝙩𝙞𝙫𝙖𝙡_𝙞𝙨_𝙞𝙨_𝙨𝙤𝙤𝙤𝙤𝙤𝙤_𝙘𝙪𝙪𝙪𝙪𝙪𝙩𝙚 parsed as a text

[acid-chicken]

Summary

𝙏𝙤𝙠𝙪𝙜𝙖𝙬𝙖_𝙁𝙚𝙨𝙩𝙞𝙫𝙖𝙡_𝙞𝙨_𝙞𝙨_𝙨𝙤𝙤𝙤𝙤𝙤𝙤_𝙘𝙪𝙪𝙪𝙪𝙪𝙩𝙚 parsed as a text

Expected Behavior

[
  {
    node: {
      type: 'hashtag',
      props: {
        hashtag: '𝙏𝙤𝙠𝙪𝙜𝙖𝙬𝙖_𝙁𝙚𝙨𝙩𝙞𝙫𝙖𝙡_𝙞𝙨_𝙞𝙨_𝙨𝙤𝙤𝙤𝙤𝙤𝙤_𝙘𝙪𝙪𝙪𝙪𝙪𝙩𝙚',
      },
    },
    children: [],
  }
]

Actual Behavior

[
  {
    node: {
      type: 'text',
      props: {
        text: '#𝙏𝙤𝙠𝙪𝙜𝙖𝙬𝙖_𝙁𝙚𝙨𝙩𝙞𝙫𝙖𝙡_𝙞𝙨_𝙞𝙨_𝙨𝙤𝙤𝙤𝙤𝙤𝙤_𝙘𝙪𝙪𝙪𝙪𝙪𝙩𝙚',
      },
    },
    children: [],
  },
]

Remarks

FYI: https://akanechan.love/@akane/102829916397850143

[mei23]

ノーマル: 5文字, length=5
サロゲートペア: 35文字, length=70
---------------------------------
合計: length=75

でたぶん長さ制限

[mei23]

もともと「MongoDBのインデックス対象は128文字以上にできない」を根拠にフィルタしている部分
https://github.com/syuilo/misskey/blob/9f5a763c6971c2c37cf63e661918dcbbde7b4c08/src/services/note/create.ts#L168

そもそも対象データの長さではなくインデックス名の長さと思われるのでこの制限は間違えと思われる
https://docs.mongodb.com/manual/reference/limits/#Index-Name-Length

MFMの（おそらく仕様として）50文字でフィルタしている部分
https://github.com/syuilo/misskey/blob/9f5a763c6971c2c37cf63e661918dcbbde7b4c08/src/mfm/language.ts#L151

サロゲートペアと合字を考慮してないと思われる

[mei23]

misskey/src/services/note/create.ts の制限はAPに適用されるので必要ではありそう
でも前者と後者の制限値は同じじゃないとおかしそう

[mei23]

今は
「APから来た場合100文字まで登録できてAPIから100文字まで返ってくるのに、
クライントでは50文字まで認識」になってそうなので
misskey/src/mfm/language.ts の制限は misskey/src/services/note/create.ts より同じか大きい必要があると思われる

[syuilo]

そもそも対象データの長さではなくインデックス名の長さと思われるのでこの制限は間違えと思われる

長いハッシュタグが来たときにMongoDBはエラー出してたので、インデックス名の長さって対象データの長さのことじゃないかしら

[mei23]

https://docs.mongodb.com/manual/reference/limits/#Index-Name-Length
を見る限りmisskey.notes.$<フィールド名 + インデックスタイプ>みたいなものの長さに見えます
※ 128の制限は

また、MongoDB 4.0 で 200文字のハッシュタグは問題ないみたいです

[syuilo]

For MongoDB 2.6 through MongoDB versions with fCV set to "4.0" or earlier, the total size of an index entry, which can include structural overhead depending on the BSON type, must be less than 1024 bytes.

MongoDB 4.0からはそういう制限なくなったっぽい？

[mei23]

4.2からですね

[mei23]

おそらくエントリ長制限は1024バイトだと思います

For MongoDB 2.6 through MongoDB versions with fCV set to "4.0" or earlier, the total size of an index entry, which can include structural overhead depending on the BSON type, must be less than 1024 bytes.

確かにエラーになりました
[MongoError]: WiredTigerIndex::insert: key too large to index, failing 1034

[syuilo]

んーまあ制限なかったとしても、あまりに長いものはパフォーマンスに影響を及ぼしそうな気もするしインデックスする必要性も薄い場合が多いと思うので、多少ハッシュタグには文字数制限あってもいいと思います
めいめいが言及したように src/services/note/create.ts と src/mfm/language.ts をどっちも 128 で統一するのでどうでしょう

[mei23]

値は128に統一でいいと思います

＋サロゲートペアを2文字として数える→サロゲートペアを1文字として数える
になると思います

合字を1文字として数えるまで行うとDBスキーマの128を超える可能性が出てきてしまうので
合字はそれはやらないほうがいいかなという気がします。