語録の拡張仕様募集 #1
Loading…
Add table
Reference in a new issue
No description provided.
Delete branch "%!s()"
Deleting a branch is permanent. Although the deleted branch may continue to exist for a short time before it actually gets removed, it CANNOT be undone in most cases. Continue?
語録はコピペのように使うものではないから、言語使用での変化にも対応する必要があるってはっきりわかんだね(確信)
〜スギィ!など対応しやすいものはパターンマッチングで拡張すればいいけど、カッコ表記なんかは難しそう(小並感)
うまいアイデア、喉元まで来てるらしいっすよ(嘘つき)
Gemmaとかもデカスギィ! なのでLLMベースでやるのは現実的ではなさそう
何かとチャットなどのブラックリストにぴったりなので最軽量で作って、どうぞ
attentionを肥大化させる必要はないはず
@awayatan 淫夢語録を検知しました: スギィ!
言葉は選びましょう ( ᐛ )
↑これ単純マッチングなので本当は「デカス ギィ!」で検知したいし、今回のように(これは意図しているが)スペースやハイフン、ピリオドなどで回避する場合にも意味ベースで適切に検知できるシステムが欲しい……欲しくない?
ノイズはtransformerっぽく語録構築できないか気になる
日本語なら「スギィ」しかり「して、どうぞ」しかりマッチングする箇所はあるはず、それとw2vの類似性とか? ベクトル内部に表現の類似性があるか不明だしwordで検知できない長い語録が多い?
真面目に学術目的でやるなら最新研究あたろう
LLMに投げて思考させるのは速度は出ないが精度は出そうよね。ローカルだとどこまでいけるかな、その思考と検出に量子化の影響はどれくらいであるか、とか、そこらの検証は面白いかもしれない。指標が曖昧だけど。