بىلىم ئامبىرىنىڭ ۋېكتورلۇق ئىزدەش مودېلىنى باشقا Embedding مودېلىغا ئالماشتۇرۇش، قارىماققا پەقەت سەپلىمە ئۆزگەرتىشتەك: مودېل نامىنى ئالماشتۇرۇش، ئۆلچىمىنى تەڭشەش، قايتا قوزغىتىش. لېكىن بىلىم ئامبىرىدا ھەقىقىي بىر دەرسلىك بار بولسا، ئىش بۇنچە ئاددىي بولمايدۇ.
HexClaw AI v0.5.0 نىڭ K12 ئاتا-ئانىلارغا ياردەم بېرىش ئىقتىدارىنى تەتقىق قىلىۋاتقاندا، بىلىم ئامبىرى پەقەت «بىر نەچچە ماتېرىيال يۈكلەش» بىلەن چەكلەنمەيدىغان بولدى. بالىنىڭ ئارخىپى مەلۇم دەرسلىككە باغلىنىدۇ، نۆۋەتتىكى بۆلەك ۋە بەت دائىرىسىمۇ يېتەكچىلىك زەنجىرىگە بىللە بېرىلىدۇ. بۇنىڭ ئىچىدە 131 بەتلىك «ماتېماتىكا، بەشىنچى سىنىپنىڭ كېيىنكى يېرىم يىلى.pdf» بار؛ نۆۋەتتىكى دائىرە تۆتىنچى بۆلەك، 45～62-بەتلەر. ماس مەشىق ھاسىل قىلىش ياكى يېتەكچىلىككە ئاساس بېرىش ئۈچۈن، مۇشۇ دەرسلىكتىن دەلىل تېپىش كېرەك.
دەل مۇشۇ نەشر يېڭىلىنىشىدا، يەرلىك بىلىم ئىندېكسىنىڭ ئىچىگە قوشۇلغان سۈكۈتتىكى Embedding مودېلىنى nomic-embed-text دىن Ollama دىكى qwen3-embedding:8b غا ئالماشتۇردۇق. ئىككى مودېلنىمۇ HexClaw نىڭ Ollama باشقۇرۇش كىرىش نۇقتىسىدىن چۈشۈرگىلى بولىدۇ. كونا دەرسلىك Nomic ئارقىلىق 768 ئۆلچەملىك ئىندېكسقا ئايلانغان؛ يېڭى مودېل 4096 ئۆلچەم چىقىرىدۇ، سۈرۈشتۈرۈش تەرىپىگە ۋەزىپە كۆرسەتمىسىمۇ قوشۇلىدۇ. نەشر يېڭىلانغاندىن كېيىنمۇ دەرسلىكنى ئىزدەشكە بولۇشى كېرەك.مودېلنى بىز ئالماشتۇردۇق؛ «دەرسلىكنى قايتا يۈكلەش» دېگەن تاپشۇرۇقنى ئاتا-ئانىغا قالدۇرمايلى.
ئالدى بىلەن بۇ قېتىمقى يەرلىك كۆچۈرۈشنى كۆرەيلى. تۇنجى قاراشتا مودېل نامى بىلەن ئۆلچەمنى ئۆزگەرتىشلا ئەمەسمۇ؟ سەپلىمە مىسالىغا يازساق، ھەقىقەتەن ئىككىلا قۇر:
لېكىن بۇ ئىككى قۇر ئۆزگەرتىلگەندە، ئىش ئەمدى باشلىنىدۇ. كونا ۋېكتور ئۆزلىكىدىن «ئۆلچەم ئۆستۈرمەيدۇ». كونا ھۆججەتلەرگە قايتىدىن ۋېكتور ھاسىل قىلىش، 8B يەرلىك مودېلنىڭ توپلام چوڭلۇقى ۋە ۋاقىت خامچوتىنى قايتا بەلگىلەش كېرەك. ئىزدەش نومۇرلىرىنىڭ تارقىلىشى ئۆزگەرگەچكە، مۇناسىۋەتلىكلىك چېكىنىمۇ ھەقىقىي دەرسلىك ئەۋرىشكىسى بىلەن قايتا تەڭشەش لازىم.
يەنە بىر چېگرانى ئېنىقلاي: v0.5.0 بۇلۇتتا ئورۇنلاشتۇرۇشنىمۇ قوللايدۇ، لېكىن ئارقا تەرەپنىڭ قەيەردە ئورۇنلاشتۇرۇلۇشى بىلەن Embedding مودېلىنىڭ قەيەردە ئىجرا بولۇشى ئىككى باشقا ئىش. يەرلىك ئورۇنلاشتۇرۇشمۇ بۇلۇت Embedding مۇلازىمىتىنى چاقىرالايدۇ؛ كونكرېت مودېل ئىشلەتكۈچىنىڭ سەپلىمىسى ۋە بىلىم ئامبىرى سىياسىتىگە باغلىق. مودېل قەيەردە ئىجرا بولسۇن، يېڭى ئىندېكس قانداق قۇرۇلىدۇ، كونا ئىندېكس قاچان ئۆتكۈزۈپ بېرىدۇ، يولدىكى سۈرۈشتۈرۈش قايسى ئەۋلادنى ئوقۇيدۇ — ھەممىسى ئېنىق بولۇشى كېرەك.
بۇ ماقالىنىڭ ئاساسلىق قارىشى
دەرسلىكنىڭ ئەسلى تېكىستىنى ساقلاپ قېلىشقا بولىدۇ؛ Embedding مودېلى ئالماشتۇرۇلغاندا ئۈچ ئىشنى ئايرىم باشقۇرۇش كېرەك:
① ۋېكتور قانداق ھاسىل قىلىنىدۇ — مودېل، ئۆلچەم ۋە كىرگۈزۈش ئۆزگەرتىشى ئىجرا كېلىشىمىنى تەشكىل قىلىدۇ؛ ھازىرقى ئېھتىياتچان سىياسەت بويىچە، كېلىشىم ئۆزگەرسە يېڭى ئەۋلاد ئىندېكس قۇرۇلۇپ قايتا ھېسابلىنىدۇ.
② قايتا قۇرۇش قانداق يۈرىدۇ — ھەر توپلامدىكى دانە سانى، ئومۇمىي rune سانى ۋە ۋاقىت چېكى ئىجرا خامچوتىغا تەۋە؛ بۇلارنى ئۆزگەرتىش پەقەت جەدۋەللەشنى ئۆزگەرتىدۇ، تاپشۇرۇلغان ۋېكتورلارنى قايتا ھېسابلىمايدۇ.
③ نەتىجە قانچىلىك مۇناسىۋەتلىك بولسا قوبۇل قىلىنىدۇ — مۇناسىۋەتلىكلىك چېكى ئىزدەش سىياسىتىگە تەۋە؛ قايتا باھالاش ۋە تەڭشەش لازىم، ۋېكتورنى قايتا ھېسابلاش ھاجەتسىز.
ئۈچىنى ئايرىم باشقۇرغاندىلا، بىر ۋاقىت چېكى تەڭشىكى پۈتۈن ئامبارنى قايتا ھېسابلاشقا ئايلانمايدۇ.
30 سېكۇنتلۇق نۇسخا:
131 بەتلىك بەشىنچى سىنىپ ماتېماتىكا دەرسلىكىنى مىسال قىلىپ، يەرلىك ئىندېكس Nomic نىڭ 768 ئۆلچىمىدىن Qwen نىڭ 4096 ئۆلچىمىگە ئالماشتۇرۇلىدۇ. HexClaw ئەسلى تېكىستنى ساقلاپ، نەشرلەنگەن ئىندېكس بىلەن يېڭى-كونا ۋېكتورنى ئايرىيدۇ؛ كونا ئىجرا قىلغۇچ يەنىلا ئىشلىسە، كونا ئىندېكس ئۆزگەرمىگەن، ئەۋلاد كىملىكى كۈچكە ئىگە مەزمۇنغا داۋاملىق مۇلازىمەت قىلىدۇ، يېڭى ئىندېكس ئارقا سۇپىدا كىچىك توپلاملارغا بۆلۈنۈپ قايتا قۇرۇلىدۇ. داۋاملىق ساقلىنىدىغان ۋەزىپە ۋە توپلام تىزىملىكى مەلۇم بولغان ئىلگىرىلەشنى ئەسلىگە كەلتۈرەلەيدۇ؛ چاقىرىش نەتىجىسى نامەلۇم بولسا ئاپتوماتىك قارىغۇلارچە قايتا سىنىمايدۇ. CAS ترانزاكسىيەسى سىياسەت، مەزمۇن نەشرى، ئىجارە ۋە قۇرۇلۇش ھالىتىنى تەكشۈرگەندىن كېيىن، ئوقۇش كىرىش نۇقتىسىنى ئاتوملۇق ئالماشتۇرىدۇ؛ مۇناسىۋەتلىكلىك چېكى ھەقىقىي ئەۋرىشكە بىلەن ئايرىم تەڭشىلىدۇ. ئارقا تەرەپنىڭ يەرلىكتە ياكى بۇلۇتتا ئورۇنلىشىشى Embedding مودېلىنىڭ قەيەردە ئىجرا بولۇشىنى بەلگىلىمەيدۇ.
«ئامبارغا كىرگۈزۈلدى» بىرلا ھالەت ئەمەس
ئالدى بىلەن «ئامبارغا كىرگۈزۈلدى»نى ئايرىپ كۆرەيلى. ئاتا-ئانا «دەرسلىك ئامبارغا كىرگۈزۈلدى» دېگەندە، كودتا بۇ ئەمەلىيەتتە ئۈچ خىل پاكىتقا توغرا كېلىدۇ.
جەدۋەلنى سول-ئوڭغا سىيرىپ بارلىق ستونلارنى كۆرگىلى بولىدۇ.
| چېگرا | تاپشۇرۇلغان پاكىت | تاپشۇرۇلغاندىن كېيىن نېمە قىلغىلى بولىدۇ | مەغلۇپ بولغاندا قانداق ئوقۇلىدۇ |
|---|---|---|---|
| قوبۇل قىلىش ترانزاكسىيەسى | ئەسلى ھۆججەت، مەنبە، ھۆججەت خاتىرىسى، ئارقا سۇپا ۋەزىپىسى | 202 قايتۇرىدۇ؛ ئىلگىرىلەشنى سۈرۈشتۈرگىلى بولىدۇ | تېخى ئىزدەشكە بولمايدۇ |
| تېكىستنى ئېلان قىلىش | ھۆججەت، تېكىست پارچىلىرى (chunk)، تولۇق تېكىست ئىندېكسى (FTS)، مەزمۇن نەشرى | تولۇق تېكىست ئىزدەش ۋە بەت نەقىلى ئىشلىتىلىدۇ | ۋەزىپە مەغلۇپ ياكى قايتا سىناشنى كۈتىدۇ؛ تاماملانمىغان تېكىست بىر تەرەپ قىلىش نەتىجىسى بىلىم ئامبىرى ئىزدەشىگە كىرمەيدۇ |
| مەنىلىك ئىندېكسنى ئېلان قىلىش / ئۆتكۈزۈۋېلىش | ھۆججەت مەلۇم ئەۋلاد ئىندېكستا تەييار بولىدۇ، ياكى پۈتۈن ئەۋلاد ئىندېكس قۇرۇلۇپ ئوقۇش كىرىش نۇقتىسى ئالماشتۇرۇلىدۇ | يېڭى ھۆججەت نۆۋەتتىكى بوشلۇققا كىرىدۇ، ياكى يېڭى بوشلۇق سۈرۈشتۈرۈشنى ئۆتكۈزۈۋالىدۇ | كۈچكە ئىگە كونا مەزمۇنغا نۆۋەتتىكى ئىندېكس مۇلازىمەت قىلىدۇ؛ ئوچۇق ئىزدەشتە تېكىستكە قايتىشقا بولىدۇ |
بۇ ئاۋارىچىلىق پەقەت يەرلىك بىلىم ئامبىرىغىلا خاس ئەمەس. OpenAI نىڭ File Search ى مەنىلىك ئىزدەش بىلەن ئاچقۇچلۇق سۆز ئىزدەشنى باشقۇرۇلىدىغان قورال قىلغان؛ ھۆججەت ۋېكتور ئامبىرىغا قوشۇلغاندىن كېيىن، پارچىلاش، Embedding ۋە ئىندېكسنى سۇپا تاماملايدۇ. رەسمىي ھۆججەتتە بەزى ئىندېكس قۇرۇش مەشغۇلاتلىرى يەنىلا ئاسىنخرون ۋەزىپە دەپ كۆرسىتىلگەن؛ تاماملىنىشىنى كۈتۈش ياكى ھالىتىنى سۈرۈشتۈرۈش لازىم.［1］ھۆججەتنىڭ يۈكلىنىشى بىلەن ئىزدەشنىڭ تەييار بولۇشى ئىككى باشقا ئىش.باشقۇرۇلىدىغان مۇلازىمەت ئەپنىڭ بىر قىسمىنى ئۈستىگە ئالىدۇ، لېكىن بۇ ھالەت چېگرىسى يەنىلا مەۋجۇت.
HexClaw زەنجىرىگە قايتساق، ئالدىنقى ئىككى قەدەم ئەسلى ھۆججەت بىلەن تېكىستنى بىر تەرەپ قىلىدۇ، ئۈچىنچى قەدەمدىلا ۋېكتور ئىندېكسىگە كېلىدۇ. ماقالىنىڭ مەزمۇنىمۇ شۇ.
PDF يېشىش ئەسلى ھۆججەت ۋە بەت دەرىجىلىك تەكشۈرۈش نۇقتىلىرىنى ساقلايدۇ، ئۈزۈلگەندىن كېيىن تاماملانغان بەتلەرنى قايتا ئىشلىتەلەيدۇ. پۈتۈن تېكىست تاماملىنىش تەكشۈرۈشىدىن ئۆتكەندىن كېيىن، بىلىم ئامبىرى ئىزدەشىگە كىرىدۇ. تۆۋەندە تېكىست، تولۇق تېكىست ئىندېكسى ۋە بەت نەقىلى تەييار ھالەتتىن باشلايمىز؛ كىرگۈزۈش جەريانىنى ئاچمايمىز.
ئۆلچەم پەقەت ئاشكارا مەيدان، ئىجرا كېلىشىمى ھەقىقىي يوشۇرۇن Schema
بۇ قېتىم 768 دىن 4096 ئۆلچەمگە ئۆتۈشتىكى فىزىكىلىق ماس كەلمەسلىك روشەن: ئۇزۇنلۇق تەكشۈرۈشىلا Qwen سۈرۈشتۈرۈش ۋېكتورىنىڭ Nomic ھۆججەت ۋېكتورى بىلەن سېلىشتۇرۇلۇشىنى توسىدۇ. لېكىن ئۆلچەم پەقەت بىرىنچى قاتلامنى ئاچىدۇ. كېلەر قېتىم باشقا بىر 4096 ئۆلچەملىك مودېلغا ئالماشتۇرساق، ياكى ئوخشاش Qwen نى ئىشلىتىپ پەقەت سۈرۈشتۈرۈش تەرىپىدىكى ۋەزىپە كۆرسەتمىسىنى ئۆزگەرتسەكمۇ، كونا ۋېكتورنى بىۋاسىتە قايتا ئىشلىتىش مۇمكىن بولماسلىقى بار.
ۋېكتور بىر فۇنكسىيەنىڭ چىقىرىشى؛ فۇنكسىيەنى ھەقىقىي بەلگىلەيدىغىنى مودېل مەھسۇلى، كىرگۈزۈش ئۆزگەرتىشى ۋە ئىجرا كېلىشىمىنىڭ بىرلەشمىسى. ئىككى خەرىتە ھەر ئىككىسى 4096 كاتەك قىلىپ بېسىلسىمۇ، ئوخشاش كوئوردېناتا سىستېمىسى بار دېگەنلىك ئەمەس؛ ئۆلچەمنىڭ ئوخشاش بولۇشى ئوخشاش ئوخشاشلىق ھېسابىغا قاتنىشىشنىڭ ئالدىنقى شەرتىلا، مودېل بىلەن كىرگۈزۈش ئۆزگەرتىشىمۇ ماس كېلىشى كېرەك。
Qwen رەسمىي تەمىنلىگەن تەڭسىز ئىزدەش ئۇسۇلى بۇنىڭ تىپىك مىسالى: ھۆججەت بىۋاسىتە كودلىنىدۇ، سۈرۈشتۈرۈش تەرىپىدە ئەسلى سوئال ئالدىغا ۋەزىپە كۆرسەتمىسى قوشۇلىدۇ.［3］HexClaw رەسمىي قېلىپقا ئاساسەن ئۆزىنىڭ ۋەزىپە چۈشەندۈرۈشىنى مۇقىملىغان؛ تۆۋەندىكى ئالدى قوشۇمچىنىڭ Query: دىن كېيىن قوشۇمچە بوشلۇق قوشۇلمايدۇ، ئەسلى سۈرۈشتۈرۈش بىۋاسىتە ئۇلىنىدۇ:
ھۆججەت ئالدى قوشۇمچىسى قۇرۇق قالىدۇ. كۆرسەتمە پەقەت سۈرۈشتۈرۈش تەرىپىگە قوشۇلىدۇ، پەقەت Embedding غا قاتنىشىدۇ؛ دەرسلىك ئەسلى تېكىستى ۋە FTS5 نى ئۆزگەرتمەيدۇ. سۈرۈشتۈرۈش بىلەن ھۆججەتكە ئوخشاش كۆرسەتمىنى قوشۇش «قولايلاشتۇرۇپ بىرلىككە كەلتۈرۈش»تەك كۆرۈنسىمۇ، ئەمەلىيەتتە ھۆججەتنىڭ Embedding غا كىرىدىغان تېكىستىنى ئۆزگەرتىدۇ.
«HexClaw AI نىڭ Prompt Engineering ى» مودېلغا يېزىلغان تېكىستنى كۆرۈنمە يۈز كېلىشىمى دەپ مۇنازىرە قىلىدۇ. بۇ يەردىكى سۈرۈشتۈرۈش كۆرسەتمىسىمۇ كېلىشىمنىڭ بىر قىسمى؛ ئۆزگىرىدىغىنى جاۋاب ئاھاڭى ئەمەس، ۋېكتور ھاسىل قىلىشقا قاتنىشىدىغان كىرگۈزۈش.
ئاشكارا مودېل نامى Qwen/Qwen3-Embedding-8B، Ollama دا ئىشلىتىلىدىغان ئېنىق مودېل ID سى qwen3-embedding:8b. رەسمىي مودېل 32～4096 ئۆلچەملىك Matryoshka ئىپادىسىنى قوللايدۇ.［3］［6］HexClaw ھازىر ئىجرا سەپلىمىسىدە (Profile) 4096 ئۆلچەمنى مۇقىملىغان. ئۆلچەمنى ئۆزگەرتىش ئۈچۈن كېيىنكى ئەۋلاد ئىندېكس (revision) قۇرۇلىدۇ، ئوخشاش ئەۋلادتا پەرقلىق ئۇزۇنلۇقتىكى ۋېكتور ئارىلاشتۇرۇلمايدۇ.
ئىجرا كېلىشىمى پەقەت HexClaw غىلا خاس مەسىلە ئەمەس. تەمىنلىگۈچىلەرنىڭ ۋېكتور ھاسىل قىلىش ۋە ماسلىشىش تەلىپىنى بىللە كۆرەيلى［7］［8］：
جەدۋەلنى سول-ئوڭغا سىيرىپ بارلىق ستونلارنى كۆرگىلى بولىدۇ.
| كېلىشىم قەيەردە يوشۇرۇنغان | رەسمىي كېلىشىم مىسالى | سىستېما نېمىنى ئەستە تۇتۇشى كېرەك |
|---|---|---|
| كىرگۈزۈش رولى | Qwen سۈرۈشتۈرۈش كۆرسەتمىسى؛ E5 سۈرۈشتۈرۈش/ھۆججەت ئالدى قوشۇمچىسى؛ Cohere input_type؛ Jina v3 Task LoRA | سۈرۈشتۈرۈش بىلەن ھۆججەتنىڭ ھەقىقىي كىرگۈزۈش بايتلىرى ۋە ۋەزىپە كىملىكى |
| ئىپادىلەش شەكلى | BGE-M3: dense / sparse / multi-vector دىن ئىبارەت ئۈچ ئىپادە | چىقىرىش ھالىتى، نومۇر مەنىسى ۋە ئىزدەش ئالگورىزىمى |
| چىقىرىش ۋە سان قائىدىسى | OpenAI / Qwen / Jina / Cohere نىڭ بەزى مودېللىرى ئۆلچەم قىسقارتىش ياكى چىقىرىش ئۆلچىمىنى تاللاشنى قوللايدۇ، كونكرېت قائىدىلىرى پەرقلىق | ئۆلچەم، dtype، نورماللاشتۇرۇش، ئۆلچەم كېسىش تەرتىپى ۋە ئەمەلىيلەشتۈرۈش نەشرى |
| ئەۋلادلار ئارا ماسلىشىش | Gemini 001 → 2 تولۇق قايتا ھېسابلىنىدۇ؛ Voyage 4 يۈرۈشلۈكى ئىچىدە بوشلۇق ئورتاق | كېلىشىمدە ماسلىشىش ئېنىق ۋەدە قىلىنمىسا، سۈكۈتتە ماس كەلمەيدۇ |
ئوخشاش مودېلمۇ ئەمەلىيلەشتۈرۈش نەشرى ئۆزگەرگەندە باشقا ئۇسۇلدا ۋېكتور ھاسىل قىلىشى مۇمكىن. Weaviate نىڭ خاسلىق تەرتىپى، مەيدان ئۇلاش ۋە چوڭ-كىچىك ھەرپ بىر تەرەپ قىلىشى مودېل كىرگۈزۈشىنى ئۆزگەرتىدۇ؛ Jina v3 مۇ نورماللاشتۇرۇش بىلەن ئۆلچەم كېسىشنىڭ ئىجرا تەرتىپىنى تۈزەتكەن. كونا نەتىجىگە ماس كېلىش ئۈچۈن، رەسمىي تەرەپ تارىخىي كود نەشرىنى مۇقىملاشنى تەلەپ قىلغان.［7］［12］مودېل نامى ئۆزگەرمىدى، لېكىن ۋېكتور ھاسىل قىلىش شەرتى ئۆزگەردى.
HexClaw بۇ كېلىشىمنى قانداق خاتىرىلەيدۇ: 12 مەيدان، بىر بارماق ئىزى
HexClaw ھەر بىر Embedding ئىجرا سەپلىمىسىنى كىملىك مەخپىي ئۇچۇرى يوق كېلىشىم قىلىپ خاتىرىلەيدۇ (cmd/hexclaw/semantic_index_runtime.go）：
بۇ 12 مەيدان ئۆلچەملىك JSON غا ئايلاندۇرۇلۇپ، SHA-256 قىلىنىدۇ؛ نەتىجە profile_config_hash。profile_id «قايسى تەمىنلىگۈچىدىكى قايسى مودېل» دېگەن سوئالغا جاۋاب بېرىدۇ، سەپلىمە بارماق ئىزى بولسا قايسى ئىجرا سەپلىمىسى ئىشلىتىلىۋاتقانلىقىنى ئايرىيدۇ. Endpoint، ئۆلچەم ياكى كىرگۈزۈش ئۆزگەرتىشى ئالماشسا، بىرىنچىسى ئۆزگەرمەسلىكى مۇمكىن، ئىككىنچىسى چوقۇم ئۆزگىرىشى كېرەك.
سۈرۈشتۈرۈشتە سەپلىمە بارماق ئىزى بويىچە نۆۋەتتە تىزىملانغان ئىجرا قىلغۇچ ماسلاشتۇرۇلىدۇ. ئوخشاش كېلىشىمدىكى ئىجرا قىلغۇچ تېپىلمىسا، ۋېكتور يولى ئېتىلىدۇ؛ بۈگۈنكى سۈكۈتتىكى مودېل بىلەن تۈنۈگۈنكى ۋېكتور چۈشەندۈرۈلمەيدۇ. بۇ بارماق ئىزى سەپلىمىنى بەلگىلەيدۇ، كونا مودېل ياكى تارىخىي ئىجرا مۇھىتىنى ئەسلىگە كەلتۈرۈپ بەرمەيدۇ.
بۇ ئۇسۇل ئېھتىياتچان: پەقەت سۈرۈشتۈرۈش كۆرسەتمىسى ئۆزگەرسە، ياكى ئوخشاش مودېلنىڭ endpoint ى ئالماشسا، ھۆججەت ۋېكتورىنى ماتېماتىكىلىق جەھەتتە قايتا ھېسابلاش شەرت بولماسلىقى مۇمكىن. لېكىن HexClaw بۇ ئۆزگىرىشلەرنى سەپلىمە بارماق ئىزىغا كىرگۈزۈپ، يېڭى سىياسەتنى قوللانغاندا يېڭى ئەۋلاد ئىندېكس قايتا قۇرۇش جەريانىدىن ئۆتكۈزىدۇ. بەدىلى بىر قېتىم ئارتۇق ھېسابلاش بولۇشى مۇمكىن، پايدىسى ئىجرا سەپلىمىسى بىلەن ئىندېكس ئەۋلادىنىڭ ماسلىقى ئېنىق.
تېخى تولۇق مۇقىملانمىغان بىر قىسمى بار: بۇ 12 مەيدان مودېل مەھسۇلىنىڭ digest ى، quantization دەرىجىسى ۋە inference ماتورى نەشرىنى ئايرىم خاتىرىلىمەيدۇ. ئوخشاش نامدىكى tag ئارقىسىدىكى مەھسۇلات ئۆزگەرسە، سەپلىمە بارماق ئىزى چوقۇم ئۆزگىرىدۇ دېگىلى بولمايدۇ.
ھەر بىر ئۆزگىرىش تولۇق قايتا قۇرۇشقا ئەرزىمەيدۇ
ۋېكتور ھاسىل قىلىش شەرتى، ھېسابلاشنى جەدۋەللەش خامچوتى، نەتىجە سۈزۈش قائىدىسى ئايرىم باشقۇرۇلۇشى كېرەك:
| قاتلام | تىپىك مەيدانلار | ئۆزگەرگەندىن كېيىنكى ھەرىكەت |
|---|---|---|
| ئىجرا كېلىشىمى | ئېنىق مودېل ID سى، ئۆلچەم، سۈرۈشتۈرۈش/ھۆججەت كىرگۈزۈش ئۆزگەرتىشى، نورماللاشتۇرۇش باياناتى | ھازىرقى ئېھتىياتچان سىياسەت: يېڭى hash، يېڭى revision، قايتا قۇرۇش |
| ئىجرا خامچوتى | ھەر توپلام دانە سانى، ئومۇمىي rune، چاقىرىش ۋاقىت چېكى | جەدۋەللەشنى تەڭشەش، تاپشۇرۇلغان ۋېكتورنى قايتا ھېسابلىماسلىق |
| ئىزدەش سىياسىتى | Top-K، مۇناسىۋەتلىكلىك چېكى، ئاپتوماتىك قوشۇش-قوشماسلىق | قايتا باھالاش، ۋېكتور بوشلۇقىنى ئۆزگەرتمەسلىك |
بەلگىلىك كىرگۈزۈش كېسىش ياكى ئالدى قوشۇمچە، مودېلغا بېرىلىدىغان تېكىستنى ئۆزگەرتىدۇ؛ شۇڭا ئىجرا كېلىشىمىگە تەۋە. ئوخشاش كىرگۈزۈشنى تەلەپكە قانداق قاچىلاش، ئۇنىڭغا قانچىلىك ۋاقىت بېرىش بولسا ئىجرا خامچوتىغا تەۋە. بۇ ئۈچ خىل ئۆزگىرىش ئايرىلمىسا، قايتا قۇرۇش كېرەك چاغدا قىلماسلىق، ياكى پەقەت timeout نى ئۆزگەرتىپلا پۈتۈن ئامبارنى قايتا ھېسابلاش ئاسان يۈز بېرىدۇ.
يەنە بىر قەدەم ئىلگىرىلىسەك، مودېل نامى ئۆزگەرمىسىمۇ، ئىندېكس ئەسلى پېتى قالالماسلىقى مۇمكىن. Anthropic نىڭ 2024-يىلى 9-ئايدا تونۇشتۇرغان Contextual Retrieval ئۇسۇلى ھەر بىر پارچىغا ئەسلى تېكىستتىكى مەزمۇن مۇھىتىنى تولۇقلاپ، ئاندىن ۋېكتور ۋە BM25 ئىندېكسى قۇرىدۇ.［2］مودېل ئوخشاش، لېكىن ئۇنىڭغا بېرىلگەن تېكىست ئۆزگەرگەن.HexClaw كېيىن بۇ خىل بىر تەرەپ قىلىشنى قوشسا، قوشۇلغان مەزمۇن مۇھىتى ۋە ھاسىل قىلىش قائىدىسىنىمۇ ئېنىق خاتىرىلىشى كېرەك؛ بولمىسا يېڭى-كونا ئىندېكسنىڭ قايسى شەرتتە ھاسىل بولغانلىقى يەنىلا ماس كەلمەيدۇ.
64 دانىلىق توپلامنىڭ ۋاقتى ئېشىپ كەتسە، خامچوت قانداق تەڭشىلىدۇ؟
7-ئايدا بۇ زەنجىر تۇنجى ئۇلانغاندا، Ollama 0.32.5، qwen3-embedding:8b Q4_K_M ۋە CPU يولى ئىشلىتىلگەن. تەلەپ HTTP 200 قايتۇردى؛ ئۈچ كىرگۈزۈش ئۈچ گۇرۇپپا 4096 ئۆلچەملىك ۋېكتور بەردى، پاراڭ مودېلى چاقىرىلمىدى.زەنجىرنىڭ ئىجرا بولۇشى پۈتۈن دەرسلىكنى بىرلا قېتىمدا پۈتتۈرەلەيدۇ دېگەنلىك ئەمەس。
دەرسلىك توپلاملىرىنى داۋاملىق بىر تەرەپ قىلغاندا، بۇرۇنقى «64 دانە بىر توپلام، 60 سېكۇنت خامچوت»نىڭ ۋاقتى ئېشىپ كەتتى. بۇ سەپلىمە ئەسلىدە يېنىك Embedding ئۈچۈن ئىدى؛ بۇ قېتىمقى CPU ئىجرا شەرتىدە بىۋاسىتە كۆچۈرۈپ ئىشلىتىشكە ماس كەلمىدى.
شۇنىڭدىن كېيىن دانە سانى بىلەن rune سانىنى بىرلا ۋاقىتتا چەكلىدۇق. rune، Go دىكى Unicode كود نۇقتىسى؛ بۇ يەردە كىرگۈزۈش كۆلىمىنى ئۆلچەيدۇ، مودېل token ىغا تەڭ ئەمەس. تۆۋەندىكىسى شۇ چاغدا خاتىرىلەنگەن بىر نەچچە يەككە قېتىملىق ۋاقىت:
| تارىخىي يەككە قېتىملىق كۆزىتىش | سەرپ بولغان ۋاقىت |
|---|---|
| سوغۇق قوزغىلىش query · ئەسلى كىرگۈزۈش | 36.290s |
| ھەر توپلام 1 دانە | 71.989s |
| ھەر توپلام 2 دانە | 48.602s |
| ھەر توپلام 4 دانە | 200.853s |
| ھەر توپلام 8 دانە | 302.655s |
جەدۋەل 2026-07-28 كۈنى ساقلانغان يەككە قېتىملىق كۆزىتىشلەردىن تۈزۈلگەن. ئەسلى ھەر قېتىملىق خاتىرە، تولۇق قاتتىق دېتال، ئىجرا پارامېتىرلىرى، سوغۇق-قىزىق تەرتىپى تولۇق ساقلانمىغان. پەقەت شۇ چاغدىكى تەڭشەش جەريانىنى چۈشەندۈرىدۇ؛ توپلاملارنىڭ ياخشى-يامانلىقىنى سېلىشتۇرۇش، throughput ياكى پۈتۈن دەرسلىكنى قايتا قۇرۇش ۋاقتىنى ھېسابلاشقا ئىشلىتىلمەيدۇ.
بۇ خاتىرىدە batch 1، batch 2 دىن ئاستا بولغان؛ لېكىن بۇنىڭدىن batch 2 ئادەتتە تېزرەك دېگىلى بولمايدۇ. سوغۇق قوزغىلىش، جەدۋەللەش، كىرگۈزۈش ئۇزۇنلۇقى ۋە ئىچكى ساقلىغۇچ ھالىتى ۋاقىتقا تەسىر قىلىدۇ. Qwen Profile ئاخىرى كىرگۈزۈش كۆلىمى بىلەن ئىجرا ۋاقتىنى تەڭ چەكلىدى:
Worker ئالدى بىلەن دانە سانىنى چەكلەيدۇ، ئىجرا قىلغۇچنىڭ ئورالما قاتلىمى بولسا دانە سانى ۋە ئومۇمىي rune سانى بويىچە ئاچكۆزلۈك ئۇسۇلىدا قاچىلايدۇ: كېيىنكىسى چەكتىن ئاشسا، ھازىرقى توپلامنى ئالدى بىلەن ئەۋەتىدۇ.
سۈرۈشتۈرۈش تەرىپىدىكى 60 سېكۇنتنى پۈتۈن ۋېكتور ئىزدەش باسقۇچى ئورتاق ئىشلىتىدۇ؛ كېڭەيتىلگەن query نىڭ بايلىق كۈتۈشى ۋە مودېل چاقىرىشى مۇشۇنىڭدىن كېمەيتىلىدۇ. يۇقىرىقى context بۇرۇنراق توشسا، بالدۇر ئاخىرلىشىدۇ. بۇ ھەر بىر كېڭەيتىلگەن query نىڭ مۇستەقىل نورمىسى ئەمەس، ئۇنىڭدىن بۇرۇنقى query كېڭەيتىش ۋە كېيىنكى قايتا تەرتىپلەشنىمۇ ئۆز ئىچىگە ئالمايدۇ.
بۇ پارامېتىرلار پەقەت ئېنىق ماس كەلگەن Qwen Profile غىلا تەۋە. Nomic نىڭ ئالدى قوشۇمچىسى، چېكى ۋە خامچوتى ئۆزگەرمەيدۇ؛ باشقا مودېللارنىڭ كىرگۈزۈش تەلىپى ۋە خامچوتىنى ئايرىم تەكشۈرۈش كېرەك.
ھازىر 400 rune دىن ئاشقان كىرگۈزۈش كېسىلىدۇ، كۆپ تارماق chunk قا قايتا بۆلۈنمەيدۇ. ئەسلى تېكىست ۋە FTS تولۇق ساقلىنىدۇ، لېكىن ۋېكتور پۈتۈن پارچىنى كودلىغان بولماسلىقى مۇمكىن. سۈرۈشتۈرۈش تېكىستىگە ئالدى بىلەن كۆرسەتمە ئۇلىنىپ، ئاندىن كېسىلىدۇ؛ شۇڭا ئالدى قوشۇمچىمۇ بۇ 400 rune نىڭ ئىچىگە كىرىدۇ.
مودېل 32K كونتېكىستنى قوللىسىمۇ، بۇنىڭدىن بىر تەلەپنىڭ قانچە سېكۇنتتا تاماملىنىدىغانلىقىنى بەلگىلىگىلى بولمايدۇ. «سىغىش» بىلەن «ھېسابلاپ پۈتتۈرۈش» ئىككى باشقا ھېساب. قاتتىق دېتال، مودېل مەھسۇلى ياكى تەمىنلىگۈچى ئالماشسا، خامچوتنى قايتا تەكشۈرۈش كېرەك.
بىر BLOB ستونى ئىككى ئەۋلاد ئىندېكسنى قانداق باشقۇرىدۇ؟
HexClaw نىڭ دەسلەپكى يەرلىك بىلىم ئامبىرى ئاددىي يول تاللىغان: ئەسلى تېكىست بىلەن chunk، SQLite دا؛ ئاچقۇچلۇق سۆز ئىزدەش FTS5 ئارقىلىق؛ ۋېكتور chunk جەدۋىلىنىڭ بىر BLOB ستونىدا ساقلىنىپ، Go ھەر بىر ۋېكتورنىڭ cosine similarity سىنى ھېسابلايدۇ. يەككە مودېل، يەككە كومپيۇتېر بىلىم ئامبىرى ئۈچۈن بۇ لايىھە ئاددىي، ئېنىق، قوشۇمچە ۋېكتور مۇلازىمىتىنى ئاسراش لازىم ئەمەس.
توردا ئالماشتۇرۇشقا كەلگەندە، ئوخشاش chunk ۋاقىتلىق ئىككى توپ ۋېكتور ساقلىشى كېرەك: Nomic A داۋاملىق ئىزدەش تەمىنلەيدۇ، Qwen B يېنىدا قايتا قۇرۇلىدۇ. كونا جەدۋەلگە پەقەت بىر model_name مەيدانى قوشۇش يېتەرلىك ئەمەس؛ ئوخشاش chunk يەنىلا بىر ئەۋلاد ۋېكتورلا ساقلىيالايدۇ. قۇرمۇقۇر ئۈستىدىن يېزىش تېخىمۇ ناچار: قايتا قۇرۇش 63% بولغاندا، ئوقۇش يولى قايتالمىغان، تېخى تاماملانمىغان بىر ئىندېكسقا دۇچ كېلىدۇ.
ساندان كۆچۈرۈش نەشرى v23، پاكىت مەنبەسى بىلەن تۇغۇندى ئىندېكسنى ئايرىدى. ئالدى بىلەن تۆت كىملىكنى پەرقلەيلى: revision پۈتۈن مەنىلىك ئىندېكسنىڭ ئەۋلادى، document generation يەككە ھۆججەت مەزمۇنىنىڭ ئەۋلادى؛ content version ماتېرىيال ئۆزگىرىشىنى، policy version ئىشلەتكۈچى سىياسىتىنىڭ ئۆزگىرىشىنى خاتىرىلەيدۇ. مودېل ئالماشتۇرۇش، دەرسلىك ئالماشتۇرۇش ۋە نىشاننى قايتا تاللاشقا بىرلا مۈجمەل «نەشر نومۇرى» ئىشلىتىشكە بولمايدۇ. مۇھىم مەيدانلار:
kb_index_revisions (revision_id, profile_snapshot_id, publish_state, base_content_version, indexed_through_version, ...)
kb_revision_vectors (revision_id, document_id, content_generation, chunk_id, profile_config_hash, model_name, dimension, embedding)
CHECK(length(embedding) = dimension * 4)
ماتېرىيالنىڭ نۆۋەتتىكى content_version قىممىتى kb_semantic_corpora دا؛ revision قۇرۇلغان چاغدىكى base_content_version ۋە قوغلاپ يېتىلگەن indexed_through_version قىممىتىنى ساقلايدۇ. بۇلار ئايرىم ھالدا «قەيەردىن باشلىدى؟» ۋە «قەيەرگە يېتىپ كەلدى؟» دېگەن سوئاللارغا جاۋاب بېرىدۇ.
كونا kb_chunks.embedding يەنىلا قالدۇق ستون سۈپىتىدە ساقلىنىدۇ، يېڭى زەنجىر ئۇنى يېڭىلىمايدۇ. كونا پروگراممىغا قايتىش، بۇ ستون ئارقىلىق كۆچۈرۈش مەزگىلىدە قوشۇلغان مەزمۇننىڭ تولۇق مەنىلىك ئىندېكسىنى ئالالايدۇ دېگەنلىك ئەمەس.
ھەر بىر يېڭى ۋېكتور قۇرىدا revision، سەپلىمە بارماق ئىزى، مودېل، ئۆلچەم ۋە document generation بار. بىرىكمە سىرتقى ئاچقۇچ خاتىرىنىڭ ئەۋلادى ۋە سەپلىمە تەۋەلىكىنى چەكلەيدۇ، BLOB ئۇزۇنلۇق تەكشۈرۈشى ۋېكتور شەكلىنى چەكلەيدۇ. لېكىن بۇ تەكشۈرۈشلەر تەمىنلىگۈچىنىڭ توغرا مودېل مەھسۇلىنى ئىشلەتكەنلىكىنى ياكى ئىزدەش نەتىجىسىنىڭ يېتەرلىك مۇناسىۋەتلىكلىكىنى ئىسپاتلىمايدۇ.
دەرسلىك ئەسلى تېكىستى بىلەن chunk پاكىت مەنبەسىدە ساقلىنىدۇ، Embedding قايتا ھېسابلىغىلى بولىدىغان تۇغۇندى سانلىق مەلۇمات. كۆچۈرۈشتە ئەسلى تېكىست ئۈستىدىن يېزىلمايدۇ؛ يېڭى-كونا ئىككى ئەۋلاد ئىندېكس ئۆز ھالىتىنى ئايرىم خاتىرىلەيدۇ.
Cloudflare تەمىنلىگەن BGE-M3 نى مىسال قىلساق، OpenAI غا ماس كۆرۈنمە يۈز تەلەپ كېلىشىمىنى قايتا ئىشلىتىشكە يول قويىدۇ؛ ۋېكتور بوشلۇقى، خامچوت ۋە چېكلەرنى يەنىلا مودېل بويىچە ئايرىم تەكشۈرۈش كېرەك. BGE-M3 نىڭ ئۆزى زىچ (dense)، شالاڭ (sparse) ۋە كۆپ ۋېكتورلۇق (multi-vector) ئىپادىلەرنى قوللايدۇ.［8］［9］HexClaw نىڭ ھازىرقى ئىزدەش زەنجىرى زىچ ۋېكتور ئەسلەشنى ئىشلىتىپ، FTS/BM25 نەتىجىسى بىلەن بىرلەشتۈرىدۇ؛ بۇ مودېلنىڭ شالاڭ ۋە كۆپ ۋېكتورلۇق ئىزدەشى تېخى ئۇلانمىغان.
كونا ئىندېكسنى ساقلاپ، يېڭى ئىندېكسنىڭ ئۆتكۈزۈۋېلىشىنى كۈتۈش پەقەت HexClaw غىلا خاس ئەمەس. Qdrant رەسمىي كۆچۈرۈش ھۆججىتىمۇ ئەسلى تېكىستكە قايتىپ Embedding نى قايتا قىلىشنى تەلەپ قىلىدۇ: كونا ۋېكتور ئەسلى تېكىستنىڭ تەتۈر ئايلاندۇرغىلى بولىدىغان كودى ئەمەس، يېڭى مودېل ۋېكتورىغا بىۋاسىتە ئايلاندۇرغىلى بولمايدۇ. ھۆججەت يەنە blue-green تولدۇرۇشتا تەڭ ۋاقىتتىكى ئۆچۈرۈشكە يولۇقسا، ئارقا سۇپىدىكى scroll كونا نۇقتىنى «قايتا تىرىلدۈرۈشى» مۇمكىنلىكىنى ئەسكەرتىدۇ. Elasticsearch بولسا بىر alias swap بىلەن ئوقۇش كىرىش نۇقتىسىنى ئاتوملۇق ئالماشتۇرىدۇ.［12］HexClaw ئوخشاش ئوقۇش كىرىش نۇقتىسىنى ئالماشتۇرۇش پىكرىنى قوللىنىدۇ. دەرسلىك مەزمۇن ئەۋلادى، Worker ئىجارىسى ۋە مودېل چاقىرىش نەتىجىسىنى ئەپ ئۆزى باشقۇرىدۇ؛ ۋېكتور ساقلىغۇچى ئالماشتى دەپ بۇلارنى تاشلىۋېتىشكە بولمايدۇ.
Desktop دا ئىككى ئىشنى ئايرىش كېرەك: مودېل نېمە قىلالايدۇ، ئىندېكس ھازىر قايسى ھالەتتە. Qwen3-Embedding-8B پەقەت Embedding ئىقتىدارى دەپ تونۇلىدۇ، پاراڭ، Quick Chat ياكى سۈكۈتتىكى سۆھبەت مودېل نامزاتلىرىغا كىرمەيدۇ. ئىندېكس كارتىسى بولسا ئارقا تەرەپ قايتۇرغان policy_version + active_revision + desired_revision + indexing_activity نى ئاساس قىلىدۇ. سىياسەت قوللانغاندا ئوقۇلغان نەشر قوشۇلىدۇ؛ 409 بولسا ئارقا تەرەپنىڭ ئەڭ يېڭى ھالىتى قايتا ئېلىنىدۇ، ۋاقتى ئۆتكەن بولۇشى مۇمكىن يېزىش مەشغۇلاتى ئۆزلۈكىدىن قايتا ئوينىتىلمايدۇ.
سۈكۈتتىكى مودېل ئۆزگىرىشى ئاپتوماتىك كۆچۈرۈش دېگەنلىك ئەمەس
ئىچكى سۈكۈتتىكى مودېل Qwen غا ئالماشسىمۇ، مەۋجۇت بىلىم ئامبىرى قايتا قوزغالغاندىن كېيىن ئاپتوماتىك كۆچمەيدۇ. يەرلىك Ollama مودېل تاللىشىدا ئاشكارا سەپلىمە ئالدىنقى ئورۇندا؛ ئېنىق تاللاش بولمىسا قاچىلانغان مودېللار تەكشۈرۈلىدۇ، ئاخىرىدا ئىچكى سۈكۈتتىكى قىممەت زاپاس بولىدۇ. مەۋجۇت بىلىم ئامبىرى ئۆز سىياسىتىنى داۋاملاشتۇرىدۇ؛ يېڭى مودېلنى بايقاش پەقەت تاللاشنى كۆپەيتىدۇ. ئىشلەتكۈچى يېڭى تاللاشنى قوللانغاندىلا، سىستېما نىشان ئىندېكسنى قۇرىدۇ.چۈشۈرۈش تاماملىنىش، سىياسەت تاللاش، سۈرۈشتۈرۈشنى رەسمىي ئۆتكۈزۈۋېلىش — ئۈچ مۇستەقىل ھالەت。
كونا A داۋاملىق مۇلازىمەت قىلىدۇ، يېڭى B يېنىدا قايتا قۇرۇلىدۇ
كۆچۈرۈش باشلانغاندىن كېيىن، Nomic revision A يەنىلا بىردىنبىر مەنىلىك ئىندېكس ئوقۇش كىرىش نۇقتىسى؛ Qwen revision B بولسا desired / staged ھالىتىدە، پەقەت ئارقا سۇپا قۇرۇلۇشىغا مەسئۇل.B، 1%، 63% ياكى 99% تاماملىسىمۇ، ئالدىن سۈرۈشتۈرۈشكە قاتناشمايدۇ。
سۈرۈشتۈرۈش ئالدى بىلەن active snapshot نى يۈكلەپ، ئوخشاش revision، سەپلىمە بارماق ئىزى، dimension ۋە document generation بويىچە ۋېكتورنى سۈزىدۇ. كونا ئىجرا قىلغۇچ يەنىلا ئىشلىسە، A ئۆزگەرمىگەن ۋە generation ى كۈچكە ئىگە ھۆججەتلەرگە مەنىلىك ئىزدەش تەمىنلەيدۇ. كونا مودېل ئۆچۈرۈلگەن بولسا، ۋېكتور يولى توختايدۇ. بۇ چاغدا ئوچۇق بىلىم ئامبىرى ئىزدەشى يەنىلا FTS5 / LIKE نەتىجىسى قايتۇرالايدۇ؛ پاراڭدىكى ئاپتوماتىك RAG قوشۇش بولسا قۇرۇق قايتۇرىدۇ، ساپ ئاچقۇچلۇق سۆز ماسلىشىشىنى «ۋېكتور ئەسلەش مۇۋەپپەقىيىتى» دەپ كۆرسەتمەيدۇ.
1-سۈرەت | يەرلىك Nomic → Qwen مىسالى: كونا ئىندېكس كۈچكە ئىگە كونا مەزمۇنغا مۇلازىمەت قىلىدۇ، يېڭى ئىندېكس ئارقا سۇپىدا قايتا قۇرۇلۇپ CAS ئارقىلىق ئۆتكۈزۈۋالىدۇ.
قايتا قۇرۇش ئۈزۈلسە، قانداق داۋاملاشتۇرۇلىدۇ؟
كومپيۇتېر قاپقىقى يېپىلىپ ئۇخلايدۇ، ئۈستەل يۈزى ئەپى تاقىلىدۇ، يەرلىك مودېلمۇ ئۇزاق ۋاقىت باشقا ئىش بىلەن ئالدىراش بولۇشى مۇمكىن. شۇڭا يېڭى ئىندېكس قايتا قۇرۇشنى داۋاملىق ساقلىنىپ ئەسلىگە كەلتۈرگىلى بولىدىغان ۋەزىپە (durable Job) ئۈستىگە ئالىدۇ.
Worker ۋەزىپىنى ئالغاندىن كېيىن، ئىجارە (Lease) ئارقىلىق بىر مەزگىللىك ئىجرا ھوقۇقىغا ئېرىشىدۇ؛ سۈكۈتتىكى ئىجارە مۇددىتى 5 مىنۇت.بۇ 5 مىنۇت «خىزمەت كارتىسىنىڭ ئىناۋەتلىك مۇددىتى»، پۈتۈن دەرسلىكنى «تاپشۇرۇشقىچە قالغان ۋاقىت» ئەمەس: ھەر توپلام باشلىنىشتىن بۇرۇن، مودېل قايتقاندىن كېيىن تاپشۇرۇشتىن بۇرۇن Worker ئىجارىنى ئۇزارتىدۇ. lease epoch ئىجرا ھوقۇقىنىڭ ئەۋلادىنى خاتىرىلەپ، نۆۋەتتىكى Worker بىلەن كېچىكىپ كەلگەن كونا Worker نى ئايرىيدۇ.
قايتا سىنىغىلى بولىدىغان مەغلۇبىيەتنىڭ چېكىنىش ئارىلىقى 30 سېكۇنتتىن باشلىنىپ، ئېكسپونېنتسىيال ئاشىدۇ، يۇقىرى چېكى 15 مىنۇت. سۈكۈتتە ئۇدا ئىلگىرىلەش بولمىغان سىناش ئەڭ كۆپ 8 قېتىم؛ ئىلگىرىلەش بولسا قايتا سانىلىدۇ. بۇ پۈتۈن دەرسلىك پەقەت 8 توپلاملا ئىجرا بولىدۇ دېگەنلىك ئەمەس.
ھەر مودېل تەلىپى يەنىلا Qwen Profile بويىچە كىچىك توپلامغا بۆلۈنىدۇ: ئەڭ كۆپ 2 دانە، جەمئىي 800 rune دىن ئاشمايدۇ.
ھەر توپلامنى چاقىرىشتىن ئىلگىرى، Worker بىر داۋاملىق ساقلىنىدىغان تىزىملىك (Manifest) يېزىپ، بۇ توپلام تەلىپىنىڭ كىملىكى ۋە بىر تەرەپ قىلىش ھالىتىنى خاتىرىلەيدۇ. تىزىملىكتە revision، سەپلىمە بارماق ئىزى، chunk تەرتىپى، مەزمۇن خۇلاسىسى، مۇقىم تەلەپ ئاچقۇچى ۋە lease epoch بار.
مودېل قايتقاندىن كېيىن، ۋېكتور سانى، 4096 ئۆلچەم، ھەر تەركىبنىڭ چەكلىك سان بولۇشى، مەزمۇن ئەۋلادى ۋە Lease تەكشۈرۈلىدۇ. ئۆتكەندىن كېيىن، ۋېكتور، Manifest نىڭ succeeded ھالىتى ۋە ۋەزىپە ئىلگىرىلىشى ئوخشاش ترانزاكسىيەدە تاپشۇرۇلىدۇ。
سىكانېرلاش ئورنى cursor پەقەت شۇ نۆۋەتتىكى ئىچكى ساقلىغۇچتا بولىدۇ. جەريان قايتا قوزغالسا قايتا سىكانېرلاپ، سانداندىكى مەۋجۇت ماس ۋېكتورلار ئارقىلىق تاماملانغان قىسمىنى ئاتلايدۇ؛ يولدىكى نەتىجىسى نامەلۇم توپلاملار ئايرىم بىر تەرەپ قىلىنىدۇ.
Anthropic نىڭ 2026-يىلى 4-ئاينىڭ 8-كۈنىدىكى Managed Agents قۇرۇلۇش ماقالىسىمۇ سۆھبەت خاتىرىسىنى ئىجرا رامكىسى (harness) نىڭ سىرتىغا قويۇپ، ئىجرا جەريانى بۇزۇلغاندىن كېيىن ئەسلىگە كەلتۈرۈشكە يول قويغان.［10］بۇ يەردە بىر تەرەپ قىلىنىدىغىنى Agent سۆھبىتى ئەمەس، ئىندېكس Job ى؛ ئورتاق نۇقتا داۋاملىق ساقلىنىدىغان ھالەت مەلۇم بىر جەريان بىلەن «بىللە تۇغۇلۇپ، بىللە ئۆلۈشى» شەرت ئەمەس。
ۋاقتى ئېشىپ كەتتى، يەنە بىر قېتىم ئەۋەتىۋەتسەكمۇ؟
ئالدىرىماڭ. تەلەپ تەمىنلىگۈچى تەرەپتە ئىجرا بولغان، لېكىن جاۋاب ۋاقىت ئېشىش ياكى ئۇلىنىش ئۈزۈلۈشتە يوقالغان بولۇشى مۇمكىن. سىستېما بۇنى outcome_unknown دەپ خاتىرىلەيدۇ، ئاپتوماتىك قارىغۇلارچە قايتا سىنىمايدۇ. مۇقىم Idempotency-Key تەلەپنى بەلگىلىيەلەيدۇ؛ لېكىن تەمىنلىگۈچىنىڭ شۇ بويىچە تەكرارسىزلاشتۇرۇشى ئۇنىڭ ئۆزىنىڭ قوللىشىغا باغلىق، exactly-once نى كاپالەتلەندۈرەلمەيدۇ.
ھازىر unknown بۇ Job نى مەغلۇپ قىلىدۇ، ئادەتتىكى چېكىنىش جەريانىغا كىرمەيدۇ، ئومۇمىي ئاپتوماتىك سېلىشتۇرۇپ ماسلاشتۇرغۇچمۇ يوق. قايتا ھېسابلاش ئادەتتە يىراق تەرەپ سودا سانلىق مەلۇماتىنى ئۆزگەرتمەيدۇ، لېكىن يەرلىك مودېلنى قايتا ئىگىلىشى ياكى بۇلۇت ھەققى پەيدا قىلىشى مۇمكىن.
ئىشلەتكۈچى قولدا «قايتا سىناش»نى چەكسىچۇ؟ Profile ئېنىق تاللانغان، Desktop قايتا سىناشنى قوللايدىغان مەغلۇپ ۋەزىپە ئۈچۈن، سىستېما سىياسەتنى قايتا قوللىنىپ، يېڭى staged revision ۋە Job قۇرىدۇ. كىملىكى ۋە مەزمۇنى ماس، مۇۋەپپەقىيىتى مەلۇم ۋېكتورلار قايتا ئىشلىتىلىدۇ؛ كونا unknown قايتۇرما خاتىرىسى بۇنىڭ بىلەن مۇۋەپپەقىيەتكە ئايلىنىپ قالمايدۇ، نامەلۇم قىسمى يەنىلا قايتا ھېسابلىنىشى مۇمكىن.
«HexClaw AI نىڭ Harness Engineering ى» خاتالىق تۈرلىشىنى مۇنازىرە قىلغان. ئىندېكس قايتا قۇرۇشتا «چاقىرىش ئېنىق مەغلۇپ بولدى» بىلەن «چاقىرىش نەتىجىسى نامەلۇم»نىمۇ ئايرىش كېرەك؛ ئىككىسىگە ئوخشاش قايتا سىناش سىياسىتى ئىشلىتىشكە بولمايدۇ。
قايتا قۇرۇش مەزگىلىدە ئىشلەتكۈچى ماتېرىيالنى داۋاملىق ئۆزگەرتىدۇ
بىز قايتا قۇرۇۋاتىمىز دەپ ئىشلەتكۈچى قولىنى توختاتمايدۇ. قوشۇش، ئۆچۈرۈش قاتارلىق ماتېرىيال ئۆزگىرىشلىرى يەنىلا بىر تەرەپ قىلىنىدۇ؛ لېكىن ئوخشاش مەنبەلىك دەرسلىكنى قايتا يېشىش بىلەن ئىندېكس كۆچۈرۈش تەڭ ۋاقىتتا ئېلىپ بېرىلمايدۇ. HexClaw ھەر ئۆزگىرىش ئۈچۈن A، B ئىككى ۋېكتورنى تەڭ ھېسابلىمايدۇ. بۇ بىر ۋېكتور ھېسابىنى تېجەيدۇ، لېكىن يېڭى مەزمۇننىڭ مەنىلىك ئىزدەشتە تېپىلىشىمۇ سەل كېچىكىدۇ.
نىشان ئىندېكس B نورمال ئىشلىگەندە، ئەڭ يېڭى ھۆججەت ئەۋلادىنى بىر تەرەپ قىلىپ، ماتېرىيال نەشرىگە (content version) داۋاملىق يېتىشىدۇ. A پەقەت ئۆزگەرمىگەن، ئەۋلادى كۈچكە ئىگە كونا مەزمۇننى ئوقۇغىلى بولىدىغان قىلىپ تۇرىدۇ؛ دەرسلىك ئالماشسا، كونا generation ۋېكتورلىرى سۈزۈلىدۇ. ئوچۇق تېكىست ئىزدەش يېڭى مەزمۇننى ئالدى بىلەن كۆرىدۇ، يېڭى مەزمۇننىڭ مەنىلىك ئىزدەشى B ئۆتكۈزۈۋالغاندىن كېيىن بولىدۇ.
بىكار قىلىش، ئۆچۈرۈش ۋە كەينىگە قايتۇرۇش
كۆچۈرۈش بىكار قىلىنغاندا، ئوخشاش ترانزاكسىيە B نى بىكار قىلىپ، staged revision دىن ۋاز كېچىدۇ ۋە A ئۈچۈن ئۆتۈش مەزگىلىدە كەم قالغان incremental Job نى تولۇق قۇرىدۇ.
ھۆججەت ئۆچۈرۈلگەندە، ئالدى بىلەن soft-delete ۋە tombstone قىلىنىپ، ئاندىن generation ئىلگىرىلىتىلىدۇ؛ بۇ يولدىكى Job نىڭ كونا ئىجرا ھوقۇقىنى كۈچتىن قالدۇرىدۇ. ئاخىرىدا داۋاملىق ساقلىنىدىغان تازىلاش ۋەزىپىسى (durable GC) تۇغۇندى سانلىق مەلۇماتنى تازىلايدۇ. كونا Worker قانچە جاپالىق ھېسابلىسىمۇ، ۋاقتى ئۆتكەن «خىزمەت كارتىسى» بىلەن نەتىجە تاپشۇرالمايدۇ: ساندان پەقەت نۆۋەتتە كۈچكە ئىگە ئىجرا ھوقۇقىنى ئېتىراپ قىلىدۇ.
تېخى ئۆتكۈزۈۋالمىغان B نى بىكار قىلىپ، A غا يېڭى ئۆزگىرىشلەرنى تولۇقلاش، ئۆتكۈزۈۋالغاندىن كېيىن نۆل تەننەرختە كەينىگە قايتۇرغىلى بولىدۇ دېگەنلىك ئەمەس. B، active بولغاندىن كېيىن، superseded A يېڭى يېزىشلارغا ئەگەشمەيدۇ؛ كونا revision نى ساقلاش زىيانسىز قايتىشنى كاپالەتلەندۈرمەيدۇ، يەنىلا ئۆتۈش مەزگىلىدىكى سانلىق مەلۇمات ۋە ماسلىشىشنى بىر تەرەپ قىلىش كېرەك。
100% ئىلگىرىلەش ئۆتكۈزۈۋېلىش شەرتى ئەمەس
B بارلىق ۋېكتورنى ھېسابلاپ بولسا، پەقەت Worker نىڭ قاتار ئاخىرىغا كەلگەنلىكىنى ئىسپاتلايدۇ. ئاخىرقى توپلام قايتىشتىن ئىلگىرىلا، ئارقا تەرەپ نىشان سىياسىتى B دىن C غا ئۆزگەرگەن، دەرسلىك يېڭى generation غا ئالماشقىنى، ياكى Lease نى يېڭى Worker ئالغان بولۇشى مۇمكىن. كېچىكىپ كەلگەن 100% كە بىۋاسىتە ئوقۇش كىرىش نۇقتىسىنى ئۆزگەرتىشكە يول قويۇلسا، ساندانمۇ ۋاقتى ئۆتكەن ئىندېكسقا ئاتوملۇق ئالماشتۇرۇۋېتىشى مۇمكىن.ئاتوملۇق يا ھەممىسىنىڭ مۇۋەپپەقىيەتلىك، يا ھەممىسىنىڭ مەغلۇپ بولۇشىنى كاپالەتلەندۈرىدۇ؛ بىز ئۈچۈن توغرا نىشان تاللاپ بەرمەيدۇ. بۇ يەردە ئارقا تەرەپ قوغدىنىشى كېرەك بولغان تەڭ ۋاقىتتىكى ھالەت تەسۋىرلىنىۋاتىدۇ؛ ھازىرقى Desktop دا desired مەۋجۇت بولسا، بۇ كارتىنىڭ مودېل تاللىشى چەكلىنىدۇ.
ئۆتكۈزۈۋېلىش بىر CAS (سېلىشتۇرۇپ ئالماشتۇرۇش) ترانزاكسىيەسىدە بولىدۇ. شەرت تەكشۈرۈش بىلەن تاپشۇرۇش ئوخشاش SQLite ساندانىدا تاماملىنىدۇ؛ سىرتقى مودېل چاقىرىشى بۇ ترانزاكسىيە ئىچىدە ئەمەس.
ئۆتكۈزۈۋېلىش ترانزاكسىيەسى ئالدى بىلەن سىياسەت ۋە مەزمۇن نەشرى، كۈتۈلگەن نۆۋەتتىكى ئىندېكس ۋە نىشان ئىندېكسنى تەكشۈرۈپ، ئېلان قىلىنىدىغان نىشاننىڭ ئۆزگەرمىگەنلىكىنى جەزملەيدۇ. Job ھالىتى، owner، lease epoch ۋە ئىجارە ئىناۋەتلىك مۇددىتى ئىجرا ھوقۇقىنى جەزملەيدۇ؛ B نىڭ staged ھالىتى، يېتىشىپ بولغان مەزمۇن نەشرى، كۈتۈلگەن ئومۇمىي سان، تاماملانغان سان ۋە مەغلۇپ سان قۇرۇلۇش ھالىتىنى جەزملەيدۇ.
شەرتلەرنىڭ ھەممىسى تولۇق ماس كەلگەندىلا، A، superseded، B، active قىلىپ بەلگىلىنىپ، desired بوشىتىلىدۇ. بىرەرى ماس كەلمىسە، پۈتۈن ئۆتكۈزۈۋېلىش كەينىگە قايتۇرۇلىدۇ.
ئوقۇش كىرىش نۇقتىسى ئالماشتى، يولدا كېتىۋاتقان سۈرۈشتۈرۈشلەرچۇ؟ HexClaw ئۇلارنى ئوتتۇرىدا باشقا ئەۋلاد ئىندېكسقا ئالماشتۇرمايدۇ. بىر ئىزدەش باشلانغاندا، ئۆزىنىڭ revision ىنى توڭلىتىدۇ، بارلىق كېڭەيتىلگەن query ئوخشاش پىلاننى ئورتاق ئىشلىتىدۇ.
كۆپ يوللۇق ئەسلەش ئاخىرلاشقاندىن كېيىن، بىرلەشتۈرۈشتىن بۇرۇن، content_version قايتا تەكشۈرۈلىدۇ. پەقەت A→B ئۆتكۈزۈۋېلىش يولدىكى تەلەپنى ئەۋلاد ئالماشتۇرۇشقا مەجبۇر قىلمايدۇ؛ توڭلىتىلغان A، superseded بولسىمۇ داۋاملىق ئىشلىتىلىدۇ. بۇ چاغدا ماتېرىيال نەشرىنىڭ ئۆزگەرگەنلىكى بايقالسا، شۇ نۆۋەتتىكى يېڭى-كونا مەزمۇننى بىر نەتىجىگە ئارىلاشتۇرماي، دەلىل توقۇنۇشى قايتۇرۇلىدۇ.
2-سۈرەت | ئىندېكس ئالماشتۇرۇش يولدىكى تەلەپنى ئەۋلاد ئالماشتۇرۇشقا مەجبۇر قىلمايدۇ؛ مەزمۇن نەشرى كۆپ يوللۇق ئەسلەشتىن كېيىن، بىرلەشتۈرۈشتىن بۇرۇن تەكشۈرۈلىدۇ. بۇ پۈتۈن جاۋاب جەريانىنىڭ ئومۇمىي بىردەكلىكىنى بىلدۈرمەيدۇ.
ماس ئەمەلىيلەشتۈرۈش: FreezeRetrievalPlan、ValidateRetrievalPlan، knowledge/knowledge.go ۋە knowledge/semantic_revision_search.go。
بۇ يەرگىچە ئىندېكس تولۇق قۇرۇلدىمۇ، ئۆتكۈزۈۋېلىشتىكى تەڭ ۋاقىت ھالىتى يەنىلا كۈچكە ئىگىمۇ دېگەن مەسىلە ھەل بولدى. يېڭى مودېل ئېنىق ئىزدەمدۇ دېگەن سوئالغا CAS نومۇر بەرمەيدۇ؛ مۇناسىۋەتلىكلىك چېكىنى ئايرىم تەڭشەش كېرەك.
0.85 نى Nomic تىن Qwen غا بىۋاسىتە كۆچۈرگىلى بولمايدۇ
ئالدىنقى Nomic نىڭ ئاپتوماتىك قوشۇش چېكى 0.85 بولۇپ، شۇ چاغدىكى خەنزۇچە ھەقىقىي كومپيۇتېر ئەۋرىشكىسىدىن كەلگەن. Qwen نىڭ cosine تارقىلىشى پەرقلىق: ھەتتا ھەر ئىككىسى (cosine + 1) / 2 ئارقىلىق 0～1 گە خەرىتىلەنسىمۇ، پەرقلىق مودېلنىڭ ئوخشاش نومۇرى ئوخشاش مۇناسىۋەتلىكلىك دەرىجىسىنى بىلدۈرمەيدۇ. شۇڭا Qwen نىڭ ئاپتوماتىك قوشۇش چېكى قايتا تەڭشىلىشى كېرەك.
سىناق توپلىمىنى باشقا LLM بىلەن بەلگىلىمىدۇق؛ توڭلىتىلغان K12 دەرسلىكى ۋە ئامبار ئەۋرىشكىسىگە ئاساسەن «قايسى مەنبە چىقىشى كېرەك»نى ئالدىن مۇقىملاپ، ھەقىقىي Ollama چاقىرىش زەنجىرىنى ئىجرا قىلدۇق. تۆۋەندىكىسى 2026-07-28 كۈنى قالدۇرۇلغان كىچىك ئەۋرىشكە تەڭشىكى: 7 مۇناسىۋەتلىك سۈرۈشتۈرۈش، 5 نىشانسىز سۈرۈشتۈرۈش. ھەر بىرىنىڭ ئەسلى خاتىرىسى تولۇق ساقلانمىغان؛ بۇ نەتىجە شۇ چاغدىكى پارامېتىر تەڭشەشكە ئىشلىتىلگەن، مۇستەقىل دەلىللەش توپلىمى ئەمەس، ئومۇمىي ئەسلەش نىسبىتى دەپمۇ قاراشقا بولمايدۇ:
مۇناسىۋەتلىك سۈرۈشتۈرۈشلەرنىڭ Top-1 ۋە Top-3 تېپىش نەتىجىسى ھەر ئىككىسى 7/7؛ Top-1 نىڭ ئەڭ تۆۋەن نورماللاشتۇرۇلغان نومۇرى 0.6940. نىشانسىز سۈرۈشتۈرۈشلەرنىڭ Top-1 ئەڭ يۇقىرى نورماللاشتۇرۇلغان نومۇرى 0.6132.
بۇ ئەۋرىشكىدە 0.65 ئىككى گۇرۇپپا نومۇرى ئارىسىدا ئىدى، شۇ چاغدىكى Qwen Profile ئاپتوماتىك قوشۇش چېكىنى شۇ بويىچە بەلگىلىدى. بۇ سان پەقەت شۇ چاغدىكى مودېل ۋە كىرگۈزۈش ئۆزگەرتىشىگە ماس، ئومۇمىي MinScore。
بىر خاتا ئەسلەش: چەك 0.65 تىن 0.68 گە ئۆستۈرۈلدى
تۆۋەندىكى نىشانلىق ئەۋرىشكىلەر دەرسلىكلەر ئارا ئىزدەشنىڭ مۇناسىۋەتلىكلىك چېگرىسىنى تەكشۈرۈشكە ئىشلىتىلگەن؛ كىرىشتىكى تۆتىنچى بۆلەك يېتەكچىلىكى بىلەنلا چەكلەنمەيدۇ.
كېيىنكى نىشانلىق تەكشۈرۈشتە «ھاياتنىڭ مەنىسى نېمە؟» دېگەن سوئال تەخمىنەن 0.66225 نومۇر بىلەن تىل-ئەدەبىيات دەرسلىكىدىكى «ئالەم ھاياتىنىڭ سىرى»نى خاتا ئەسلىگەنلىكى بايقالدى. شۇڭا Qwen نىڭ ئاپتوماتىك قوشۇش چېكى ھازىرقى 0.68 گە تەڭشەلدى. 9-ئاينىڭ 21-كۈنىدىكى ئىككى ھەقىقىي ئەپ تەلىپى بۇنى جەزملەيدۇ: بۇ سوئالنىڭ بىلىم ماسلىشىشى 0 بولدى؛ «18 نىڭ بۆلگۈچىلىرى قايسىلار؟» يەنىلا ماتېماتىكا دەرسلىكى PDF نىڭ 11-بېتىنى نەقىل كەلتۈرۈپ توغرا جاۋاب بەردى. بۇ قېتىم ئىزدەش سىياسىتىلا ئۆزگەردى؛ ۋېكتور قايتا ھېسابلانمىدى، سەپلىمە بارماق ئىزىمۇ ئۆزگەرمىدى؛ بۇ پەقەت مۇشۇ نىشانلىق ئەۋرىشكىلەرنى ئىسپاتلايدۇ، ئومۇمىي سۈپەت كاپالىتى ئەمەس。
Qwen ھازىر ئەڭ كۆپ 1 نەتىجە قوشىدۇ. بۇ بىرلەشتۈرۈش، مۇناسىۋەتلىكلىك چېكى بىلەن سۈزۈش، قايتا تەرتىپلەش/MMR دىن كېيىنكى ئاخىرقى سان چېكى؛ ئالدىنلا cosine بىرىنچىسىنىلا قالدۇرۇش دېگەنلىك ئەمەس. 0.68 بىلەن بۇ بىر دانە چەك يەرلىك Qwen نىڭ مەخسۇس سىياسىتى؛ باشقا مودېل ياكى تەمىنلىگۈچىنىڭ ئومۇمىي سۈپەت چېكى دەپ بىۋاسىتە قاراشقا بولمايدۇ.
7-ئايدىكى تەڭشەش خاتىرىسىگە قايتا قارىساق، مۇناسىۋەتلىك ئىنگلىزچە ئەۋرىشكىدە بىرىنچى ۋە ئىككىنچى ئورۇننىڭ نومۇر پەرقى (margin) ئەڭ ئاز 0.0072؛ نىشانسىز ئەۋرىشكىدە بولسا 0.0288 گە يېتىدۇ. ھېچ بولمىغاندا بۇ ئەۋرىشكىلەردە، پەرق چوڭ بولۇش تېخىمۇ مۇناسىۋەتلىك دېگەنلىك ئەمەس؛ بۇ كۆزىتىشلەر بىرلىككە كەلگەن margin چېكىنى قوللاشقا يېتەرلىك ئەمەس، شۇڭا شۇ چاغدا ئۇ سۈزۈش شەرتى قىلىنمىدى. نامزات سۈپىتىنى ياخشىلاش ئۈچۈن corpus / subject scope دائىرىسى، BM25 ئەسلەش، RRF بىرلەشتۈرۈش ۋە rerank نى ئايرىم ياخشى قىلىش كېرەك؛ «تېخىمۇ كۆپ ئەسلىگەندەك كۆرۈنسۇن» دەپ مۇناسىۋەتلىكلىك چېكىنى ۋاقتىنچە چۈشۈرۈشكە بولمايدۇ.
«HexClaw AI نىڭ Context Engineering ى» دىكى شاۋقۇن سۈزۈش تۇرۇبا يولى يەنە بىر يۇقىرىقى شەرتكە تايىنىدۇ: بىرلەشتۈرۈش، چەك بويىچە سۈزۈش ۋە قايتا تەرتىپلەش نامزاتنى سۈزەلەيدۇ؛ لېكىن ئالدى بىلەن ۋېكتور ئىزدەش ھەقىقىي ئىجرا بولۇپ، سۈرۈشتۈرۈش بىلەن ھۆججەت ماس ئىجرا كېلىشىمىنى ئىشلىتىشى كېرەك.
ھازىر CAS قۇرۇلمىنىڭ تولۇقلۇقى بىلەن تەڭ ۋاقىتتىكى ھالەتنى تەكشۈرىدۇ، Qwen نىڭ مۇناسىۋەتلىكلىك چېكى نىشانلىق ئەۋرىشكىلەر ئارقىلىق تەڭشىلىدۇ. كېيىنكى قەدەم سايە سۈرۈشتۈرۈش (shadow query) ۋە مۇقىم باھالاش توپلىمى (golden set) نى ئېلان قىلىش جەريانىغا ئۇلاپ، سۈپەت نەتىجىسىنىمۇ ئۆتكۈزۈۋېلىش ھۆكمىگە قاتناشتۇرۇش.
4096 ئۆلچەمنىڭ ھېسابى: بىر ۋېكتورنىڭ ساقلاش مىقدارى بۇرۇنقىنىڭ 5.33 ھەسسىسى
ئۆتكۈزۈۋالغاندىن كېيىن، كونا ئەۋلاد ئىندېكسنىڭ بىر نەچچە ھېسابى قالىدۇ: قانچىلىك ساقلىنىدۇ، قاچان تازىلىنىدۇ، كەينىگە قايتىشتا قايسى سانلىق مەلۇمات تولۇقلىنىدۇ. ئاپتوماتىك ساقلاش ۋە تازىلاشمۇ تېخى تولۇقلىنىشى كېرەك.
ئۆلچەم 768 دىن 4096 غا ئاشسا، دىسكا بىلەن ئىچكى ساقلىغۇچمۇ بىللە «كېڭىيىدۇ». Nomic نىڭ 768 ئۆلچەملىك float32 ئەسلى ۋېكتورى 3072 bytes، يەنى 3 KiB؛ Qwen نىڭ 4096 ئۆلچىمى 16 KiB. بىر ئەۋلاد ساقلاش مىقدارى ۋە ئۆلچەممۇئۆلچەم cosine ھېسابى تەخمىنەن 5.33 ھەسسىگە چوڭىيىدۇ. كۆچۈرۈش مەزگىلىدە ئىككى ئەۋلاد تەڭ ساقلانغاندا، ھەر chunk نىڭ پەقەت ۋېكتور يۈكىلا 19 KiB بولىدۇ.
| كۆلەم | Nomic 768 | Qwen 4096 | ئىككى ئەۋلاد تەڭ ساقلىنىدىغان مەزگىل |
|---|---|---|---|
| ھەر chunk | 3 KiB | 16 KiB | 19 KiB |
| 100 مىڭ chunk | تەخمىنەن 293 MiB | تەخمىنەن 1.53 GiB | تەخمىنەن 1.81 GiB |
| 1 مىليون chunk | تەخمىنەن 2.86 GiB | تەخمىنەن 15.26 GiB | تەخمىنەن 18.12 GiB |
بۇ سانلار پەقەت float32 ۋېكتور يۈكىنى ھېسابلايدۇ؛ SQLite قۇرلىرى، ئىندېكس، Manifest، WAL، تېكىست، قالدۇق ستون ۋە قوشۇمچە ساقلانغان كونا revision كىرگۈزۈلمىگەن، شۇڭا ئىككى ئەۋلاد مەزگىلى پەقەت سىغىم تۆۋەن چېكى. 64 دانە Qwen ۋېكتورى float32 سانلار گۇرۇپپىسىغا يېشىلگەندە 1 MiB؛ JSON جاۋابىدا سان كودلاش ۋە قۇرۇلما خىراجىتىمۇ بار. بۇنى ھەقىقىي HTTP جاۋاب گەۋدىسىنىڭ چوڭلۇقى دەپ قاراشقا بولمايدۇ.
ھازىرقى ئىزدەش قاتلىمى: تولۇق سىكانېرلاش، ANN ئەمەس
ھازىرقى ۋېكتور ئىزدەش تەخمىنىي ئەڭ يېقىن قوشنا ئىندېكسى (ANN) ئىشلەتمەيدۇ. SQLite ئالدى بىلەن شۇ ئىزدەش پىلانىغا باغلانغان revision ئاستىدىكى، دائىرە ئىچىدىكى بارلىق لاياقەتلىك ۋېكتورنى ئوقۇيدۇ؛ Go ھەربىرىنى يېشىپ cosine ھېسابلايدۇ، ئاندىن تولۇق مۇقىم تەرتىپلەپ topK نى ئالىدۇ. ۋاقىت مۇرەككەپلىكى تەخمىنەن O(N·D + N log N)؛ N نامزات ۋېكتور سانى، D ئۆلچەم.
نامزاتلاردىكى يېشىلگەن ۋېكتور ۋە تېكىست ئىچكى ساقلىغۇچتا قالىدۇ. ۋېكتور يۈكى O(N·D) ئىچكى ساقلىغۇچ ئىگىلەيدۇ؛ ئۇنىڭدىن باشقا نامزات تېكىستىمۇ ساقلىنىدۇ، پەقەت O(N) دانە نومۇرلا ئەمەس.
SQLite نى داۋاملىق ئىشلىتىشتىكى مەقسەت، تېكىست، ئىندېكس مېتا ئۇچۇرى ۋە ئېلان ھالىتىنى ئوخشاش سانداندا ماسلاشتۇرۇش؛ قوشۇمچە ۋېكتور مۇلازىمىتىنى ئاسراشنىڭ ھاجىتى يوق. بەدىلى، نامزات كۆپەيگەندە سىكانېرلاش ۋە ئىچكى ساقلىغۇچ تەننەرخىمۇ ئاشىدۇ. يۇقىرىدىكى سىغىم مۆلچەرى بىر مىليون chunk بولغاندا سۈرۈشتۈرۈش كېچىكىشىنى كۆرسەتمەيدۇ، ئىزدەش سۈپىتىنىمۇ ئىسپاتلىمايدۇ.
كەلگۈسىدە Qdrant، Elasticsearch، pgvector ياكى Faiss غا ئۇلاش فىزىكىلىق ئىزدەش قاتلىمىنى يېڭىلىيالايدۇ؛ لېكىن Profile، desired revision، داۋاملىق ساقلىنىدىغان Job، مەزمۇنغا يېتىشىش ۋە CAS نى يەنىلا ئەپ كونترول قىلىدۇ. ساقلىغۇچى ئالماشسىمۇ، بۇ قۇرۇلۇش ھېسابلىرى ئۆزلىكىدىن يوقاپ كەتمەيدۇ。
كاشىلا چىقسا قانداق ئەسلىگە كەلتۈرۈلىدۇ؟
بۇ زەنجىردە كۆرۈلۈشى مۇمكىن كاشىلىلار ۋە ئۇلارغا ماس ئەسلىگە كەلتۈرۈش ياكى رەت قىلىش ھەرىكىتى:
جەدۋەلنى سول-ئوڭغا سىيرىپ بارلىق ستونلارنى كۆرگىلى بولىدۇ.
| كاشىلا پەيتى | داۋاملىق ساقلانغان ھالەت | ئەسلىگە كەلتۈرۈش / رەت قىلىش ھەرىكىتى |
|---|---|---|
| Worker بىر تەرەپ قىلىش ئوتتۇرىسىدا چىقىپ كېتىدۇ | تاپشۇرۇلغان Manifest ۋە ۋېكتور | ۋەزىپىنى قايتا ئېلىپ، يېڭى ئىجرا ئەۋلادى ئىشلىتىلىدۇ؛ تاپشۇرۇلغان قىسمى ئاتلىنىدۇ، يولدىكى نامەلۇم قىسمى ئايرىم بىر تەرەپ قىلىنىدۇ |
| كونا Worker كېچىكىپ قايتىدۇ | نۆۋەتتىكى lease owner / epoch | ErrJobFenced، كونا Worker نىڭ تاپشۇرۇشى رەت قىلىنىدۇ |
| مودېل چاقىرىش نەتىجىسى نامەلۇم | Manifest = outcome_unknown | بۇ Job مەغلۇپ؛ ئاپتوماتىك قارىغۇلارچە قايتا ئەۋەتىلمەيدۇ، ئاپتوماتىك ماسلاشتۇرۇش قىلىنمايدۇ |
| تېكىست مۇۋەپپەقىيەتلىك، Embedding مەغلۇپ | Document / Chunks / FTS تەييار | پەقەت ۋېكتور Job ئەسلىگە كەلتۈرۈلىدۇ، PDF قايتا بىر تەرەپ قىلىنمايدۇ |
| B قۇرۇلۇۋاتقاندا دەرسلىك ئالماشتى | يېڭى generation / content version | B يېتىشىدۇ؛ كونا snapshot نىڭ CAS ى مەغلۇپ |
| كونا active executor ئىشلىمەيدۇ | تېكىست پاكىتلىرى ۋە كونا revision كىملىكى | ئوچۇق FTS ئىشلىتىلىدۇ؛ ئاپتوماتىك RAG قۇرۇق قايتۇرىدۇ |
راستىنى يازايلى: بۇ نەشرنىڭ چېگرىلىرى
يۈرۈشلۈك ئادىتى بويىچە، ئەمەلىيلەشكەن مېخانىزملار بىلەن يەنىلا بار چېگرىلارنى ئايرىم كۆرسىتەيلى:
- مودېل مەھسۇلى كىملىكى تېخى سەپلىمە بارماق ئىزىغا كىرمىگەن — 12 مەيداندا مودېل digest ى، quantization دەرىجىسى ۋە inference ماتورى نەشرى يوق؛ ئوخشاش نامدىكى tag ئارقىسىدىكى مەھسۇلات ئۆزگەرسە، سەپلىمە بارماق ئىزى چوقۇم ئۆزگىرىدۇ دېگىلى بولمايدۇ.
- سۈپەت دەرۋازىسى تېخى ئېلان قىلىش جەريانىغا ئۇلانمىغان — CAS پەقەت قۇرۇلما تولۇقلۇقى ۋە تەڭ ۋاقىتتىكى ھالەتنى تەكشۈرىدۇ، يېڭى مودېل ئىزدەش سۈپىتىگە ھۆكۈم قىلمايدۇ؛ shadow query بىلەن golden set كېيىنكى قەدەم.
- بۇ ئەۋرىشكە تەڭشەش ئۈچۈن، مۇستەقىل دەلىللەش توپلىمى ئەمەس — 7 مۇناسىۋەتلىك سۈرۈشتۈرۈش، 5 نىشانسىز سۈرۈشتۈرۈش؛ ھەر بىرىنىڭ ئەسلى خاتىرىسى تولۇق ساقلانمىغان. Qwen ئاپتوماتىك قوشۇش چېكى ئالدى بىلەن 0.65 بولۇپ، كېيىن نىشانلىق تەكشۈرۈش ئارقىلىق 0.68 گە ئۆستۈرۈلدى. ئىككى چەك پەرقلىق باسقۇچتىكى Qwen Profile غا ماس؛ بۇ ئەۋرىشكىلەرنىڭ تېپىش نەتىجىسىنى ئومۇمىي ئەسلەش نىسبىتى دەپ قاراشقا، چەكنى باشقا مودېلغا بىۋاسىتە قوللىنىشقا بولمايدۇ.
- كېچىكىش سانلىق مەلۇماتى پەقەت تارىخىي يەككە قېتىملىق كۆزىتىش — 2026-07-28 كۈنى ساقلانغان؛ ھەر قېتىملىق ئەسلى خاتىرە، تولۇق قاتتىق دېتال، ئىجرا پارامېتىرلىرى ۋە سوغۇق-قىزىق تەرتىپى تولۇق ساقلانمىغان. شۇڭا توپلاملارنىڭ ياخشى-يامانلىقىنى سېلىشتۇرۇش، throughput ياكى پۈتۈن دەرسلىكنى قايتا قۇرۇش ۋاقتىنى ھېسابلاشقا بولمايدۇ.
- ھازىرقى Qwen Profile دا 400 rune دىن ئاشقان كىرگۈزۈش كېسىلىدۇ — ئەسلى تېكىست ۋە FTS تولۇق ساقلىنىدۇ، لېكىن ۋېكتور پۈتۈن پارچىنى كودلىغان بولماسلىقى مۇمكىن؛ سۈرۈشتۈرۈش كۆرسەتمە ئالدى قوشۇمچىسىمۇ بۇ 400 rune نى ئىگىلەيدۇ.
- outcome_unknown نىڭ ھازىر ئاپتوماتىك ماسلاشتۇرۇشى يوق — ئۇ بۇ Job نى مەغلۇپ قىلىدۇ، ئادەتتىكى چېكىنىشكە كىرمەيدۇ؛ قايتا ھېسابلاش ئادەتتە يىراق تەرەپ سودا سانلىق مەلۇماتىنى ئۆزگەرتمەيدۇ، لېكىن يەرلىك مودېلنى قايتا ئىگىلىشى ياكى بۇلۇت ھەققى پەيدا قىلىشى مۇمكىن.
- ئۆتكۈزۈۋالغاندىن كېيىن نۆل تەننەرخلىق كەينىگە قايتىش يوق — B، active بولغاندىن كېيىن، superseded A يېڭى يېزىشلارغا ئەگەشمەيدۇ؛ كونا ئەۋلاد ئىندېكسنى ئاپتوماتىك ساقلاش ۋە تازىلاشمۇ تېخى تولۇقلىنىشى كېرەك.
- يېڭى مەزمۇننىڭ مەنىلىك ئىزدەشى B ئۆتكۈزۈۋالغاندىن كېيىن بولىدۇ — قايتا قۇرۇش مەزگىلىدە قوشۇلغان ياكى ئالماشقان ماتېرىيالنى ئالدى بىلەن ئوچۇق تېكىست ئىزدەش كۆرىدۇ؛ ئوخشاش مەنبەلىك دەرسلىكنى قايتا يېشىش بىلەن ئىندېكس كۆچۈرۈش ھازىر تەڭ ۋاقىتتا ئېلىپ بېرىلمايدۇ.
- ئىزدەش قاتلىمى تولۇق سىكانېرلاش، ANN ئەمەس — يۇقىرىدىكى سىغىم مۆلچەرى پەقەت ۋېكتور يۈكىنىڭ تۆۋەن چېكى؛ بىر مىليون chunk بولغاندا سۈرۈشتۈرۈش كېچىكىشىنى كۆرسەتمەيدۇ، ئىزدەش سۈپىتىنىمۇ ئىسپاتلىمايدۇ. ANN ياكى مۇستەقىل ۋېكتور ساقلىغۇچقا ئۆتۈش-ئۆتمەسلىك، ھەقىقىي ماتېرىيال كۆلىمى ۋە سۈرۈشتۈرۈش خىراجىتى تولۇق سىكانېرلاشنى توسالغۇغا ئايلاندۇردىمۇ دېگەنگە باغلىق.
كېيىنكى تەرتىپ: ئالدى بىلەن مودېل مەھسۇلى كىملىكى ۋە سۈپەت ئەۋرىشكىلىرىنىڭ ئىزلىگىلى بولۇشچانلىقىنى تولۇقلاش، ئاندىن unknown ئەسلىگە كەلتۈرۈش، كونا revision ساقلاش ۋە كەينىگە قايتۇرۇشنى بىر تەرەپ قىلىش. بۇ ئىشلارنىڭ ھەممىسى تېخى تاماملانمىغان.
بۇ دەرسلىككە قايتايلى: ئەسلى تېكىست ساقلىنىدۇ، ۋېكتور يېڭى كېلىشىم بويىچە قايتا قۇرۇلىدۇ
768 دىن 4096 ئۆلچەمگە ئۆتكەندە، ئەسلى تېكىست ساقلىنىدۇ، تۇغۇندى ۋېكتور يېڭى ئىجرا كېلىشىمى بويىچە قايتا قۇرۇلىدۇ. HexClaw نەشرلەنگەن ئىندېكس بىلەن نۆۋەتتىكى ۋە نىشان بوشلۇقنى ئايرىم باشقۇرىدۇ، داۋاملىق ساقلىنىدىغان ۋەزىپە بىلەن مەلۇم ئىلگىرىلەشنى ساقلايدۇ، ئاندىن CAS ترانزاكسىيەسى شەرتنى تەكشۈرۈپ ئوقۇش كىرىش نۇقتىسىنى ئالماشتۇرىدۇ. ئىزدەش نەتىجىسى يېتەرلىك مۇناسىۋەتلىكمۇ دېگەن سوئالنى يەنىلا ھەقىقىي سوئال بىلەن دەلىللەش كېرەك。
ئىككى قۇر سەپلىمە ئۆزگەرتىش، مودېل ئالماشتۇرۇشنىڭ پەقەت باشلىنىشى.
ھاسىل قىلىش شەرتىنى كېلىشىمگە، ھېسابلاش چەكلىمىسىنى خامچوتقا يېزىڭ، مۇناسىۋەتلىكلىكنى ھەقىقىي سوئالغا تايىنىپ دەلىللەڭ —
شۇندىلا مودېل ئالماشتۇرۇشنىڭ ئەسلىگە كەلتۈرگىلى، تەكشۈرگىلى بولىدىغان ئىندېكس جەريانى بولىدۇ.
بۇرۇنقى ماقالىلەر · HexClaw AI يۈرۈشلۈكى
▸ HexClaw AI ئاتا-بالىنىڭ خوشاللىقىغا ياردەم بېرىدۇ: K12 قۇرۇلۇش ئەمەلىيىتى
يېتەكچىلىك سىنارىيەسىدىن ھېساب تەكشۈرۈش دەلىلى ۋە سۇپا چېگرىسىنى كۆرۈش (بۇ ماقالە كىرىشىدىكى دەرسلىك سىنارىيەسىگە ماس)
▸ HexClaw AI نىڭ Prompt Engineering ى
مودېل كۆرسەتمىسىنى كۆرۈنمە يۈز كېلىشىمى دەپ قاراش (بۇ ماقالىدىكى سۈرۈشتۈرۈش كۆرسەتمىسىگە ماس)
▸ HexClaw AI نىڭ Harness Engineering ى
ئىجرا خامچوتى، كونتروللۇق مەغلۇبىيەت ۋە نەتىجىنى قايتا تەكشۈرۈش (بۇ ماقالىدىكى خامچوت ۋە «نەتىجە نامەلۇم»غا ماس)
▸ HexClaw AI نىڭ Context Engineering ى
نامزات ئەسلەشتىن «جاۋابقا ئوخشايدىغان شاۋقۇن»نى سۈزگۈچە (ئىندېكس تەييار بولغاندىن كېيىنكى بىرلەشتۈرۈش، سۈزۈش ۋە قايتا تەرتىپلەشكە ماس)
پايدىلانغان مەنبەلەر
- ［1］OpenAI · File Search / Retrieval (باشقۇرۇلىدىغان ئىزدەش، ئاپتوماتىك پارچىلاش ۋە ئىندېكس، ئاسىنخرون ھۆججەت مەشغۇلاتى؛ 2026-10-13 كۈنى تەكشۈرۈلگەن)
developers.openai.com/api/docs/guides/tools-file-search
developers.openai.com/api/docs/guides/retrieval - ［2］Anthropic · Contextual Retrieval (2024-09-19 ئېلان قىلىنغان؛ پارچە مەزمۇن مۇھىتى تولۇقلانغاندىن كېيىن Embedding / BM25 ئىندېكسى قۇرۇلىدۇ؛ 2026-10-13 كۈنى تەكشۈرۈلگەن)
anthropic.com/engineering/contextual-retrieval - ［3］Qwen · Qwen3-Embedding-8B رەسمىي مودېل كارتىسى (4096 ئۆلچەم، MRL، سۈرۈشتۈرۈش كۆرسەتمىسى)
huggingface.co/Qwen/Qwen3-Embedding-8B - ［4］QwenLM · Qwen3-Embedding رەسمىي ئامبىرى ۋە تېخنىكىلىق دوكلاتى
github.com/QwenLM/Qwen3-Embedding
arxiv.org/abs/2506.05176 - ［5］Qwen · Qwen3 Embedding and Reranker رەسمىي بىلوگى
qwenlm.github.io/blog/qwen3-embedding/ - ［6］Ollama · qwen3-embedding رەسمىي مودېل بېتى ۋە tags
ollama.com/library/qwen3-embedding
ollama.com/library/qwen3-embedding/tags - ［7］Embedding تەمىنلىگۈچىلىرىنىڭ مودېل كېلىشىمى: E5، Jina v3، OpenAI، Cohere، Gemini، Voyage 4
huggingface.co/intfloat/multilingual-e5-large
huggingface.co/jinaai/jina-embeddings-v3
openai.com/index/new-embedding-models-and-api-updates/
docs.cohere.com/docs/cohere-embed
ai.google.dev/gemini-api/docs/embeddings
blog.voyageai.com/2026/01/15/new-models-and-expanded-availability/ - ［8］MTEB · ۋەزىپە ۋە باھالاش ئۇسۇلى؛ BGE-M3 · Dense / Sparse / Multi-vector كېلىشىمى
docs.mteb.org/overview/
bge-model.com/bge/bge_m3.html - ［9］Cloudflare Workers AI · BGE-M3 ۋە OpenAI غا ماس Embedding كۆرۈنمە يۈزى
developers.cloudflare.com/workers-ai/models/bge-m3/
developers.cloudflare.com/workers-ai/configuration/open-ai-compatibility/ - ［10］Anthropic · Scaling Managed Agents: Decoupling the brain from the hands (2026-04-08؛ سۆھبەت خاتىرىسى بىلەن ئىجرا جەريانىنى ئايرىش؛ 2026-10-12 كۈنى تەكشۈرۈلگەن)
anthropic.com/engineering/managed-agents - ［11］RFC 8785 · JSON Canonicalization Scheme
rfc-editor.org/rfc/rfc8785 - ［12］ۋېكتور كۆچۈرۈش ئەمەلىيىتى: Qdrant model migration، Elastic aliases، Weaviate vectorization
qdrant.tech/documentation/tutorials-operations/embedding-model-migration/
elastic.co/docs/manage-data/data-store/aliases
docs.weaviate.io/weaviate/model-providers/openai/embeddings - ［13］HexClaw / HexClaw Desktop · Embedding ئىجرا سەپلىمىسى، ئىندېكس ھايات دەۋرى ۋە ئۈستەل يۈزى سىياسەت كىرىش نۇقتىسى
github.com/hexagon-codes/hexclaw
github.com/hexagon-codes/hexclaw-desktop
بۇ ماقالە HexClaw بىلەن HexClaw Desktop نىڭ كود ئەمەلىيلەشتۈرۈشىنى ئاساس قىلغان. كود ۋە ئەسلىدىكى سىرتقى ماتېرىياللارنى تەكشۈرۈش 2026-يىلى 10-ئاينىڭ 12-كۈنىگىچە؛ يېڭى قوشۇلغان OpenAI ئىزدەش ۋە Anthropic Contextual Retrieval ماتېرىيالى 2026-يىلى 10-ئاينىڭ 13-كۈنى تەكشۈرۈلگەن.
ئارقا تەرەپ يەرلىك ياكى بۇلۇتتا ئورۇنلاشسۇن، بۇلۇت Embedding تاللانسىلا، كودلىنىدىغان ھۆججەت پارچىلىرى ۋە سۈرۈشتۈرۈش تېكىستى تاللانغان تەمىنلىگۈچىگە ئەۋەتىلىدۇ. بىلىم ئامبىرىنى ئۆزى ئورۇنلاشتۇرۇش، بارلىق ئىجرا ھالىتى پۈتۈنلەي تورسىز دېگەنلىك ئەمەس.