Kejuruteraan LLM · Ejen AI · Penanda aras · Ringkasan PenilaianCatatan Spotify Engineering, 3 Sep 2026 · rekod sehingga 8 Sep 2026
Kejuruteraan LLM · satu cangkuk, satu model lebih murah, dan apa yang dilitupi angka penjimatan itu
Mengalih Bacaan Pukal ke Model Lebih Murah — Apa Sebenarnya Dipotong oleh 90% Itu
Blog kejuruteraan Spotify menghuraikan shunt, satu plagin Claude Code yang menyekat bacaan fail pukal sebelum ia sampai ke model terkehadapan dan sebaliknya menghalanya ke model pekerja yang lebih murah — gemini-2.5-flash dalam contoh yang diterbitkan — melaporkan penjimatan purata 90% pada penggunaan token Claude sendiri. Angka itu benar, mengikut angka yang diterbitkan oleh vendor sendiri, dan ia lebih sempit daripada yang disarankan tajuk: ia adalah purata bagi tiga daripada empat senario penanda aras, dikira sebagai anggaran dan bukan kiraan token sebenar, dan ia menghuraikan ke mana token itu pergi, bukan sama ada jumlah keseluruhan berkurang.
Apa yang Berlaku
Apa yang berlaku digredkan mengikut sejauh mana ia disahkan
| Kekukuhan | Apa yang berlaku | Sumber |
|---|---|---|
| Disahkan | Spotify menerbitkan dua AiKA Modes dalam Portal — bulk-reader dan code-writer — berserta plagin Claude Code, shunt, yang menyekat bacaan fail pukal dengan satu cangkuk PreToolUse (sementara: cangkuk pra-guna-alat) dan sebaliknya menghalanya ke model pekerja yang lebih murah. Kedua-dua mod dikonfigurasi dengan gemini-2.5-flash dalam contoh yang diterbitkan, walaupun medan model menerima mana-mana model yang dikonfigurasi dalam instans Portal. | Spotify Engineering — 3 Sep 2026 |
| Disahkan | Ambang lalai cangkuk yang menyekat bacaan itu ialah 350 baris, boleh dikonfigurasi melalui SHUNT_MIN_LINES; cangkuk kedua pula menangkap percubaan membaca fail besar yang sama melalui cat, head, tail, less atau more, membenarkan arahan yang dipaip atau dialihkan laluan sebagai bacaan bersasar. | Spotify Engineering; spotify/portal-ai-plugins |
| Disahkan | Hanya bahagian bacaan yang dikuatkuasakan. Bahagian batasan diketahui repositori itu sendiri menyatakan tiada “penguatkuasaan bagi code-writer” — hanya bulk-reader dijaga cangkuk, dan penjanaan kod hanya diserahkan jika Claude memilih berbuat demikian, berdasarkan penerangan skill. | repositori spotify/portal-ai-plugins |
| Disahkan | Penanda aras yang diterbitkan sendiri oleh plagin itu melaporkan penjimatan purata bacaan pukal sebanyak 90% — tepat purata bagi tiga senario, iaitu 82%, 94% dan 94%. Senario keempat, penjanaan kod, dikecualikan daripada purata itu, dan dinyatakan lebih sukar diukur dari segi token. | repositori spotify/portal-ai-plugins |
| Disahkan | Kiraan token dalam penanda aras itu dianggarkan sebagai aksara dibahagi empat, dan huraian penanda aras itu sendiri menyatakan ia “mengukur token konteks Claude dengan dan tanpa shunt” — penggunaan Claude sendiri secara khusus, bukan jumlah gabungan kedua-dua model. | repositori spotify/portal-ai-plugins |
| Disahkan | Kedua-dua penyuntingan terdelegasi dan penaakulan terdelegasi gagal: ringkasan model pekerja tidak membawa nombor baris yang boleh dipercayai, dan model pekerja terlepas pandang satu pepijat keselamatan bebenang yang menurut penulis catatan itu, beliau sendiri temui apabila Claude diberikan konteks yang sama. | Spotify Engineering — 3 Sep 2026 |
| Disahkan | Gartner meramalkan kos pengekodan AI akan melebihi gaji purata pemaju menjelang 2028 — sumber yang dipautkan secara langsung oleh catatan Spotify untuk dakwaan itu. | Gartner — 24 Jun 2026 |
| Disahkan tetapi tidak dapat disemak di sini | Suku pemimpin kejuruteraan sudah membelanjakan $200–$500 bagi setiap pemaju sebulan untuk token, dan sesetengahnya membelanjakan lebih $2,000 — angka yang dikaitkan oleh liputan industri dengan penyelidikan Gartner yang sama, tetapi tidak tertera pada halaman Gartner yang dipautkan oleh catatan itu. | DevOps.com, melaporkan penyelidikan Gartner — 30 Jun 2026 |
| Disahkan tetapi tidak dapat disemak di sini | Monorepo penanda aras itu sendiri — dihuraikan sebagai 162,000 baris Java — tidak diterbitkan, walaupun permintaan tarik asal plagin itu menamakan pengecam fail dalaman sebenar, bukan pemegang tempat. | repositori spotify/portal-ai-plugins (kedua-dua cabang) |
| Tidak diumumkan | Tiada pihak bebas yang menghasilkan semula atau mengesahkan angka 90% yang diterbitkan itu terhadap pangkalan kod yang berbeza. | tidak ditemui dalam sumber yang disemak |
Garis Masa
Garis Masa setiap peristiwa bertarikh, mengikut urutan
- 24 Jun 2026Gartner menerbitkan kenyataan akhbar meramalkan kos pengekodan AI akan melebihi gaji purata pemaju menjelang 2028.
- 30 Jun 2026DevOps.com melaporkan penyelidikan yang sama, menambah angka dolar bagi setiap pemaju serta catatan sendiri bahawa unjuran 2028 pada dasarnya bersifat spekulatif.
- 12 Ogos 2026Permintaan tarik plagin
shuntdibuka, menamakan fail dalaman sebenar yang menjadi asas penanda aras asalnya. - 14 Ogos 2026
shuntdigabungkan ke dalam repositori awam; jadual penanda aras README-nya diumumkan secara generik pada hari yang sama. - 3 Sep 2026Spotify Engineering menerbitkan catatan oleh Dimitri Mazmanov yang menghuraikan
shuntdan penanda arasnya. - 6 Sep 2026Ulasan bebas diterbitkan, enggan menganggap angka 90% itu lebih daripada dilaporkan sendiri.
Hujah
Hujah satu pemindahan, bukan kehilangan — dan lebih sempit daripada tajuknya
shunt tidak menghilangkan token; ia memindahkannya. Apabila satu fail besar sepatutnya memenuhi konteks Claude sendiri, cangkuk itu menyekat bacaan tersebut dan sebaliknya menyerahkan fail itu kepada model pekerja yang berasingan, di dalam konteks model itu sendiri. Sebab yang diberikan catatan itu sendiri tentang mengapa soalan susulan tidak dikenakan apa-apa kos menyatakannya secara langsung: menghantar semula fail itu “percuma di tempat yang penting, kerana korpus itu pergi kepada model pekerja dan tidak sekali-kali memasuki konteks Claude” — satu dakwaan tentang konteks model yang mana menanggung kos itu, bukan dakwaan bahawa jumlah gabungan, merentasi kedua-dua model, adalah lebih kecil. Fail penanda aras plagin itu sendiri mengesahkan bacaan ini dalam nota metodologinya sendiri: ia “mengukur token konteks Claude dengan dan tanpa shunt” — penggunaan Claude sendiri secara khusus, bukan jumlah penggunaan kedua-dua model. Penggunaan token model pekerja itu sendiri mahupun harganya bagi setiap token tidak diterbitkan di mana-mana sumber yang dibaca untuk rekod ini, jadi tiada perbandingan jumlah kos yang dibuktikan.
- 90%penggunaan token Claude sendiri, purata tiga senario
- gemini-2.5-flashmodel pekerja dalam contoh yang diterbitkan
“90%” yang diterbitkan itu ialah purata bagi tepat tiga senario bacaan pukal — 82% (33,684 token turun ke 5,737), 94% (75,990 ke 4,148) dan 94% (16,221 ke 821), pada fail 4,014, 7,408 dan 1,281 baris — dan tidak termasuk senario keempat, penjanaan kod, yang menurut catatan itu sendiri “lebih sukar diukur dari segi token”: tanpa plagin itu, Claude membaca fail rujukan sekali gus menjana output sebagai token output yang mahal, manakala dengannya kod terus ditulis ke cakera dan Claude langsung tidak melihatnya. Angka token di sebalik keempat-empat senario itu sendiri adalah anggaran: fail penanda aras itu sendiri mendokumenkan kaedahnya sebagai aksara dibahagi empat, “anggaran konservatif bagi kod” — bukan kiraan tokenizer yang diukur, dan bukan angka penggunaan berbayar yang dilaporkan vendor, bagi mana-mana model.
- 3 daripada 4senario disertakan dalam purata yang diterbitkan
- aksara ÷ 4kaedah kiraan token penanda aras itu sendiri
Angka-angka itu bersandarkan sumber dalaman yang tulen: sebelum README repositori awam itu diumumkan secara generik, permintaan tarik asal plagin itu menamakan satu fail dalaman sebenar, SpotifyUri.java, dan satu komponen repositori sebenar, PromotionRuleRepository, bagi dua daripada tiga senario bacaan pukal — bukti bahawa penanda aras itu dijalankan terhadap sumber sebenar, walaupun Spotify tidak menerbitkan sumber itu sendiri, dan tiada pembaca boleh menjalankan semula perbandingan yang sama terhadap fail yang sama. Tiada pihak bebas yang ditemui untuk rekod ini turut menjalankan semula perbandingan itu terhadap pangkalan kod yang berbeza, dan satu-satunya ulasan luar yang ditemui menganggap angka itu secara terang-terangan sebagai dilaporkan sendiri: “angka itu dilaporkan sendiri dan bergantung kepada beban kerja… anggap angka itu sebagai ukuran Spotify terhadap pangkalan kod Spotify sendiri.”
- 162,000 barissaiz monorepo Java yang dinyatakan penanda aras itu, tidak diterbitkan sendiri
Apa yang Ditambah oleh Sumber Lain
Apa yang ditambah oleh sumber lain bentuk penyelesaian yang sama di dalam alat Anthropic sendiri, dan dua masalah berbeza di sebelahnya
- ~55,000token yang dibelanjakan hanya untuk takrifan katalog alat pelbagai pelayan biasa, sebelum apa-apa kerja dilakukan
- 85%+pengurangan yang dilaporkan carian alat bagi kes yang sama, hanya memuatkan alat yang diperlukan permintaan
- claude-haiku-4-5model lebih murah yang menjadi sasaran delegasi kerja berat bacaan dalam contoh berbilang ejen Anthropic sendiri
- 0penghasilan semula bebas bagi angka 90% yang diterbitkan itu, ditemui dalam sumber yang disemak
| Mekanisme | Sasaran | Tempat ia beroperasi |
|---|---|---|
shunt (Portal by Spotify) | Bacaan fail pukal dan penjanaan kod lazim | Plagin dan platform luaran, dihalakan melalui cangkuk PreToolUse |
| Sub-ejen Claude Code | Mana-mana subtugas berat bacaan | Terbina dalam Claude Code sendiri; sub-ejen boleh disematkan kepada model lebih murah seperti Haiku |
| Sesi berbilang ejen Managed Agents | Subtugas berasingan dan berat bacaan yang diagihkan secara selari | Agent SDK/platform Anthropic sendiri; setiap ejen yang didelegasikan mempunyai model sendiri dan konteks terasing sendiri |
Carian alat (defer_loading) | Kembangan takrifan alat, bukan bacaan fail | API guna-alat Anthropic sendiri; hanya memuatkan beberapa alat yang diperlukan permintaan |
Penyuntingan konteks (clear_tool_uses) | Hasil alat lapuk yang sudah dimasukkan ke dalam konteks | API pengurusan konteks Anthropic sendiri; membersihkan hasil lama sebaik ambang yang ditetapkan dilepasi |
Kesimpulan
Kesimpulan apa yang boleh dipegang, dan apa yang perlu dipegang secara longgar
Penjimatan sebenar, dinamakan salah
Penjimatan yang dilaporkan Spotify adalah tulen mengikut angkanya sendiri, tetapi ia adalah pemindahan perbelanjaan daripada konteks model yang mahal kepada konteks model yang lebih murah, bukan pemotongan yang terbukti dalam jumlah token yang dibelanjakan secara keseluruhan — tiada apa-apa yang diterbitkan menyatakan berapa kos model pekerja itu sendiri.
Tiga senario, bukan seluruh plagin
90% itu menghuraikan purata tiga senario bacaan pukal, menggunakan kiraan token anggaran; senario keempat, penjanaan kod, dikecualikan secara jelas daripada purata itu, dan tiada pihak luar yang menghasilkan semula mana-mana daripada keempat-empat senario itu.
Bentuk penyelesaian ini bukan baharu
Menghalakan kerja berat bacaan kepada model lebih murah di dalam konteksnya sendiri sudah wujud sebagai mekanisme pihak pertama di dalam sub-ejen Claude Code dan sesi berbilang ejen Managed Agents milik Anthropic. Apa yang ditambah oleh catatan Spotify ialah satu contoh terlaksana bagi perkara itu, dikhususkan untuk bacaan fail dan kod lazim, bukan idea baharu tentang ke mana token sesuatu ejen sepatutnya pergi.