Apa Yang Berlaku
Pustaka dataframe · Python · Kejuruteraan prestasi · Penanda aras · Taklimat PerbandinganRekod hingga 23 Sep 2026
Dua pustaka dataframe utama Python, seperti keadaannya pada September 2026
Polars dan pandas: Mana Sesuai untuk Kerja Apa
pandas menjadi sumber terbuka sejak 2009 dan masih pustaka jadual Python yang paling banyak dimuat turun. Polars, yang mula di-commit pada Jun 2020 dan ditulis dalam Rust di atas format memori Apache Arrow, dibina untuk menjadi lebih pantas. Kedua-duanya berubah pada 2026. pandas 3.0 menghidupkan jenis rentetan khusus dan Copy-on-Write secara lalai. Polars 2.0, kini pada calon keluaran kedua, menjadikan enjin penstrimannya lalai dan berhenti menjamin susunan baris untuk berbuat demikian. Jurang kelajuan itu nyata dan besar untuk kerja analitik yang besar. Yang tiada ialah ukuran yang diterbitkan bagi kedua-duanya seperti keadaan sekarang.
- 3.0.6pandas semasa, dikeluarkan 17 September 2026; siri 3.0 bermula pada 21 Januari
- 1.44.2Polars semasa, dikeluarkan 9 September 2026; 2.0 kini pada calon keluaran kedua
- 94×kelebihan Polars berbanding pandas 2.2.3 pada kira-kira 10 GB, dalam penanda aras Polars sendiri Jun 2025
- 10×kelebihan pandas dalam muat turun PyPI sebulan lalu: 525.5 juta berbanding 51.6 juta
Digredkan mengikut kekuatan setiap butiran Disusun mengikut kedudukan. Apa yang diukur, apa yang dikatakan syarikat tentang dirinya dan apa yang hanya dijanjikan tidak pernah berada dalam baris yang sama.
| Kedudukan | Apa yang direkodkan | Di mana |
|---|---|---|
| Disahkan | Keluaran semasa: pandas 3.0.6 (17 September 2026) dan Polars 1.44.2 (9 September 2026). Polars 2.0.0rc1 keluar pada 2 September dan rc2 pada 20 September. pandas memerlukan Python 3.11 atau lebih baharu, Polars 3.10 atau lebih baharu | Indeks Pakej Python (PyPI) |
| Disahkan | pandas 3.0 menghidupkan jenis rentetan khusus, disokong PyArrow jika dipasang; menjadikan Copy-on-Write lalai, maka penugasan berantai tidak lagi berfungsi dan SettingWithCopyWarning dibuang; menambah bentuk awal ungkapan pd.col(); dan kini menghurai rentetan tarikh kepada mikrosaat secara lalai | Nota keluaran pandas |
| Disahkan | Polars 2.0 menjalankan setiap pertanyaan malas pada enjin penstriman secara lalai. Enjin itu tidak menjamin susunan baris untuk join, group by dan unpivot melainkan diminta dengan maintain_order. Ia juga menolak penukaran jenis yang merugikan dan gabungan tidak sepadan yang dahulu dibiarkan | Pengumuman Polars 2.0 |
| Disahkan | Polars tiada indeks baris, menyimpan data dalam format lajur Apache Arrow dan bukan tatasusunan NumPy, menjalankan lebih banyak operasi secara selari, dan boleh merancang serta mengoptimumkan pertanyaan malas sebelum menjalankannya | Panduan Polars untuk pengguna pandas |
| Diukur | Pada faktor skala 10, kira-kira 10 GB CSV, enjin penstriman Polars menjalankan keseluruhan set pertanyaan dalam 3.89 saat dan pandas 2.2.3 dalam 365.71 saat. Pada kira-kira 100 GB pandas tidak dijalankan: ia gagal kerana kehabisan memori | Penanda aras PDS-H Polars sendiri, Jun 2025 |
| Diukur | Dengan dataframe besar Polars menggunakan kira-kira satu perlapan tenaga pandas pada tugas sintetik dan 63% pada tugas TPC-H. Dengan dataframe kecil tugas TPC-H tidak menunjukkan perbezaan ketara. Versi yang diuji: pandas 2.1.1, Polars 0.19.7 | Nahrstedt dan rakan, EASE 2024, disemak rakan sebaya |
| Dakwaan syarikat, tidak dapat disahkan di sini | Penggunaan meningkat “daripada 250 ribu kepada lebih 23 juta pengguna bulanan” selepas pusingan benih 2023, dan pustaka teras digunakan dalam pengeluaran dalam kewangan, sains hayat dan logistik | Polars; TechCrunch, memetik Polars |
| Dakwaan syarikat, tidak dapat disahkan di sini | “Secara keseluruhan kami menjangka enjin penstriman mudah 5 kali lebih pantas”: ramalan dalam pengumuman 2.0, bukan ukuran | Pengumuman Polars 2.0 |
| Dijanjikan, belum dikeluarkan | “Sokongan out-of-core sebenar untuk enjin penstriman”, iaitu kerja yang boleh diharap pada data lebih besar daripada memori, serta perancang berasaskan kos dan penyusunan semula join. Semuanya disenaraikan sebagai masih dalam pembangunan | Pengumuman Polars 2.0 |
| Dijanjikan, belum dikeluarkan | Polars 2.0 muktamad, dijangka “dalam minggu-minggu berikutnya” selepas 2 September. Ia belum dikeluarkan setakat 23 September | Pengumuman Polars 2.0; PyPI |
Garis Masa
2008 hingga September 2026 Setiap ukuran kelajuan dan tenaga di bawah datang sebelum pandas 3.0. Tiada satu pun membandingkan versi semasa kedua-duanya.
- 2008Pembangunan pandas bermula di AQR Capital Management, di bawah Wes McKinney
- 2009pandas dijadikan sumber terbuka menjelang hujung tahun; versi 0.1 tiba di PyPI pada 25 Disember
- 2015pandas menjadi projek tajaan NumFOCUS
- 21 Sep 2017McKinney menulis bahawa peraturan praktikalnya untuk pandas ialah RAM 5 hingga 10 kali ganda saiz set data
- 23 Jun 2020Ritchie Vink membuat commit pertama Polars
- 3 Ogo 2023Vink dan Chiel Peters mengumumkan syarikat Polars, dengan pusingan benih kira-kira $4 juta diterajui Bain Capital Ventures; pustaka kekal berlesen MIT
- 18 Jan 2024scikit-learn 1.4 membolehkan pengubahnya mengeluarkan dataframe Polars
- 18 Jun 2024Pasukan Vrije Universiteit Amsterdam membentangkan kajian tenaga dan prestasi pandas 2.1.1 dan Polars 0.19.7 di EASE 2024
- 1 Jul 2024Polars 1.0.0
- 17 Sep 2024Enjin GPU Polars, dibina bersama NVIDIA di atas RAPIDS cuDF, dibuka sebagai beta
- 1 Jun 2025Polars menerbitkan keputusan PDS-H bagi Polars 1.30.0 berbanding pandas 2.2.3, DuckDB, Dask dan PySpark
- 29 Sep 2025Polars mengumpul Siri A €18 juta diterajui Accel, kira-kira $21 juta, dengan Bain Capital kembali menyertai
- 21 Jan 2026pandas 3.0.0: jenis rentetan dan Copy-on-Write dihidupkan secara lalai, ungkapan
pd.col()pertama, minimum Python 3.11 - 2 Sep 2026Polars 2.0.0rc1, dengan enjin penstriman sebagai lalai untuk pertanyaan malas
- 9 Sep 2026Polars 1.44.2, keluaran stabil semasa
- 17 Sep 2026pandas 3.0.6, keluaran stabil semasa
- 20 Sep 2026Polars 2.0.0rc2. Belum ada 2.0 muktamad
Hujah
Jauh lebih pantas untuk kerja besar, dan diukur pada versi yang sudah berubah Hujah untuk Polars, seperti diukur oleh pembuatnya, kemudian dua perkara yang mengehadkannya.
Hujah Polars bersifat seni bina, dan penanda arasnya sendiri meletakkan angka padanya. pandas menjalankan setiap langkah sebaik ditulis, pada satu teras, tanpa pengoptimum. Polars boleh mengambil keseluruhan pertanyaan, mengoptimumkannya sebelum dijalankan, lalu menjalankannya merentas setiap teras. Dalam larian PDS-H Polars pada Jun 2025, pada mesin 96 teras, itulah beza antara 365.71 saat dan 3.89 saat pada kira-kira 10 GB. Polars berkata pandas diketepikan pada kira-kira 100 GB kerana ia gagal akibat kehabisan memori. Larian yang sama menunjukkan dua perkara yang patut diingat pembaca. DuckDB, enjin ketiga, hampir menyamai Polars pada 10 GB dan mendahuluinya pada 100 GB. Dan enjin dalam memori Polars yang lebih lama menjadi sangat perlahan pada saiz itu, sebab itulah 2.0 menjadikan penstriman lalai.
- 3.89 sPolars penstriman, kira-kira 10 GB, keseluruhan set
- 365.71 spandas 2.2.3, pertanyaan sama, mesin sama
| Enjin, dalam larian PDS-H Polars Jun 2025 | Kira-kira 10 GB, saat | Kira-kira 100 GB, saat |
|---|---|---|
| Polars 1.30.0, streaming | 3.89 | 23.94 |
| DuckDB 1.3.0 | 5.87 | 19.65 |
| Polars 1.30.0, in-memory | 9.68 | 152.27 |
| Dask 2025.5.1 | 46.02 | 548.52 |
| PySpark 4.0.0 | 120.11 | 312.43 |
| pandas 2.2.3 | 365.71 | tidak dijalankan: kehabisan memori |
Dua perkara mengehadkannya. Yang pertama ialah saiz. Satu-satunya perbandingan yang disemak rakan sebaya, oleh pasukan Vrije Universiteit Amsterdam di EASE 2024, menjalankan tugas TPC-H yang sama jenis pada 6 juta baris dan tidak menemui perbezaan tenaga yang ketara; penulis mencatat sedikit kelebihan bagi pandas. Pada 60 juta baris, dan pada tugas sintetik mereka sendiri, Polars jelas di hadapan. Yang kedua ialah usia, dan ini tafsiran rencana ini, bukan sumber. pandas terbaharu dalam mana-mana ukuran di sini ialah 2.2.3, dari September 2024. Kajian itu menggunakan pandas 2.1.1 dan Polars 0.19.7. Rentetan berasaskan Arrow dan Copy-on-Write pandas 3.0 datang selepas semuanya, begitu juga empat belas keluaran kecil Polars, 1.31 hingga 1.44. Jurang itu berkemungkinan besar masih besar untuk kerja besar. Sebesar mana, bagi versi semasa, tiada sesiapa di sini telah mengukurnya.
- 6Mbaris: tiada perbezaan ketara pada tugas TPC-H dalam kajian yang disemak rakan sebaya
- 2.2.3pandas terbaharu yang diukur di sini; keluaran semasa ialah 3.0.6
Sementara itu kedua-duanya bergerak mendekati satu sama lain, dan kosnya turut berpindah. Ini juga tafsiran rencana ini. pandas 3.0 menerima rentetan berasaskan Arrow, semantik salin-semasa-tulis dan sintaks ungkapan pertama, semuanya idea yang menjadi asas Polars. Polars 2.0 pula bergerak ke arah bertentangan pada satu jaminan yang dianggap biasa oleh pengguna pandas: di bawah lalai baharu, join atau group by tidak lagi berjanji mengekalkan susunan asal baris. Polars menyifatkan perubahan itu perlu untuk kelajuan penstriman dan meminta pengguna yang bergantung pada susunan memintanya dengan maintain_order. Kod yang dipindahkan dari satu ke yang lain, atau dinaik taraf dalam Polars, boleh mengubah hasilnya tanpa menimbulkan ralat.
Apa Yang Ditambah Oleh Pihak Lain
Memori, tenaga, GPU, dan menggunakan kedua-duanya Daripada pencipta pustaka, penulis kajian, NVIDIA, dan projek di sekeliling kedua-duanya.
Memori
Satu peraturan praktikal, dan satu peta jalan
- Pencipta pandas menulis pada 2017 bahawa peraturan praktikalnya ialah RAM 5 hingga 10 kali ganda set data: set data 10 GB memerlukan 64 hingga 128 GB
- Peraturan itu mendahului pandas 3.0 lebih lapan tahun. Tiada angka setanding untuk Polars ditemui pada sumber utama
- Polars menyenaraikan “sokongan out-of-core sebenar”, iaitu kerja yang boleh diharap melebihi RAM, sebagai masih akan datang dalam 2.x
Tenaga
Satu kajian terkawal
- 28 tugas, 10 ulangan setiap satu dalam susunan rawak, 560 larian, pada pelayan terasing
- Dataframe besar: Polars menggunakan kira-kira satu perlapan tenaga pandas pada tugas sintetik, dan 63% pada tugas TPC-H
- Tenaga mengikut rapat masa pelaksanaan, dan penulis mengaitkannya dengan penggunaan setiap teras CPU oleh Polars
GPU
Sehingga 13 kali, pada tahap tertinggi
- Enjin pilihan di atas cuDF NVIDIA, dihidupkan dengan
collect(engine="gpu"); pertanyaan yang tidak dapat dijalankannya kembali ke CPU - “Sehingga 13x” ialah yang terbaik antara empat pecutan terbaik yang dicartakan NVIDIA, daripada 22 pertanyaan PDS-H pada faktor skala 80, pada H100
- Dikeluarkan sebagai beta terbuka pada September 2024; statusnya hari ini tidak ditentukan di sini
- Enjin pilihan di atas cuDF NVIDIA, dihidupkan dengan
Bersama
Kurang pilihan salah satu
- Sejak 1.4, pada Januari 2024, pengubah scikit-learn boleh memulangkan dataframe Polars dengan
set_output(transform="polars") - Narwhals, lapisan keserasian tanpa kebergantungan, membolehkan pustaka yang ditulis dengan subset API Polars menerima pandas, Polars, cuDF, Modin atau PyArrow
- Ia juga menawarkan sokongan malas sahaja untuk Dask, DuckDB, Ibis, PySpark dan SQLFrame
- Sejak 1.4, pada Januari 2024, pengubah scikit-learn boleh memulangkan dataframe Polars dengan
Penggunaan
Berbeza satu tertib magnitud
- Muat turun sebulan lalu: pandas 525,518,404, Polars 51,587,659, nisbah 10.2
- Muat turun mengira pemasangan, termasuk setiap binaan automatik, bukan orang
- Pada Ogos 2023 Polars melaporkan lebih 6 juta muat turun keseluruhan; menjelang September 2025 ia melaporkan lebih 23 juta pengguna bulanan
Sejauh mana penanda aras utama boleh dipercayai bergantung pada siapa yang menjalankannya, jadi syaratnya penting. PDS-H ialah terbitan TPC-H milik Polars sendiri, dan Polars menyatakan keputusannya tidak setanding dengan keputusan TPC-H yang diterbitkan. Peraturannya melarang memangkas jadual secara manual sebelum join dan menyusun semula join secara manual, serta mewajibkan setiap penyelesaian menjalankan setiap pertanyaan pada satu enjin: “Tiada pilih-pilih.” Hantaran itu juga menamakan di mana Polars kalah: kepada DuckDB pada 100 GB, dan pertanyaan 21, join julat yang belum dilaksanakan oleh enjin penstriman. Kertas EASE, yang ditulis tanpa vendor, memerhatikan bahawa penanda aras sebelumnya tidak sistematik dan tidak disemak rakan sebaya. Untuk data besar, keputusannya menunjuk ke arah yang sama dengan Polars.
Kesimpulan
Mana sesuai untuk kerja apa Dua pustaka percuma yang semakin berfungsi bersama. Soalnya ialah beban kerja pembaca, bukan yang mana menang.
pandas
Untuk kod sedia ada dan kerja langkah demi langkah
- Sesuai untuk: kod yang sudah ditulis dengannya, kerja yang melabel baris dengan indeks atau menyunting jadual di tempatnya, dan set data cukup kecil sehingga kajian terkawal tidak menemui perbezaan ketara pada tugas TPC-H
- Paling baik dalam: jangkauan. Ia dimuat turun sepuluh kali lebih kerap daripada Polars, dan menjadi sumber terbuka sejak 2009
- Paling baik dalam, sejak 3.0: salinan lebih boleh dijangka dan rentetan lebih pantas tanpa meninggalkan API yang dikenali
- Pertukarannya: segera dan sebahagian besarnya satu benang, serta lapar memori untuk data besar mengikut peraturan praktikal penciptanya sendiri
Polars
Untuk saluran analitik besar
- Sesuai untuk: join, group by dan imbasan ke atas puluhan juta baris atau gigabait, saluran yang ditulis sebagai pertanyaan penuh, dan mesin dengan banyak teras
- Paling baik dalam: kelajuan dan tenaga untuk kerja besar. Ia dua tertib magnitud di hadapan pandas 2.2.3 pada kira-kira 10 GB dalam penanda arasnya sendiri, dan jauh lebih jimat untuk data besar dalam kajian bebas
- Juga paling baik dalam: ketegasan. Ia menimbulkan ralat pada penukaran yang merugikan dan panjang tidak sepadan dan bukan diam-diam menghasilkan jawapan berbeza
- Pertukarannya: tiada indeks dan cara berfikir baharu dalam ungkapan; di bawah 2.0, susunan baris dalam join dan group by mesti diminta; kerja melebihi RAM masih sedang disiapkan
Apa yang ditetapkan
Versi semasa ialah pandas 3.0.6 dan Polars 1.44.2, dengan Polars 2.0 pada calon keluaran kedua. pandas 3.0 menjadikan rentetan berasaskan Arrow dan Copy-on-Write sebagai lalai. Polars 2.0 menjadikan penstriman lalai dan menggugurkan jaminan susunan baris dalam join dan group by. Untuk kerja analitik besar, versi lama Polars jauh lebih pantas daripada versi lama pandas, dalam penanda aras Polars sendiri dan dalam kajian yang disemak rakan sebaya. Pada tugas TPC-H kecil kajian itu perbezaannya tidak ketara. Dan kedua-duanya boleh digunakan bersama, melalui scikit-learn dan Narwhals.
Apa yang perlu dipegang longgar
Mana-mana angka pecutan tunggal: 94x ialah satu larian vendor pada satu saiz berbanding pandas 2.2.3, dan 13x ialah pertanyaan GPU terbaik daripada 22. Keuntungan penstriman 5x dan kerja yang boleh diharap melebihi RAM ialah ramalan. Dakwaan tentang pengguna dan pengeluaran ialah milik syarikat sendiri. Angka RAM 5 hingga 10 kali ialah peraturan praktikal 2017. Dan tafsiran bahawa jurang masih besar bagi versi semasa ialah tafsiran rencana ini: belum ada ukuran diterbitkan yang membandingkan pandas 3.0 dengan Polars.