adminOctoML, startup pembelajaran mesin yang didanai dengan baik yang membantu perusahaan mengoptimalkan dan menerapkan model mereka, meluncurkan pembaruan besar untuk produknya hari ini yang akan jauh lebih memudahkan pengembang untuk mengintegrasikan model ML ke dalam aplikasi mereka. Dengan rilis baru ini, OctoML kini dapat mengubah model ML menjadi fungsi software portabel yang dapat berinteraksi dengan developer melalui API yang konsisten. Dengan ini, juga akan lebih mudah untuk mengintegrasikan model ini ke dalam alur kerja DevOps yang ada.
Seperti yang dikatakan pendiri dan CEO OctoML Luis Ceze kepada saya, dia percaya bahwa ini adalah momen penting bagi perusahaan. Ceze, bersama dengan Chief Technologist Tianqi Chen, CPO Jason Knight, CTO Jared Roesch, dan VP of Technology Partnerships Thierry Moreau, mendirikan perusahaan untuk memproduksi TVM, kerangka kerja kompiler pembelajaran mesin sumber terbuka yang membantu para insinyur ML mengoptimalkan model mereka untuk perangkat keras tertentu .
Kredit Gambar: OctoML
“Winduk ayam Kami dimulai OctoML, Kami berkata: Let membuat TVM sebagai A Slayanan,” kata Ceze. “We terpelajar A banyak dari itu Tetapi Kemudian itu menjadi jelas aS Kami bekerja dengan lagi pelanggan itu AI/ML penyebaran masih juga keras.”
Dia mencatat bahwa karena alat untuk menyerap data dan membangun model meningkat selama beberapa tahun terakhir, kesenjangan antara apa yang dapat dilakukan model tersebut dan benar-benar mengintegrasikannya ke dalam aplikasi semakin meningkat. Jadi dengan mengubah model menjadi fungsi, celah itu sebagian besar hilang. Sistem baru ini mengabstraksi banyak kerumitan itu untuk pengembang, yang pasti akan membantu menghadirkan lebih banyak model ke dalam produksi. Saat ini, bergantung pada nomor siapa yang Anda percayai, lebih dari setengah model ML terlatih tidak pernah diproduksi.
Karena OctoML sudah menawarkan alat untuk membuat model tersebut pada dasarnya berjalan di mana saja, banyak dari pilihan tentang tempat menerapkan model sekarang juga dapat dilakukan secara otomatis. “Wtopi membedakan kami dari solusi lainnya itu kemampuan ke mendapatkan itu model untuk penyebaran, mengintegrasikannya ke dalam itu aplikasi — Dan Kemudian berlari pada setiap titik akhir,” kata Ceze dan mencatat bahwa ini juga merupakan pengubah permainan untuk penskalaan otomatis, karena ini memungkinkan para insinyur membangun sistem penskalaan otomatis yang dapat memindahkan model ke CPU dan akselerator dengan karakteristik kinerja yang berbeda sesuai kebutuhan.
Namun, kemampuan model-sebagai-fungsi hanyalah satu bagian dari pengumuman perusahaan hari ini. Yang juga baru di platform ini adalah alat baru yang membantu OctoML menggunakan pembelajaran mesin untuk mengoptimalkan model pembelajaran mesin. Layanan dapat secara otomatis mendeteksi dan menyelesaikan dependensi serta membersihkan dan mengoptimalkan kode model. Ada juga antarmuka baris perintah OctoML lokal baru dan dukungan untuk server inferensi Triton Nvidia yang sekarang dapat digunakan dengan layanan model-as-function yang baru.
“Nvidia Triton adalah abstraksi kuat yang memungkinkan pengguna memanfaatkan beberapa kerangka kerja pembelajaran mendalam dan teknologi akselerasi di CPU dan GPU Nvidia,” kata CTO OctoMl Jared Roesch. “Selain itu, dengan menggabungkan Nvidia Triton dengan OctoML, kami memungkinkan pengguna untuk lebih mudah memilih, mengintegrasikan, dan menggunakan fungsionalitas yang didukung oleh Triton. Alur kerja OctoML semakin meningkatkan nilai pengguna penerapan berbasis Triton dengan mengintegrasikan teknologi akselerasi OctoML secara mulus, memungkinkan Anda mendapatkan hasil maksimal dari lapisan penyajian dan model.”
Ke depan, Ceze mencatat bahwa perusahaan, yang telah berkembang dari 20 karyawan menjadi lebih dari 140 karyawan sejak tahun 2020, akan fokus untuk menghadirkan layanannya ke lebih banyak perangkat edge termasuk smartphone dan, berkat kemitraannya dengan Qualcomm, perangkat bertenaga Snapdragon lainnya.
“TDia pengaturan waktu sepertinya Kanan Karena sebagai Kami bicara ke rakyat itu adalah menyebarkan ke itu awan, Sekarang mereka semua kata mereka memiliki rencana ke menyebarkan pada itu tepian, juga,” katanya.
