adminCohere, sebuah startup yang membuat model bahasa besar untuk menyaingi OpenAI, hari ini mengumumkan peluncuran lab penelitian nirlaba: Cohere For AI. Dipimpin oleh alumni Google Sara Hooker, Cohere mengatakan bahwa Cohere For AI akan bekerja untuk memecahkan beberapa tantangan terberat industri dengan menyumbangkan “penelitian mendasar” ke komunitas open source.
“Kami sangat senang bisa memimpin lab penelitian AI nirlaba baru karena kami terus memperluas bagaimana dan di mana penelitian dilakukan. Ada begitu banyak yang harus diungkap, dan fokus kami adalah berkolaborasi secara terbuka dan memberikan kontribusi penelitian fundamental,” kata Hooker kepada TechCrunch melalui email. “Pada saat yang sama, komponen utama dari pekerjaan kami adalah memperluas komunitas dan membantu melatih generasi berbakat berikutnya, menciptakan titik masuk baru untuk mengerjakan penelitian inti. “
Sudah lama ada kekhawatiran dalam komunitas AI bahwa tidak cukup dana yang disisihkan untuk penelitian AI di luar perusahaan kaya. Satu studi menemukan bahwa ikatan dengan perusahaan – baik pendanaan atau afiliasi – dalam penelitian AI tumbuh secara signifikan dari 2008 hingga 2019. Studi lain menunjukkan bahwa perusahaan induk Google Alphabet, serta Amazon dan Microsoft, mempekerjakan 52 profesor AI jalur tenurial antara tahun 2004 dan 2018, menghapus calon guru ini dari pekerjaan akademik dan nirlaba.
Mengkonsentrasikan kekuasaan di dalam perusahaan memiliki sejumlah kerugian yang nyata, tetapi salah satu yang paling mengkhawatirkan adalah bahwa hal itu cenderung meremehkan nilai-nilai seperti kebajikan, keadilan, dan inklusi di sisi penelitian. Sejumlah ahli, berbicara dengan Wired untuk artikel tahun 2020, menunjukkan bahwa proyek AI perusahaan telah menyebabkan “fiksasi tidak ilmiah” pada proyek yang hanya mungkin dilakukan oleh orang yang memiliki akses ke pusat data yang kuat. Terlepas dari domainnya, pekerjaan di dalam perusahaan sering kali dijaga ketat, membutuhkan waktu bertahun-tahun untuk melihat hari yang cerah — jika memang demikian.
“Agenda kami berpusat pada memajukan kemajuan dalam pertanyaan pembelajaran mesin bersamaan dengan penelitian yang berfokus pada komunitas,” kata Hooker. “Kami juga ingin memiliki agenda penelitian proaktif sehingga kami dapat mengidentifikasi tantangan utama sebelum menjadi masalah yang perlu kami perbaiki secara retroaktif. Kami fokus pada berbagai disiplin ilmu yang berbeda untuk bekerja pada mitigasi bias, misalnya, dan bagian inti dari penelitian ini seputar keamanan AI dan penggunaan model yang kuat.”
Komponen inti lain yang ingin dibangun oleh Cohere For AI adalah akses ke sumber daya komputasi, kata Hooker — khususnya membantu para peneliti memanfaatkan model “mutakhir” dengan lebih baik untuk membantu mengembangkan pekerjaan mereka.” Peran akses komputasi berubah, seperti yang diilustrasikan oleh tren model bahasa (yaitu sistem AI yang memahami dan menghasilkan teks). Hanya beberapa tahun yang lalu, membuat model bahasa yang sangat canggih membutuhkan sumber daya komputasi yang sangat besar. Tapi sekarang, berkat terobosan akademik dan karya komunitas open source, hambatan masuk jauh lebih rendah dari sebelumnya.
Jalan menuju nirlaba
Didukung oleh tokoh-tokoh AI termasuk co-director lab UC Berkeley AI Pieter Abbeel, Cohere didirikan pada 2019 oleh tim keturunan baik yang mencakup Aidan Gomez, Ivan Zhang, dan Nick Frosst. Gomez ikut menulis makalah akademis “Attention Is All You Need,” yang memperkenalkan dunia pada arsitektur model AI fundamental yang disebut Transformer. (Di antara sistem profil tinggi lainnya, GPT-3 dan Codex OpenAI didasarkan pada arsitektur Transformer.) Zhang, bersama Gomez, adalah kontributor di For.ai, sebuah kolektif penelitian AI terbuka yang melibatkan ilmuwan dan insinyur data.
“For.ai dirancang untuk membantu para penggemar awal karier untuk lebih terlibat dengan peneliti yang lebih berpengalaman,” kata Hooker. “Banyak anggota pendiri melanjutkan untuk mengejar gelar Ph.D., atau bekerja di laboratorium akademik atau industri. Pada saat itu, For.ai adalah salah satu kelompok riset berbasis komunitas pertama yang mendukung peneliti independen di seluruh dunia. Sekarang, tim Cohere dan para pendukungnya bersemangat untuk memperkenalkan kembali konsep aslinya, tetapi dengan lebih banyak sumber daya yang dibangun dari Cohere.”
Menurut Hooker, Cohere For AI akan menawarkan cara bagi ilmuwan data untuk “bertemu dan berkolaborasi” melalui peluang penelitian bimbingan, keterlibatan dengan konferensi tradisional, dan kontribusi untuk jurnal penelitian. Bagian dari ini akan melalui promosi penatalayanan praktik ilmiah sumber terbuka dan pelepasan kode yang “bertanggung jawab”, serta mendukung upaya yang mendorong “komunikasi ilmiah” melalui berbagai media, seperti posting blog.
“WKami benar-benar ingin menjadikan Cohere For AI sebagai laboratorium penelitian ambisius yang berkontribusi pada komunitas penelitian, tetapi juga memprioritaskan cara untuk lebih melibatkan beragam suara. Kami ingin membantu mengubah di mana, bagaimana, dan oleh siapa penelitian dilakukan,” kata Hooker.
Terlepas dari tujuannya yang tinggi, Cohere For AI — yang akan didanai oleh Cohere sendiri — kemungkinan akan mengundang skeptisisme dari para peneliti yang waspada terhadap ikatan perusahaan Cohere. Cohere telah mengumpulkan $170 juta hingga saat ini dari perusahaan modal ventura institusional, termasuk Tiger Global Management dan Index Ventures, dan memiliki sejumlah asosiasi dengan Google. Kepala ilmuwan Google Cloud AI Fei-Fei Li dan sesama Google Geoffrey Hinton adalah pendukung awal Cohere, dan Gomez dan Frosst sebelumnya bekerja di Google Brain, salah satu divisi penelitian AI Google. Cohere juga bermitra dengan Google untuk melatih model bahasa besar pada infrastruktur perangkat keras khusus perusahaan.
Google terkenal membubarkan dewan penasehat AI pada tahun 2019 hanya satu minggu setelah membentuknya. Dan pada tahun 2020, perusahaan memecat peneliti AI terkemuka Timnit Gebru dalam apa yang dia klaim sebagai pembalasan karena mengirim email yang mengkritik praktik manajerial Google kepada rekan kerja. Google kemudian memberhentikan ahli etika lainnya, Margaret Mitchell, yang secara terbuka mencela penanganan perusahaan atas situasi tersebut, dan yang ketiga, Satrajit Chatterjee, setelah dia ikut menulis makalah yang mempertanyakan pekerjaan Google dalam sistem desain chip bertenaga AI.
Diaspal dengan niat baik
Secara umum, inisiatif nirlaba untuk mendanai penelitian AI telah menjadi campuran.
Di antara kisah suksesnya adalah The Allen Institute for AI (AI2), yang didirikan oleh mendiang salah satu pendiri Microsoft, Paul Allen, yang berupaya mencapai terobosan ilmiah dengan membangun sistem AI dengan kemampuan penalaran. Meskipun tidak sepenuhnya nirlaba, Anthropic, yang diluncurkan oleh mantan eksekutif OpenAI, telah mengumpulkan lebih dari setengah miliar dolar untuk meneliti sistem AI yang “dapat diandalkan, dapat ditafsirkan, dan dapat dikendalikan”.
Namun untuk setiap AI2 dan Anthropic, ada OpenAI, yang dimulai sebagai organisasi nirlaba sebelum beralih ke laba terbatas dan menerima investasi $1 miliar dari Microsoft. Sementara itu, mantan ketua Google Eric Schmidt baru-baru ini mengumumkan dana $ 125 juta untuk penelitian AI menarik kontroversi baru setelah Politico melaporkan bahwa Schmidt memiliki pengaruh yang luar biasa besar atas Kebijakan Kantor Sains dan Teknologi Gedung Putih. (Salah satu penerima pertama, profesor Berkeley Rediet Abebe, meminta namanya dihapus dari pertimbangan.)
Namun, beberapa kolektif baru telah menunjukkan harapan, terutama Penelitian AI Terdistribusi Gebru, sebuah organisasi nirlaba global untuk penelitian AI. Proyek seperti Hugging Face’s BigScience dan EleutherAI adalah contoh kuat lainnya dari apa yang dapat dicapai dalam AI di luar batas pengaruh perusahaan.
“Pada akhirnya, tergantung pada kami untuk membuktikan bahwa Cohere For AI tidak akan berubah menjadi usaha dari waktu ke waktu,” kata Hooker. “Meskipun Cohere For AI akan bergantung pada Cohere untuk sumber daya dan pendanaan, pemisahan yang jelas telah dibuat antara keduanya untuk mempertahankan independensinya sebagai laboratorium penelitian. Pemisahan ini sangat penting agar dapat terus berkontribusi dan melayani masyarakat luas sebagai entitas yang mandiri. Cohere For AI disusun sebagai organisasi nirlaba, dan sengaja dirancang untuk berkolaborasi secara terbuka dengan berbagai organisasi. Karyanya akan bersifat open source untuk memungkinkan lebih banyak akses ke komunitas yang lebih luas.”
