Raspberry Pi AI palīgs: Kā to iestatīt, lokālās opcijas un paātrinājums ar Hailo

PCHardwarePro » detaļas » Raspberry Pi AI palīgs: Kā to iestatīt, lokālās opcijas un paātrinājums ar Hailo

Valodu modeļu attīstība ir padarījusi mākslīgo intelektu pieejamu jebkuram ražotājam, un Raspberry Pi ir ideāls iegansts eksperimentiem. Šajā rakstā es detalizēti pastāstīšu, kā ir veidoti reāli projekti, piemēram, tērzēšanai līdzīgs tīmekļa asistents PiCockpit, privāts balss asistents Pi 4 un vairākas jaudīgas iespējas ar Raspberry Pi 5 un tā mākslīgā intelekta komplektu. Ideja ir tāda, lai jūs redzētu, kuras daļas sader kopā, kāda aparatūra un programmatūra jums ir nepieciešama un kādus ceļus varat izvēlēties. atkarībā no tā, vai vēlaties kaut ko mākoņdatošanas, hibrīda vai bezsaistes risinājumu.

Lai nodrošinātu visu nepieciešamo, mēs apskatīsim visu, sākot ar atkarību (Node.js, npm, yarn) instalēšanu, atslēgu konfigurēšanu, saskarnes palaišanu un lietošanu, beidzot ar lokālu runas atpazīšanu ar VOSK, integrāciju ar modeļiem, izmantojot OpenAI tipa API (izmantojot Ollama), un paātrināšanu ar Hailo-8L NPU. Jūs redzēsiet arī kiberdrošības apsvērumus, īsu komandas vadības pārskatu, lai projektu sāktu, un reālās pasaules piemērus darbībā. dažādās Raspberry Pi paaudzēs.

Ko mākslīgā intelekta asistents var darīt Raspberry Pi ierīcē?

Raspberry Pi asistents var atbildēt uz jautājumiem, veikt lokālas darbības, vadīt ierīces vai kļūt par balss ieejas punktu ar dabiskām atbildēm. Praksē jūs redzēsiet divas galvenās pieejas: tīmekļa tērzēšanu un balss aktivizētus palīgus., ar mākoņdatošanas iespējām, jūsu tīklā vai 100% uz vietas.

Tīmekļa variantā, piemēram, RaspiGPT for PiCockpit, ir tērzēšanas saskarne ar sarunu pārvaldību un izsaukumiem uz valodas modeli. Balss vadības variantā, piemēram, ASRAI projektā, tiek apvienoti mikrofoni, lokālā runas atpazīšana un API pieejama LLM.pat no citas mašīnas caur tuneliem vai privātiem tīkliem.

RaspiGPT vietnē PiCockpit: tērzēšanai līdzīgs mākslīgā intelekta palīgs

PiCockpit komanda izstrādāja vienkāršu lietotni ar nosaukumu RaspiGPT, kas paredzēta, lai atbildētu uz jautājumiem par Raspberry Pi un saistītām tehnoloģiju tēmām. Tās saskarne piedāvā teksta apgabalu un pogas tērzēšanas pārdēvēšanai, ziņošanai, dzēšanai vai jaunu sarunu izveidei.Tieši tik daudz, lai varētu ērti sarunāties, neko nesarežģījot.

RaspiGPT galvenā priekšrocība ir tā, ka to ir viegli iestatīt un tas aptver visas pamatfunkcijas: ziņojumu ievadi, modeļu izsaukumus un straumēšanas atbildi reāllaikā. Kamēr modelis ģenerē saturu, jūs redzat, kā tas parādās pamazām., kas ievērojami uzlabo pieredzi.

Atzīmēt Lai izvietotu savu versiju, nepieciešama OpenAI API atslēga. Bez šīs akreditācijas jūs nevarēsiet pabeigt iestatīšanu. un lietotne nereaģēs.

Atkarību instalēšana (Raspberry Pi 4 vai citas sistēmas)

Sākotnējā demonstrācija darbojas uz Raspberry Pi 4, taču jebkura sistēma ar Node.js darbosies tikpat labi. Process sākas ar projekta repozitorija klonēšanu un vides sagatavošanu. Jums būs jāinstalē Node.js, npm un yarn pakotņu pārvaldnieks., lejupielādējot jūsu platformai atbilstošo versiju.

Ja strādājat ar Raspberry Pi 4, lejupielāde ir paredzēta ARMv8. Pēc faila iegūšanas parasti to izvelk un instalē, un pēc tam pārbauda, ​​vai viss darbojas pareizi. Pārbaudiet mezgla un npm versijas, lai pārliecinātos, ka instalēšana neradīja kļūdas. pirms turpināt darbu ar lietotni.

Viena svarīga detaļa: faila nosaukums var mainīties atkarībā no lejupielādētās versijas, tāpēc esiet uzmanīgi, aizstājot to komandā. Ja kaut kas noiet greizi, projekta README fails parasti piedāvā papildu darbības vai risinājumus. tipiskiem gadījumiem.

Kad Node.js un npm ir gatavi, instalējiet yarn, un jums būs sagatavota pēdējā vides daļa. Pēc tam varat pāriet uz lietojumprogrammas izveidi un palaišanu. ar totālu normālumu.

RaspiGPT uzbūve un konfigurācija

Kad repozitorijs ir klonēts, ir pienācis laiks minimālajai konfigurācijai: izveidojiet API atslēgu savā OpenAI kontā un atsaucieties uz to projektā. Ģenerējiet atslēgu (piemēram, “RaspiGPT-Key”) un uzmanīgi to nokopējiet. jo tev tas būs vajadzīgs tūlīt.

Šī atslēga tiek ielīmēta atbilstošajā ietvara konfigurācijas faila rindā, šajā gadījumā "nuxt.config.ts". Ja šis mainīgais nav precīzi definēts, modeļa izsaukumi netiek autentificēti.tāpēc tas ir kritisks solis.

Palaidiet vedni un izmantojiet saskarni

Kad atkarības ir instalētas un atslēga ir konfigurēta, atliek tikai izveidot un palaist pakalpojumu (pārliecinieties, ka atrodaties direktorijā "gpt-demo"). Kad startējat lietotni, tā tiek mitināta lokāli, un to var atvērt pārlūkprogrammā vietnē "http://localhost:3000". lai sāktu sarunu.

Asistents reaģē straumējot, padarot mijiedarbību daudz vienmērīgāku: jūs lasāt, kamēr mākslīgais intelekts raksta. Turklāt tērzēšanas sarunas var pārvaldīt (pārdēvēt, ziņot, dzēst vai izveidot) no pašas saskarnes. nepieskaroties nekam aizmugurē.

Sākotnējā projektā ir iekļauts demonstrācijas video, kas tiks publicēts vēlāk un ir noderīgs, lai redzētu faktisko uzvedību. Līdz tam laikam lietotne ir pietiekami vienkārša, lai jūs to varētu apgūt dažu minūšu laikā. tiklīdz tas darbojas jūsu datorā.

ASRAI: privāts balss asistents uz Raspberry Pi 4

Vēl viena ļoti interesanta pieeja ir ASRAI, ko radījis Adams Frīdrihs. Šeit galvenais ir balss: sistēma klausās, interpretē un reaģē, respektējot jūsu privātumu. Iestatījumā tiek izmantots Raspberry Pi 4 Model B, 3,5 collu GPIO displejs un zvaigžņu perifērijas ierīce: Sony PlayStation Eye kamera..

Kāpēc PS Eye? Jo papildus kamerai tajā ir integrēts četru mikrofonu komplekts, kurus var noņemt un izmantot ar Pi. Tie maksā ļoti lēti, ir viegli integrējami un nodrošina vairāk nekā pienācīgu uzņemšanas kvalitāti. mājas projektam.

Programmatūrā ASRAI lokālai runas atpazīšanai izmanto VOSK, nepaļaujoties uz ārējiem pakalpojumiem. Valodas modelim tā vietā, lai to darbinātu pašā Pi, tiek izmantota Ollama publiskotā ar OpenAI saderīgā API. citā tīkla ierīcē.

Pateicoties NordVPN Meshnet, sistēma var sazināties ar šo LLM serveri no jebkuras vietas, saglabājot kanālu privātu. Šī hibrīda pieeja (vietējā balss + attālā LLM) līdzsvaro latentumu, privātumu un jaudu.un ļoti labi iederas mājas vidē.

Lai to visu papildinātu, veidotājs pievienoja "guļošus" un "klausīšanās" attēlus, kas tiek parādīti mazajā ekrānā atkarībā no asistenta statusa. Ja jūs nolemjat to atkārtot, jums būs nepieciešams 3D printeris un lodāmurs., jo dizains prasa nedaudz roku veiklības.

Ja jums patīk idejas šajā virzienā, ir pieejami vēl citi eksperimenti, kuros Raspberry Pi tiek pārveidots par asistentu ar mākslīgā intelekta funkcijām, kā arī salīdzinājumi ar Raspberry Pi 5, testējot dažādus modeļus. Kopiena attīstās strauji, un atsauces atradīsiet specializētos plašsaziņas līdzekļos. runājot par šiem iestatījumiem.

Raspberry Pi 5: jauda un savienojamība jūsu asistentam

Raspberry Pi 5, domājams, divkāršo iespējas salīdzinājumā ar iepriekšējām paaudzēm, ar lielāku procesoru, atmiņu un modernām kopnēm. Mēs runājam par 2,4 GHz ARM Cortex-A76 procesoru, iespējām līdz 8 GB LPDDR4X RAM, Wi-Fi 5 un Bluetooth 5.0/BLE.un divkārša micro-HDMI video izeja ar 4K atbalstu pie 60 Hz.

Ar šīm specifikācijām jūs varat palaist pilnīgas operētājsistēmas un vieglus mākslīgā intelekta ietvarus, kā arī automatizācijas vai multimediju projektus. Programmēšana Python, Java vai C++ valodā un sensoru un izpildmehānismu savienošana ir tīrais nieks. ar Pi ekosistēmu.

Raspberry Pi 5 mākslīgā intelekta komplekts ar Hailo-8L

Ja vēlaties spert soli tālāk, Raspberry Pi 5 mākslīgā intelekta komplekts pievieno Hailo-8L NPU, izmantojot M.2 HAT+. Šī ierīce var sasniegt līdz pat 13 TOPS un ir uzstādīta M.2 2242 formātā., gatavs pieslēgšanai.

Komplektā ietilpst M.2 HAT+, modulis ar Hailo-8L, sakraujams GPIO savienotājs, starplikas, skrūves un plakans kabelis savienošanai ar Pi 5 PCIe. Plate ir aprīkota arī ar radiatoru, lai kontrolētu temperatūru. kad akselerators darbojas ar pilnu jaudu.

Kad aparatūra ir instalēta, programmatūra integrējas ar Raspberry Pi OS vidi: tiek atbalstītas libcamera, rpicam-apps un picamera2. Hailo, HailoRT un HailoTappas draiverus var ērti instalēt, izmantojot apt, necīnoties ar dīvainām kompilācijām.

Šis mākslīgā intelekta komplekts ir pirmais klāstā, kas paredzēts, lai nodrošinātu augstas veiktspējas mākslīgo intelektu Pi ierīcēs ar energoefektivitāti. To izmanto objektu noteikšanai, sejas atpazīšanai, lokālajiem asistentiem un citām perifērijas mākslīgā intelekta lietojumprogrammām. kam nepieciešama zema latentuma un privātuma nodrošināšana.

Runas atpazīšana, NLP un sintēze: programmatūras opcijas

Lai uztvertu balss komandas, ir vairākas iespējas. Lokāli VOSK ir stabila alternatīva, un ir arī tādi dzinēji kā PocketSphinx; ja meklējat mākoņpakalpojumus, ir bibliotēkas, kas izveido savienojumu ar ārējiem pakalpojumu sniedzējiem. Python valodā SpeechRecognition bibliotēka atvieglo integrāciju ar dažādām aizmugursistēmām. no STT.

Lai izprastu lietotāja nodomu, tiek izmantota dabiskās valodas apstrāde. LLM, kas pieejams, izmantojot OpenAI tipa API, vienkāršo semantisko daļu.Neatkarīgi no tā, vai tas ir mākonī balstīts modelis, tāds, ko savā tīklā publiskojat ar Ollama, vai pat optimizēts modelis, kas darbojas uz Pi 5.

Balss atbildēm pyttsx3 ir teksta-runas sintēzes opcija, kas nav atkarīga no interneta. Ar šiem blokiem (STT + LLM + TTS) var izveidot pilnīgu sarunu ciklu. kas darbojas uz Pi vai ar citas mašīnas atbalstu.

Praktisks Raspberry Pi 5 gadījuma pētījums: instalēšana un skriptēšana

Ja vēlaties savā Pi 5 kaut ko minimālistisku, viegla attēla, piemēram, Raspbian Lite, instalēšana atbrīvo resursus mākslīgajam intelektam. Pēc tam konfigurējiet nepieciešamās bibliotēkas (piemēram, SpeechRecognition un pyttsx3) un izveidojiet skriptus Python valodā. ar sava asistenta loģiku.

Šīs pieejas priekšrocība ir tā, ka jūs pielāgojat katru elementu savam gadījumam: aktivizēšanas vārdu, dialoga plūsmu, sistēmas darbības un ierīces. Galu galā jūsu Pi var izpildīt lokālus uzdevumus vai sūtīt komandas citām pievienotajām ierīcēm. izmantojot Wi-Fi vai Bluetooth.

100% Pi 5 projekti: mazi, bet noderīgi modeļi

Ja vēlaties visu darbināt pašā Raspberry Pi 5, ir reāli piemēri ar aģentiem, kas pilnībā darbojas uz tāfeles. Viens ievērojams gadījums izmanto kompaktus modeļus, piemēram, Qwen3 1.7B un Gemma3 1B, ar vārdu noteikšanas, transkripcijas un secinājumu aktivizēšanas funkciju. darbojas tajā pašā ierīcē.

Šāda veida projekts parāda, ka ar optimizāciju un reducētiem modeļiem pamata saziņa un rīku vadība ir iespējama bez ārēja atbalsta. Kods un publiskā dokumentācija ļauj atkārtot montāžu un apgūt veiktspējas trikus. kas padara to iespējamu.

Audio aparatūra: kāpēc mikrofonu masīvs ir tik svarīgs

Balss uztveršana ir ļoti svarīga atslēgvārdu aktivizētos asistentos. Sony PlayStation Eye 4 mikrofonu masīva atkārtota izmantošana ir lēta un funkcionāla ideja kas jau ir pierādījusi savu efektivitāti uz Raspberry Pi 4.

Ar labu masīvu un lokālu STT dzinēju jūs samazināt troksni, uzlabot precizitāti un izvairīties no paļaušanās uz tīklu, lai saprastu lietotāju. Šis līdzsvars starp vienkāršu aparatūru un optimizētu programmatūru padara veidotāja pieeju tik praktisku. uz Pi.

Kiberdrošība un uzturēšana: kas nedrīkst tikt aizmirsts

Ar savienotajiem asistentiem drošībai ir nozīme. Atjauniniet savu sistēmu, bibliotēkas un atkarības, lai mazinātu zināmās ievainojamības. Izolēts tīkls jūsu lietu interneta ierīcēm un šifrēta komunikācija samazina uzbrukuma virsmu. ārējo mēģinājumu priekšā.

Lai gan šajā kontekstā nav īpaši uzskaitīti CVE, kas attiektos uz Pi 5 asistentu, ir vērts rūpīgi sekot līdzi bieži sastopamajām lietu interneta problēmām. Tādas ievainojamības kā CVE-2021-22945 vai CVE-2021-22946 kalpo kā atgādinājums par ielāpu ieviešanas un pārskatīšanas nozīmi. jebkurš atklāts pakalpojums.

Projektu vadība: ietekmēšana bez pilnvarām, lai komandas darbs noritētu raiti

Ja strādājat ar citiem cilvēkiem pie mākslīgā intelekta asistenta, koordinācija ir tikpat svarīga kā kods. Formāla autoritāte palīdz, taču ticamībai, attiecībām un atpazīstamībai bieži vien ir lielāks svars. atbloķējot atkarības.

Tas pieņem, ka jebkurā organizācijā pastāv politika: dažādas prioritātes, spiediens un dažādi viedokļi. Tavs uzdevums ir pārvaldīt šo spriedzi ar empātiju, kartēt savstarpējo atkarību un veidot uzticību., nevis uzlikt ar īpašumtiesībām.

Pajautājiet sev, kam ir jāsadarbojas, kas varētu kavēt progresu un kas ir atkarīgs no jūsu snieguma. Kamēr vide neuztvers, ka vēlaties rīkoties pareizi, zināt, kā to darīt, un varat to sasniegt, jūsu ietekme būs ierobežota.lai cik tehnisks būtu izaicinājums.

Pēdējais lēciens ir pāreja no "Es saņemu to, kas man vajadzīgs" uz "Es radu kopīgas uzvaras". Šī domāšanas maiņa paātrina sadarbību un inovācijas, tieši tas, kas nepieciešams tādam starpnozaru projektam kā mākslīgā intelekta asistents.

Lietošanas gadījumi, kas ir īpaši piemēroti

Ar Pi 5 un, ja vēlaties, arī Hailo-8L NPU jūs varat viegli tikt galā ar redzes uzdevumiem un hibrīdajiem asistentiem. Piekļuves kontrole, izmantojot sejas atpazīšanu, virtuālu asistentu jūsu laboratorijai vai robotu ar pamata mācīšanās paradumiem Tie ir projekti, kas ir pilnībā sasniedzami.

Ja dodat priekšroku pārnesamībai, Pi 4 ar VOSK un mikrofonu masīvu nodrošina jums jaudīgu balss palīgu, nepaļaujoties uz mākoņpakalpojumiem. Un, ja vēlaties izsmalcinātu tērzēšanas pieredzi, RaspiGPT tipa priekšlikums piedāvā visu nepieciešamo dažu minūšu laikā., no pārlūkprogrammas un ar straumētām atbildēm.

Aparatūras jomā Hailo AI komplekts vienkāršo iekļūšanu paātrinājuma pasaulē. Tas, ka programmatūra ir paredzēta apt un integrējas ar libcamera un picamera2, samazina berzi. un ļauj koncentrēties uz modeli un lietošanas gadījumu.

Izmantojot redzētos komponentus, varat izvēlēties savu ceļu: mākonis, hibrīds vai lokāls; tīmeklis vai balss; Pi 4 vai Pi 5 ar NPU. Svarīgi ir tas, ka iespējas ir reālas un pārbaudītas kopienas projektos.Tātad, atliek vien sākt būvniecību.