- Το SkillEvaluator είναι ένα πλαίσιο ανοιχτού κώδικα που χρησιμοποιεί ένα σύστημα τριών επιπέδων για την επικύρωση της ασφάλειας, της πρωτοτυπίας και του αντίκτυπου των δεξιοτήτων σε πράκτορες Τεχνητής Νοημοσύνης στον πραγματικό κόσμο.
- Η εφαρμογή επαληθευμένων δεξιοτήτων αυξάνει δραματικά την ακρίβεια και την αποτελεσματικότητα των πρακτόρων, επιτυγχάνοντας βελτιώσεις έως και 41 βαθμών στη διόρθωση εργασιών.
- Η διαδικασία αξιολόγησης χρησιμοποιεί το Harbor για την εκτέλεση δοκιμών A/B σε απομονωμένα περιβάλλοντα, συγκρίνοντας την απόδοση του πράκτορα με και χωρίς την εγκατεστημένη δεξιότητα.
Πιθανότατα το έχετε βιώσει αυτό: δημιουργείτε έναν πράκτορα τεχνητής νοημοσύνης με τα καλύτερα μοντέλα της αγοράς και άψογη τεκμηρίωση, αλλά το πράγμα συνεχίζει να κάνει κύκλους, σπαταλώντας tokens σαν τρελός ή χάνοντας σε μονοπάτια που δεν οδηγούν πουθενά. Το πρόβλημα δεν είναι συνήθως η ισχύς του μοντέλου, αλλά το περιεχόμενο. Για να λύσει αυτόν τον πονοκέφαλο, η NVIDIA κυκλοφόρησε το SkillEvaluator, ένα εργαλείο ανοιχτού κώδικα ειδικά σχεδιασμένο για να δοκιμάζει τις δυνατότητες ή τις "δεξιότητες" που προσθέτουμε σε αυτούς τους πράκτορες και να βλέπει αν πραγματικά συμβάλλουν σε κάτι ή είναι απλώς διαφημιστική εκστρατεία.
Ουσιαστικά, οι δεξιότητες είναι σαν βελτιστοποιημένα εγχειρίδια οδηγιών και υπογεγραμμένα πακέτα που λένε στον πράκτορα τι κάνει ένα προϊόν NVIDIA, πότε είναι η κατάλληλη στιγμή για να το χρησιμοποιήσει και πώς ακριβώς να το ονομάσει. Το SkillEvaluator λειτουργεί ως κριτής που αποφασίζει εάν μια δεξιότητα είναι έτοιμη για παραγωγή, συγκρίνοντας την απόδοση του πράκτορα σε πραγματικές καταστάσεις χρησιμοποιώντας ένα σύστημα αυστηρών προτύπων και δοκιμών A/B σε ελεγχόμενα περιβάλλοντα, εμποδίζοντας έτσι τον πράκτορα να αυτοσχεδιάζει βασιζόμενος σε εσφαλμένες υποθέσεις.
Το σύστημα φιλτραρίσματος τριών επιπέδων
Για να θεωρηθεί μια δεξιότητα «επαληθευμένη», πρέπει να περάσει από μια διαδικασία τριών σταδίων. Τα καλά νέα είναι ότι δεν χρειάζεται να τις ολοκληρώσετε με τη σειρά. Μπορείτε να μεταβείτε απευθείας σε αυτήν που χρειάζεστε ανάλογα με το πρόβλημα που θέλετε να λύσετε.
- Επίπεδο 1: Ασφάλεια και Δομή. Εδώ λαμβάνει χώρα ο βαθύς καθαρισμός. Το σχέδιο ελέγχεται για την ακρίβειά του, αναζητούνται τα αποκαλυφθέντα μυστικά και οι προσωπικές πληροφορίες (PII) και αναλύονται τυχόν κίνδυνοι. άμεσες επιθέσεις ένεσης ή εξαγωγή δεδομένων. Εδώ είναι που παίζει ρόλο Επιθεωρητής Δεξιοτήτων, ένας εξειδικευμένος σαρωτής που ελέγχει για περισσότερα από 68 μοτίβα ευπάθειας, από κατάχρηση ενεργοποίησης έως δηλητηρίαση μνήμης.
- Επίπεδο 2: Διακριτικότητα και Επικάλυψη. Είναι άσκοπο να έχεις δέκα δεξιότητες που λένε όλες το ίδιο πράγμα. Αυτό το επίπεδο χρησιμοποιεί ομοιότητα των ενσωματώσεων για να ανιχνεύσει εάν μια δεξιότητα επαναλαμβάνει οδηγίες που υπάρχουν ήδη στον κατάλογο ή εάν επικαλύπτεται υπερβολικά με άλλες, βελτιστοποιώντας έτσι τον χώρο περιβάλλοντος του πράκτορα.
- Επίπεδο 3: Ζωντανή Αξιολόγηση. Αυτή είναι η απόλυτη δοκιμή. Εδώ, χρησιμοποιούνται πραγματικές, συνθετικά δημιουργημένες εργασίες και εκτελούνται σε απομονωμένα sandboxes χρησιμοποιώντας Λιμάνι, ένα πλαίσιο ανοιχτού κώδικα. Η ίδια εργασία εκτελείται δύο φορές: μία φορά με την δεξιότητα και μία φορά χωρίς αυτήν, μετρώντας ακριβώς πόσο έχει βελτιωθεί το αποτέλεσμα.
Μετρήσεις επιτυχίας και η έννοια της αύξησης δεξιοτήτων
Όταν η NVIDIA δοκίμασε πάνω από 300 δεξιότητες σε περισσότερα από 30 προϊόντα, τα δεδομένα ήταν αποκαλυπτικά. Η βασική μέτρηση είναι η Αύξηση Δεξιοτήτων , η οποία είναι απλώς η διαφορά στις βαθμολογίες μεταξύ εκτέλεσης με και χωρίς την δεξιότητα. Τα αποτελέσματα δείχνουν ότι ενώ οι πράκτορες χωρίς την δεξιότητα απέδωσαν σε ένα μέτριο εύρος 39 έως 46 βαθμών, η εγκατάσταση των επαληθευμένων δεξιοτήτων είχε ως αποτέλεσμα ένα δραματικό άλμα στην απόδοση.
Όσον αφορά την ακρίβεια και την ορθότητα , η μέση βαθμολογία αυξήθηκε από 46 σε 87 μονάδες, σημειώνοντας βελτίωση 41 μονάδων. Η αποτελεσματικότητα αυξήθηκε από 39 σε 78 και η ικανότητα του πράκτορα να ανακαλύψει το κατάλληλο εργαλείο αυξήθηκε από 42 σε 82. Η αποδοτικότητα αυξήθηκε από 43 σε 78. Είναι ενδιαφέρον ότι η ασφάλεια είχε ήδη πολύ υψηλό βασικό επίπεδο (97 μονάδες), επομένως η βελτίωση ήταν ελάχιστη, φτάνοντας τους 98, αποδεικνύοντας ότι η ασφάλεια αποτελεί προτεραιότητα από τον αρχικό σχεδιασμό.
Η σκληρή πραγματικότητα των tokens και της απόδοσης
Δεν είναι όλα ηλιοφάνεια και ουράνια τόξα. Υπάρχει μια λεπτομέρεια που μερικές φορές παραβλέπεται: οι δεξιότητες δεν εξοικονομούν πάντα χρήματα. Η NVIDIA ήταν πολύ ειλικρινής στην παραδοχή ότι η εξοικονόμηση token δεν είναι εγγυημένη . Εξαρτάται αποκλειστικά από την δεξιότητα και το πόσο βελτιστοποιημένη είναι. Για παράδειγμα, μια δεξιότητα βελτιστοποίησης μνήμης στο Jetson κατάφερε να μειώσει τα tokens κατά 76,9% και τον χρόνο εκτέλεσης κατά 53,7%, κάτι που είναι φανταστικό.
Ωστόσο, το αντίθετο συνέβη με την ικανότητα εγκατάστασης του cuOpt, η οποία αύξησε τη χρήση των token κατά 120,3% και τον χρόνο εκτέλεσης. Αυτό ακριβώς είναι που καθιστά το SkillEvaluator πολύτιμο: σας επιτρέπει να εντοπίσετε ποιες δεξιότητες βοηθούν τον πράκτορα να γίνει πιο έξυπνος, αλλά με κόστος την αύξηση του κόστους του API , επιτρέποντας στους προγραμματιστές να προσαρμόσουν τον κώδικα πριν φτάσει στον τελικό χρήστη.
Implementación técnica y flujo de trabajo
Για όσους θέλουν να λερώσουν τα χέρια τους, η διαδικασία είναι αρκετά απλή. Συνιστάται η χρήση uv για εγκατάσταση. Μόλις ρυθμιστεί, ένα σύνολο δεδομένων αξιολόγησης μπορεί να δημιουργηθεί με την εντολή create-eval-dataset, το οποίο δημιουργεί σαφείς, έμμεσες, ακόμη και αρνητικές περιπτώσεις για να προσπαθήσει να εξαπατήσει τον πράκτορα.
Στη συνέχεια, η αξιολόγηση Επιπέδου 3 ξεκινά χρησιμοποιώντας την εντολή tier3 evaluateΤο σύστημα μετατρέπει αυτές τις υποθέσεις σε πακέτα εργασιών για το Harbor, τις εκτελεί σε Εμπορευματοκιβώτια Docker ή σε περιβάλλοντα cloud και εμφανίζει μια λεπτομερή αναφορά σε μορφές όπως JSON, HTML ή Markdown. Είναι σημαντικό να αναφερθεί ότι το χρησιμοποιούμενο γλωσσικό μοντέλο Έχει σημασία, αν και τα δεδομένα υποδηλώνουν ότι η άριστη γνώση του προϊόντος και η ποιότητα του συνόλου αξιολόγησης έχουν πολύ μεγαλύτερη σημασία από το αν χρησιμοποιείτε Κώδικας Κλοντ ή Κώδικας.
Αυτό το οικοσύστημα υιοθετείται ήδη από συνεργάτες όπως το OpenClaw στο ClawHub και το Nous Research στο Hermes Agent, ενσωματώνοντας τη σάρωση SkillSpector για να διασφαλιστεί ότι δεν θα εγκατασταθούν επικίνδυνες δεξιότητες. Τελικά, αυτό που έχει προσφέρει η NVIDIA είναι ένας τρόπος τυποποίησης των δοκιμών A/B για την τεχνητή νοημοσύνη, εξαλείφοντας τις εικασίες και βασίζοντας τη βελτίωση των πρακτόρων σε μαθηματικά δεδομένα και μεμονωμένες δοκιμές που εγγυώνται ότι κάθε προστιθέμενη γνώση ωθεί πραγματικά τη βελόνα απόδοσης προς τα πάνω.
