# Κεφάλαιο 07: Δείγματα EdgeAI Το Edge AI αντιπροσωπεύει τη σύγκλιση της τεχνητής νοημοσύνης με το edge computing, επιτρέποντας την έξυπνη επεξεργασία απευθείας στις συσκευές χωρίς να βασίζεται στη συνδεσιμότητα με το cloud. Αυτό το κεφάλαιο εξερευνά πέντε διαφορετικές υλοποιήσεις EdgeAI σε διάφορες πλατφόρμες και frameworks, αναδεικνύοντας την ευελιξία και τη δύναμη της εκτέλεσης μοντέλων AI στο edge. ## 1. EdgeAI στο NVIDIA Jetson Orin Nano Το NVIDIA Jetson Orin Nano αποτελεί μια επανάσταση στην προσιτή υπολογιστική Edge AI, προσφέροντας έως και 67 TOPS απόδοση AI σε μια συμπαγή μορφή μεγέθους πιστωτικής κάρτας. Αυτή η ισχυρή πλατφόρμα Edge AI εκδημοκρατίζει την ανάπτυξη γενετικής AI για ερασιτέχνες, φοιτητές και επαγγελματίες προγραμματιστές. ### Βασικά Χαρακτηριστικά - Παρέχει έως και 67 TOPS απόδοση AI—βελτίωση 1.7X σε σχέση με τον προκάτοχό του - 1024 πυρήνες CUDA και έως 32 Tensor Cores για επεξεργασία AI - 6-πύρηνος επεξεργαστής Arm Cortex-A78AE v8.2 64-bit με μέγιστη συχνότητα 1.5 GHz - Τιμή μόλις $249, προσφέροντας στους προγραμματιστές, φοιτητές και δημιουργούς την πιο προσιτή και προσβάσιμη πλατφόρμα ### Εφαρμογές Το Jetson Orin Nano διαπρέπει στην εκτέλεση σύγχρονων γενετικών μοντέλων AI, όπως vision transformers, μεγάλα γλωσσικά μοντέλα και μοντέλα vision-language. Είναι ειδικά σχεδιασμένο για περιπτώσεις χρήσης GenAI και πλέον μπορείτε να εκτελέσετε αρκετά LLMs σε μια συσκευή μεγέθους παλάμης. Δημοφιλείς περιπτώσεις χρήσης περιλαμβάνουν ρομποτική με AI, έξυπνα drones, έξυπνες κάμερες και αυτόνομες edge συσκευές. **Μάθετε Περισσότερα**: [NVIDIA's Jetson Orin Nano SuperComputer: The Next Big Thing in EdgeAI](https://medium.com/data-science-in-your-pocket/nvidias-jetson-orin-nano-supercomputer-the-next-big-thing-in-edgeai-e9eff687ae62) ## 2. EdgeAI σε Εφαρμογές Κινητών με .NET MAUI και ONNX Runtime GenAI Αυτή η λύση δείχνει πώς να ενσωματώσετε Γενετική AI και Μεγάλα Γλωσσικά Μοντέλα (LLMs) σε εφαρμογές κινητών πολλαπλών πλατφορμών χρησιμοποιώντας .NET MAUI (Multi-platform App UI) και ONNX Runtime GenAI. Αυτή η προσέγγιση επιτρέπει στους προγραμματιστές .NET να δημιουργούν εξελιγμένες εφαρμογές κινητών με AI που εκτελούνται εγγενώς σε συσκευές Android και iOS. ### Βασικά Χαρακτηριστικά - Βασισμένο στο framework .NET MAUI, παρέχοντας ένα ενιαίο codebase για εφαρμογές Android και iOS - Ενσωμάτωση ONNX Runtime GenAI για εκτέλεση γενετικών μοντέλων AI απευθείας στις κινητές συσκευές - Υποστήριξη διάφορων επιταχυντών υλικού προσαρμοσμένων για κινητές συσκευές, όπως CPU, GPU και εξειδικευμένοι επεξεργαστές AI για κινητά - Βελτιστοποιήσεις πλατφόρμας όπως CoreML για iOS και NNAPI για Android μέσω ONNX Runtime - Υλοποιεί τον πλήρη κύκλο γενετικής AI, συμπεριλαμβανομένων προεπεξεργασίας, inference, επεξεργασίας logits, αναζήτησης και δειγματοληψίας, και διαχείρισης KV cache ### Οφέλη Ανάπτυξης Η προσέγγιση .NET MAUI επιτρέπει στους προγραμματιστές να αξιοποιήσουν τις υπάρχουσες δεξιότητες τους σε C# και .NET ενώ δημιουργούν εφαρμογές AI πολλαπλών πλατφορμών. Το ONNX Runtime GenAI framework υποστηρίζει πολλαπλές αρχιτεκτονικές μοντέλων, όπως Llama, Mistral, Phi, Gemma και πολλά άλλα. Οι βελτιστοποιημένοι πυρήνες ARM64 επιταχύνουν την πολλαπλασιασμό μήτρας INT4, εξασφαλίζοντας αποδοτική απόδοση στο κινητό υλικό ενώ διατηρούν την οικεία εμπειρία ανάπτυξης .NET. ### Περιπτώσεις Χρήσης Αυτή η λύση είναι ιδανική για προγραμματιστές που θέλουν να δημιουργήσουν εφαρμογές κινητών με AI χρησιμοποιώντας τεχνολογίες .NET, όπως έξυπνα chatbots, εφαρμογές αναγνώρισης εικόνας, εργαλεία μετάφρασης γλώσσας και συστήματα εξατομικευμένων προτάσεων που εκτελούνται εξ ολοκλήρου στη συσκευή για αυξημένη ιδιωτικότητα και δυνατότητα offline. **Μάθετε Περισσότερα**: [.NET MAUI ONNX Runtime GenAI Example](https://github.com/microsoft/onnxruntime-genai/tree/jialli/genny-maui/examples/csharp/GennyMaui) ## 3. EdgeAI στο Azure με Small Language Models Engine Η λύση EdgeAI της Microsoft στο Azure επικεντρώνεται στην αποτελεσματική ανάπτυξη Small Language Models (SLMs) σε υβριδικά περιβάλλοντα cloud-edge. Αυτή η προσέγγιση γεφυρώνει το χάσμα μεταξύ υπηρεσιών AI σε κλίμακα cloud και απαιτήσεων ανάπτυξης στο edge. ### Πλεονεκτήματα Αρχιτεκτονικής - Απρόσκοπτη ενσωμάτωση με τις υπηρεσίες Azure AI - Εκτέλεση SLMs/LLMs και πολυτροπικών μοντέλων στη συσκευή και στο cloud με ONNX Runtime - Βελτιστοποιημένο για ανάπτυξη σε κλίμακα επιχειρήσεων - Υποστήριξη συνεχών ενημερώσεων και διαχείρισης μοντέλων ### Περιπτώσεις Χρήσης Η υλοποίηση EdgeAI στο Azure διαπρέπει σε σενάρια που απαιτούν ανάπτυξη AI σε επίπεδο επιχείρησης με δυνατότητες διαχείρισης cloud. Αυτό περιλαμβάνει έξυπνη επεξεργασία εγγράφων, ανάλυση σε πραγματικό χρόνο και υβριδικές ροές εργασίας AI που αξιοποιούν τόσο πόρους cloud όσο και edge. **Μάθετε Περισσότερα**: [Azure EdgeAI SLM Engine](https://github.com/microsoft/onnxruntime-genai/tree/main/examples/slm_engine) ## [4. EdgeAI με Windows ML](./windowdeveloper.md) Το Windows ML αντιπροσωπεύει το προηγμένο runtime της Microsoft, βελτιστοποιημένο για αποδοτική inference μοντέλων στη συσκευή και απλοποιημένη ανάπτυξη, αποτελώντας τη βάση του Windows AI Foundry. Αυτή η πλατφόρμα επιτρέπει στους προγραμματιστές να δημιουργούν εφαρμογές Windows με AI που αξιοποιούν πλήρως το υλικό των PC. ### Δυνατότητες Πλατφόρμας - Λειτουργεί σε όλα τα PCs με Windows 11 που τρέχουν έκδοση 24H2 (build 26100) ή νεότερη - Λειτουργεί σε όλο το x64 και ARM64 υλικό PC, ακόμα και σε PCs που δεν διαθέτουν NPUs ή GPUs - Επιτρέπει στους προγραμματιστές να φέρουν τα δικά τους μοντέλα και να τα αναπτύξουν αποτελεσματικά σε όλο το οικοσύστημα συνεργατών υλικού, συμπεριλαμβανομένων των AMD, Intel, NVIDIA και Qualcomm, καλύπτοντας CPU, GPU, NPU - Με τη χρήση APIs υποδομής, οι προγραμματιστές δεν χρειάζεται πλέον να δημιουργούν πολλαπλές εκδόσεις της εφαρμογής τους για να στοχεύσουν διαφορετικό υλικό ### Οφέλη για Προγραμματιστές Το Windows ML αφαιρεί την πολυπλοκότητα του υλικού και των παρόχων εκτέλεσης, ώστε να μπορείτε να εστιάσετε στη συγγραφή του κώδικά σας. Επιπλέον, το Windows ML ενημερώνεται αυτόματα για να υποστηρίζει τις τελευταίες NPUs, GPUs και CPUs καθώς κυκλοφορούν. Η πλατφόρμα παρέχει ένα ενιαίο framework για ανάπτυξη AI σε όλο το ποικιλόμορφο οικοσύστημα υλικού των Windows. **Μάθετε Περισσότερα**: - [Windows ML Overview](https://learn.microsoft.com/en-us/windows/ai/new-windows-ml/overview) - [Windows EdgeAI Development Guide](./windowdeveloper.md) - Ολοκληρωμένος οδηγός για ανάπτυξη Edge AI στα Windows ## [5. EdgeAI με Foundry Local Applications](./foundrylocal.md) Το Foundry Local επιτρέπει στους προγραμματιστές Windows και Mac να δημιουργούν εφαρμογές Retrieval Augmented Generation (RAG) χρησιμοποιώντας τοπικούς πόρους στο .NET, συνδυάζοντας τοπικά γλωσσικά μοντέλα με δυνατότητες σημασιολογικής αναζήτησης. Αυτή η προσέγγιση παρέχει λύσεις AI με επίκεντρο την ιδιωτικότητα που λειτουργούν εξ ολοκλήρου σε τοπική υποδομή. ### Τεχνική Αρχιτεκτονική - Συνδυάζει το γλωσσικό μοντέλο Phi, Τοπικά Embeddings και Semantic Kernel για τη δημιουργία ενός σεναρίου RAG - Χρησιμοποιεί embeddings ως διανύσματα (πίνακες) τιμών κινητής υποδιαστολής που αντιπροσωπεύουν περιεχόμενο και τη σημασιολογική του έννοια - Το Semantic Kernel λειτουργεί ως ο κύριος ενορχηστρωτής, ενσωματώνοντας το Phi και τα Smart Components για τη δημιουργία μιας απρόσκοπτης RAG ροής - Υποστήριξη για τοπικές βάσεις δεδομένων διανυσμάτων, όπως SQLite και Qdrant ### Οφέλη Υλοποίησης Το RAG, ή Retrieval Augmented Generation, είναι απλώς ένας εξεζητημένος τρόπος να πούμε "αναζήτησε κάποια πράγματα και βάλε τα στο prompt". Αυτή η τοπική υλοποίηση εξασφαλίζει ιδιωτικότητα δεδομένων ενώ παρέχει έξυπνες απαντήσεις βασισμένες σε προσαρμοσμένες βάσεις γνώσεων. Η προσέγγιση είναι ιδιαίτερα πολύτιμη για σενάρια επιχειρήσεων που απαιτούν κυριαρχία δεδομένων και δυνατότητες λειτουργίας offline. **Μάθετε Περισσότερα**: - [Foundry Local](./foundrylocal.md) - [Foundry Local RAG Samples](https://github.com/microsoft/Foundry-Local/tree/main/samples/dotNET/rag) ### Windows Foundry Local Το Microsoft Foundry Local παρέχει έναν OpenAI‑συμβατό REST server που τροφοδοτείται από το ONNX Runtime για εκτέλεση μοντέλων τοπικά στα Windows. Ακολουθεί μια γρήγορη, επικυρωμένη περίληψη· δείτε την επίσημη τεκμηρίωση για πλήρεις λεπτομέρειες. - Ξεκινήστε: https://learn.microsoft.com/azure/ai-foundry/foundry-local/get-started - Αρχιτεκτονική: https://learn.microsoft.com/azure/ai-foundry/foundry-local/concepts/foundry-local-architecture - CLI αναφορά: https://learn.microsoft.com/azure/ai-foundry/foundry-local/reference/reference-cli - Πλήρης οδηγός Windows σε αυτό το repo: [foundrylocal.md](./foundrylocal.md) Εγκατάσταση ή αναβάθμιση στα Windows (cmd.exe): ```cmd winget install Microsoft.FoundryLocal winget upgrade --id Microsoft.FoundryLocal foundry --version ``` Εξερευνήστε κατηγορίες CLI: ```cmd foundry model --help foundry service --help foundry cache --help ``` Εκτελέστε ένα μοντέλο και ανακαλύψτε το δυναμικό endpoint: ```cmd foundry model run gpt-oss-20b foundry service status ``` Γρήγορος έλεγχος REST για λίστα μοντέλων (αντικαταστήστε το PORT από το status): ```cmd curl -s http://localhost:PORT/v1/models ``` Συμβουλές: - Ενσωμάτωση SDK: https://learn.microsoft.com/azure/ai-foundry/foundry-local/how-to/how-to-integrate-with-inference-sdks - Φέρτε το δικό σας μοντέλο (compile): https://learn.microsoft.com/azure/ai-foundry/foundry-local/how-to/how-to-compile-hugging-face-models ## Πόροι Ανάπτυξης Windows EdgeAI Για προγραμματιστές που στοχεύουν ειδικά την πλατφόρμα Windows, έχουμε δημιουργήσει έναν ολοκληρωμένο οδηγό που καλύπτει το πλήρες οικοσύστημα Windows EdgeAI. Αυτός ο πόρος παρέχει λεπτομερείς πληροφορίες για το Windows AI Foundry, συμπεριλαμβανομένων APIs, εργαλείων και βέλτιστων πρακτικών για ανάπτυξη EdgeAI στα Windows. ### Πλατφόρμα Windows AI Foundry Η πλατφόρμα Windows AI Foundry παρέχει μια ολοκληρωμένη σουίτα εργαλείων και APIs ειδικά σχεδιασμένων για ανάπτυξη Edge AI σε συσκευές Windows. Αυτό περιλαμβάνει εξειδικευμένη υποστήριξη για υλικό με επιτάχυνση NPU, ενσωμάτωση Windows ML και τεχνικές βελτιστοποίησης πλατφόρμας. **Ολοκληρωμένος Οδηγός**: [Windows EdgeAI Development Guide](../windowdeveloper.md) Αυτός ο οδηγός καλύπτει: - Επισκόπηση και στοιχεία της πλατφόρμας Windows AI Foundry - Phi Silica API για αποδοτικό inference σε υλικό NPU - APIs Επεξεργασίας Εικόνας για επεξεργασία εικόνας και OCR - Ενσωμάτωση και βελτιστοποίηση του runtime Windows ML - Foundry Local CLI για τοπική ανάπτυξη και δοκιμή - Στρατηγικές βελτιστοποίησης υλικού για συσκευές Windows - Πρακτικά παραδείγματα υλοποίησης και βέλτιστες πρακτικές ### [AI Toolkit για Ανάπτυξη Edge AI](./aitoolkit.md) Για προγραμματιστές που χρησιμοποιούν το Visual Studio Code, η επέκταση AI Toolkit παρέχει ένα ολοκληρωμένο περιβάλλον ανάπτυξης ειδικά σχεδιασμένο για δημιουργία, δοκιμή και ανάπτυξη εφαρμογών Edge AI. Αυτό το toolkit απλοποιεί ολόκληρη τη ροή εργασίας ανάπτυξης Edge AI μέσα στο VS Code. **Οδηγός Ανάπτυξης**: [AI Toolkit για Ανάπτυξη Edge AI](./aitoolkit.md) Ο οδηγός AI Toolkit καλύπτει: - Ανακάλυψη και επιλογή μοντέλων για ανάπτυξη στο edge - Τοπικές ροές δοκιμής και βελτιστοποίησης - Ενσωμάτωση ONNX και Ollama για μοντέλα edge - Τεχνικές μετατροπής και ποσοτικοποίησης μοντέλων - Ανάπτυξη agents για σενάρια edge - Αξιολόγηση απόδοσης και παρακολούθηση - Προετοιμασία ανάπτυξης και βέλτιστες πρακτικές ## Συμπέρασμα Αυτές οι πέντε υλοποιήσεις EdgeAI δείχνουν την ωριμότητα και την ποικιλομορφία των λύσεων Edge AI που είναι διαθέσιμες σήμερα. Από συσκευές edge με επιτάχυνση υλικού όπως το Jetson Orin Nano έως frameworks λογισμικού όπως το ONNX Runtime GenAI και το Windows ML, οι προγραμματιστές έχουν πρωτοφανείς επιλογές για την ανάπτυξη έξυπνων εφαρμογών στο edge. Ο κοινός παρονομαστής σε όλες αυτές τις πλατφόρμες είναι η εκδημοκρατικοποίηση των δυνατοτήτων AI, καθιστώντας την εξελιγμένη μηχανική μάθηση προσβάσιμη σε προγραμματιστές με διαφορετικά επίπεδα δεξιοτήτων και περιπτώσεις χρήσης. Είτε δημιουργείτε εφαρμογές κινητών, λογισμικό desktop ή ενσωματωμένα συστήματα, αυτές οι λύσεις EdgeAI παρέχουν τη βάση για την επόμενη γενιά έξυπνων εφαρμογών που λειτουργούν αποδοτικά και ιδιωτικά στο edge. Κάθε πλατφόρμα προσφέρει μοναδικά πλεονεκτήματα: το Jetson Orin Nano για υπολογιστική edge με επιτάχυνση υλικού, το ONNX Runtime GenAI για ανάπτυξη κινητών πολλαπλών πλατφορμών, το Azure EdgeAI για ενσωμάτωση cloud-edge σε επίπεδο επιχείρησης, το Windows ML για εγγενείς εφαρμογές Windows και το Foundry Local για υλοποιήσεις RAG με επίκεντρο την ιδιωτικότητα. Μαζί, αντιπροσωπεύουν ένα ολοκληρωμένο οικοσύστημα για ανάπτυξη EdgeAI. [Επόμενο AI Toolkit](aitoolkit.md) --- **Αποποίηση ευθύνης**: Αυτό το έγγραφο έχει μεταφραστεί χρησιμοποιώντας την υπηρεσία αυτόματης μετάφρασης [Co-op Translator](https://github.com/Azure/co-op-translator). Παρόλο που καταβάλλουμε προσπάθειες για ακρίβεια, παρακαλούμε να έχετε υπόψη ότι οι αυτοματοποιημένες μεταφράσεις ενδέχεται να περιέχουν λάθη ή ανακρίβειες. Το πρωτότυπο έγγραφο στη μητρική του γλώσσα θα πρέπει να θεωρείται η αυθεντική πηγή. Για κρίσιμες πληροφορίες, συνιστάται επαγγελματική ανθρώπινη μετάφραση. Δεν φέρουμε ευθύνη για τυχόν παρεξηγήσεις ή εσφαλμένες ερμηνείες που προκύπτουν από τη χρήση αυτής της μετάφρασης.