# សៀវភៅមេរៀនទី 07 : តំណាង EdgeAI

Edge AI បង្ហាញពីការបញ្ចូលគ្នានៃបច្ចេកវិទ្យាថ្មីរបស់បញ្ញាសិប្បនិម្មិតជាមួយកំណត់ត្រាគណនានៅលើឧបករណ៍បញ្ចប់ (edge computing) ដែលអាចបណ្តុះបណ្តាលភាពឆ្លាតវៃដោយផ្ទាល់លើឧបករណ៍ ដោយមិនពឹងផ្អែកលើការតភ្ជាប់ទិន្នន័យក្នុងពពក។ ឯកសារនេះបានពិភាក្សាអំពីការអនុវត្ត EdgeAI ផ្សេងៗប្រាំរូបមន្តនៅលើវេទិកានិងសំណុំបណ្ណាល័យផ្សេងៗ ដើម្បីបង្ហាញពីភាពសមត្ថភាពនិងភាពរឹងមាំនៃការដំណើរការ ម៉ូដែល AI នៅកម្រិត edge។

## 1. EdgeAI នៅលើ NVIDIA Jetson Orin Nano

NVIDIA Jetson Orin Nano គឺជាការបង្ហាញលើឧបករណ៍ edge AI ដែលអាចចូលដំណើរការងាយស្រួល ជា ការប្រែក្លាយដល់កំណត់ត្រារបស់ AI ដែលអាចដំណើរការបានខ្លាំងដល់ 67 TOPS ក្នុងទំហំតូចដូចកាតឥណទាន។ វេទិកានេះផ្តល់ភាពឆ្លាតវៃដល់ការអភិវឌ្ឍ Generative AI សម្រាប់អ្នកចាប់ផ្តើម សិស្សនិស្សិត និងអ្នកអភិវឌ្ឍន៍ដែលមានជំនាញ។ 

### លក្ខណៈពិសេសសំខាន់ៗ
- ផ្តល់សមត្ថភាព AI ដល់ 67 TOPS ដែលលើសពីមុន 1.7 ដង
- មាន 1024 CUDA cores និង 32 Tensor Cores សម្រាប់ដំណើរការ AI
- ប្រើ CPU Arm Cortex-A78AE v8.2 64-bit 6 ផ្នែក ប្រវែងបរិមាណកំណត់ល្បឿនអតិបរមា 1.5 GHz
- តម្លៃត្រឹម $249 កំពុងផ្តល់ជូនឧបករណ៍ដែលមានតម្លៃសមរម្យបំផុតសម្រាប់អ្នកអភិវឌ្ឍ សិស្ស និងអ្នកផលិត។

### ការអនុវត្ត
Jetson Orin Nano មានសមត្ថភាពដំណើរការម៉ូដែល AI ប្រភេទ Generative សម័យថ្មីមួយចំនួនដូចជា Vision Transformers, ម៉ូដែលភាសាធំ, និងម៉ូដែលភាសាជាមួយវិស័យមើល។ វាត្រូវបានរចនាឡើងដោយពិសេសសម្រាប់ប្រើប្រាស់ GenAI ហើយឥឡូវនេះ អ្នកអាចដំណើរការម៉ូដែល LLMs ពី Devices ដៃបាន។ ករណីប្រើប្រាស់ពេញនិយមរួមមានរ៉ូបូតឆ្លាតវៃ, ឌ្រូនឆ្លាតវៃ, កាមេរ៉ាឆ្លាតវៃ, និងឧបករណ៍ Autonomous edge។

**ស្វែងយល់បន្ថែម**៖ [NVIDIA's Jetson Orin Nano SuperComputer: The Next Big Thing in EdgeAI](https://medium.com/data-science-in-your-pocket/nvidias-jetson-orin-nano-supercomputer-the-next-big-thing-in-edgeai-e9eff687ae62)

## 2. EdgeAI នៅក្នុងកម្មវិធីទូរស័ព្ទជាមួយ .NET MAUI និង ONNX Runtime GenAI

ដំណោះស្រាយនេះបង្ហាញពីវិធីបញ្ចូល Generative AI និង ម៉ូដែលភាសាធំ (LLMs) ក្នុងកម្មវិធីទូរស័ព្ទចម្រុះវេទិកាដោយប្រើប្រាស់ .NET MAUI (Multi-platform App UI) និង ONNX Runtime GenAI។ វិធីសាស្រ្តនេះអនុញ្ញាតឲ្យអ្នកអភិវឌ្ឍ .NET បង្កើតកម្មវិធី AI សម្រាប់ទូរស័ព្ទដោយដំណើរការផ្ទាល់លើឧបករណ៍ Android និង iOS។

### លក្ខណៈពិសេសសំខាន់ៗ
- សង់លើផ្នែកបណ្ដាញ .NET MAUI ផ្តល់មូលដ្ឋានកូដតែមួយសម្រាប់កម្មវិធីទាំង Android និង iOS
- បញ្ចូល ONNX Runtime GenAI អាចបញ្ជា AI Generative នា​ទៅលើឧបករណ៍ទូរស័ព្ទបាន
- គាំទ្រឧបករណ៍ជំនួយប្រភេទហាតវែរចម្រុះសម្រាប់ទូរស័ព្ទខ្លួនរួមមាន CPU, GPU, និង Mobile AI Processors
- ការបង្កើតលក្ខណះ platform ជាក់លាក់ដូចជា CoreML សម្រាប់ iOS និង NNAPI សម្រាប់ Android តាមរយៈ ONNX Runtime
- អនុវត្ត វដ្ដ Generative AI ពេញលេញ រួមមាន ការពិចារណាមុននិងក្រោយ, ការជ្រៀតចូល, ការគណនាលរ, ការស្វែងរក និង ការប្រមូលលទ្ធផល KV Cache

### អត្ថប្រយោជន៍ការអភិវឌ្ឍ
វិធីសាស្រ្ត .NET MAUI អនុញ្ញាតឲ្យអ្នកអភិវឌ្ឍវាយនភណ្ឌជំនាញ C# និង .NET ដើម្បីបង្កើតកម្មវិធី AI ខ្ពស់ជំនាញ។ ONNX Runtime GenAI គាំទ្រម៉ូដែលជាច្រើនដូចជា Llama, Mistral, Phi, Gemma ជាដើម។ Kernel ARM64 បានបង្កើនល្បឿនការបញ្ចេញ INT4 Quantized matrix multiplication ដែលធ្វើឲ្យដំណើរការបានរហ័សលើឧបករណ៍ទូរស័ព្ទតែប៉ុណ្ណោះមិនបាត់បង់ភាពងាយស្រួលក្នុងការអភិវឌ្ឍ .NET ។

### ករណីប្រើប្រាស់
ដំណោះស្រាយនេះសមស្របសម្រាប់អ្នកអភិវឌ្ឍ ដែលចង់បង្កើតកម្មវិធីទូរស័ព្ទ ឆ្លាតវៃ ដោយប្រើប្រាស់បច្ចេកវិទ្យា .NET រួមមាន Chatbots ឆ្លាតវៃ កម្មវិធីស្គាល់រូបភាព ឧបករណ៍បកប្រែភាសា និងប្រព័ន្ធណែនាំបុគ្គល ដែលដំណើរការលើឧបករណ៍ដោយផ្ទាល់ សម្រាប់ការការពារភាពឯកជន និងការប្រើពីក្រៅបណ្តាញ។

**ស្វែងយល់បន្ថែម**៖ [.NET MAUI ONNX Runtime GenAI Example](https://github.com/microsoft/onnxruntime-genai/tree/jialli/genny-maui/examples/csharp/GennyMaui)

## 3. EdgeAI នៅក្នុង Azure ជាមួយម៉ូដែលភាសាខ្នាតតូច

ដំណោះស្រាយ EdgeAI នៅលើ Azure របស់ Microsoft ផ្តោតលើការដាក់ទុក Small Language Models (SLMs) យ៉ាងមានប្រសិទ្ធភាពនៅក្នុងបរិបទរវាងពពក និង edge hybrid។ វិធីសាស្រ្តនេះជាឧបករណ៏ឲ្យមានការតភ្ជាប់ AI លើកម្រិតពពកជាមួយការបញ្ចូល edge។

### គុណសម្បត្តិស្ថាបត្យកម្ម
- បញ្ចូលរួមជាមួយសេវាកម្ម Azure AI បានយ៉ាងរលូន
- ដំណើរការ SLMs/LLMs និងម៉ូដែលម៉ូដុលភាសាច្រើនលើឧបករណ៍ និងក្នុងពពកជាមួយ ONNX Runtime
- ផ្តល់នូវសមត្ថភាពផ្ទុកម៉ូដែលទាំងមូលសម្រាប់ក្រុមហ៊ុនធំនិងជំនួយក្នុងការអាប់ដេតម៉ូដែលជាប់គ្នា

### ករណីប្រើប្រាស់
ការអនុវត្ត Azure EdgeAI គឺល្អឥតខ្ចោះសម្រាប់និតិវិធីដែលទាមទារទង្វើអភិវឌ្ឍ AI ជាតិនិយមក្រុមហ៊ុនដែលមានការគ្រប់គ្រងក្នុងពពក។ វាអាចប្រើប្រាស់ក្នុងការបញ្ចូលកាសកម្មការទំនាក់ទំនងឯកសារ វិភាគពេលវេលាពិត និងស៊ែរវិថី AI រវាងពពក និង edge។

**ស្វែងយល់បន្ថែម**៖ [Azure EdgeAI SLM Engine](https://github.com/microsoft/onnxruntime-genai/tree/main/examples/slm_engine)

## [4. EdgeAI ជាមួយ Windows ML](./windowdeveloper.md)

Windows ML គឺជាការដំណើរការដ៏ទំនើបរបស់ Microsoft សម្រាប់បង្កើតការប្រើម៉ូដែល AI ដោយប្រើប្រាស់លើឧបករណ៍ និងការដាក់តម្លើងបានយ៉ាងងាយស្រួលដែលជាគ្រឹះនៃ Windows AI Foundry។ វេទិកានេះអនុញ្ញាតឲ្យអ្នកអភិវឌ្ឍ បង្កើតកម្មវិធី Windows ដែលមាន AI ដោយប្រើប្រាស់ឧបករណ៍ PC បានយ៉ាងទូលំទូលាយ។

### សមត្ថភាពវេទិកា
- ធ្វើការ លើកុំព្យូទ័រ Windows 11 version 24H2 (build 26100) ឬក្រោយ
- គាំទ្រលើ hardware របស់ PC ណាមួយ x64 និង ARM64 ទោះបើគ្មាន NPU ឬ GPU ក៏ដោយ
- អនុញ្ញាតឲ្យអ្នកអភិវឌ្ឍន័យកម៉ូដែលរបស់ខ្លួន និងដាក់ពាក់ព័ន្ធជាមួយ silicon partners រួមមាន AMD, Intel, NVIDIA និង Qualcomm ដែលរួម CPU, GPU, NPU 
- ការយក API infrastructure ឲ្យអ្នកអភិវឌ្ឍមិនចាំបាច់បង្កើតសំណុំ build សម្រាប់ silicon ភាសា ផ្សេងៗ

### អត្ថប្រយោជន៍សម្រាប់អ្នកអភិវឌ្ឍ
Windows ML ដាក់លំអឲ្យ hardware និង execution providers មិនប៉ះពាល់ អ្នកអាចផ្ដោតលើការសរសេរកូដបាន។ មានការអាប់ដេតទ្វេមុខស្វ័យប្រវត្តិដើម្បីគាំទ្រនៅលើ NPU, GPU, និង CPU ថ្មីៗដែលចេញផ្សាយជាប្រចាំ។ វេទិកានេះផ្តល់នូវសំណុំ Framework ចម្រាស់សម្រាប់ការអភិវឌ្ឍ AIលើ hardware Windows ដែលមានភាពចម្រុះ។

**ស្វែងយល់បន្ថែម**៖ 
- [Windows ML Overview](https://learn.microsoft.com/en-us/windows/ai/new-windows-ml/overview)
- [Windows EdgeAI Development Guide](./windowdeveloper.md) - សៀវភៅណែនាំលំអិតសម្រាប់អភិវឌ្ឍ Edge AI លើ Windows

## [5. EdgeAI ជាមួយកម្មវិធី Foundry Local](./foundrylocal.md)

Foundry Local អនុញ្ញាតឲ្យអ្នកអភិវឌ្ឍ Windows និង Mac បង្កើតកម្មវិធី Retrieval Augmented Generation (RAG) ដោយប្រើធនធានក្នុងមូលដ្ឋាន .NET ប្រើភាសាម៉ូដែលលើ local រួមជាមួយស្វែងរក semantics។ វិធីនេះផ្តល់ ដំណោះស្រាយ AI សម្រាប់ការការពារភាពឯកជនពេញលេញលើ local infrastructure ។

### ស្ថាបត្យកម្មបច្ចេកទេស
- ប្រើម៉ូដែលភាសា Phi, Local Embeddings និង Semantic Kernel ដើម្បីបង្កើតស្ថានភាព RAG
- ប្រើ embeddings ជា វិចទ័រ (arrays) នៃតម្លៃ floating-point សម្រាប់តំណាងមាតិកានិងអត្ថន័យ
- Semantic Kernel ដំណើរការជាកំពូលការជួបរួម Phi និង Smart Components សម្រាប់បង្កើត pipeline RAG ដែលរលូន
- គាំទ្រទិន្នន័យ vector ស្តុកក្នុង local រួមមាន SQLite និង Qdrant

### អត្ថប្រយោជន៍នៃការអនុវត្ត
RAG (Retrieval Augmented Generation) គឺជាវិធីសាស្រ្តស្វែងរកបន្ថែមនិងដាក់ចូលក្នុងការសង្កេត។ ការអនុវត្តលើ local នេះធានាពុក្រឹត្ដភាពទិន្នន័យ ហើយផ្តល់ឲ្យចម្លើយឆ្លាតវៃ​ដែលមានមូលដ្ឋានច្បាស់លាស់ក្នុងបណ្ដាញចំណេះដឹងផ្ទាល់ខ្លួន។ វាមានតម្លៃខ្ពស់សម្រាប់ករណីអាជីវកម្មដែលតម្រូវការត្រូវបានគ្រប់គ្រងទិន្នន័យ និងការចាក់ចេញខាងក្រៅបណ្តាញ។

**ស្វែងយល់បន្ថែម**៖ 
- [Foundry Local](./foundrylocal.md)
- [Foundry Local RAG Samples](https://github.com/microsoft/Foundry-Local/tree/main/samples/dotNET/rag)

### Windows Foundry Local

Microsoft Foundry Local ផ្តល់ REST server ដែលឆ្លុះបញ្ចាំង OpenAI ដែលប្រើ ONNX Runtime សម្រាប់ដំណើរការម៉ូដែលនៅលើ local ក្នុង Windows។ ខាងក្រោមនេះជាសេចក្តីសង្ខេបបានផ្ទៀងផ្ទាត់ សូមមើល​ឯកសារផ្លូវការសម្រាប់ព័ត៌មានលំអិត។

- ចាប់ផ្តើម: https://learn.microsoft.com/azure/ai-foundry/foundry-local/get-started
- ស្ថាបត្យកម្ម: https://learn.microsoft.com/azure/ai-foundry/foundry-local/concepts/foundry-local-architecture
- ការប្រើប្រាស់ CLI: https://learn.microsoft.com/azure/ai-foundry/foundry-local/reference/reference-cli
- សៀវភៅណែនាំពេញលេញលើ Windows នៅក្នុង repo នេះ៖ [foundrylocal.md](./foundrylocal.md)

ដំឡើង ឬ បន្ទាន់សម័យនៅលើ Windows (cmd.exe):
```cmd
winget install Microsoft.FoundryLocal
winget upgrade --id Microsoft.FoundryLocal
foundry --version
```

ស្វែងរកប្រភេទ CLI:
```cmd
foundry model --help
foundry service --help
foundry cache --help
```

ដំណើរការម៉ូដែល និងរកមើល dynamic endpoint:
```cmd
foundry model run gpt-oss-20b
foundry service status
```

ពិនិត្យ REST ប្រញាប់សម្រាប់បញ្ជីម៉ូដែល (ប្តូរ PORT ពី status):
```cmd
curl -s http://localhost:PORT/v1/models
```

ដំណឹងប្រយោជន៍៖
- ការតភ្ជាប់ SDK: https://learn.microsoft.com/azure/ai-foundry/foundry-local/how-to/how-to-integrate-with-inference-sdks
- យកម៉ូដែលរបស់អ្នក (compile): https://learn.microsoft.com/azure/ai-foundry/foundry-local/how-to/how-to-compile-hugging-face-models

## ធនធានអភិវឌ្ឍ Windows EdgeAI

សម្រាប់អ្នកអភិវឌ្ឍ ដែលផ្តោតទៅលើវេទិកា Windows ពួកយើងបានបង្កើតសៀវភៅណែនាំសង្ខេបសម្រាប់រួមផ្សំ ប្រព័ន្ធ EdgeAI នៅលើ Windows។ ធនធាននេះផ្តល់ព័ត៌មានលំអិត ស្តីពី Windows AI Foundry រួមទាំង API, ឧបករណ៍ និងវិធីល្អៗសម្រាប់អភិវឌ្ឍ EdgeAI នៅលើ Windows។

### វេទិកា Windows AI Foundry
វេទិកា Windows AI Foundry ផ្តល់សំណុំឧបករណ៍ និង API នៅក្នុងការអភិវឌ្ឍ Edge AI សម្រាប់ឧបករណ៍ Windows។ រួមមានជំនួយសម្រាប់ NPU-accelerated hardware, ចូលរួម Windows ML និងបច្ចេកទេសបង្កើនប្រសិទ្ធិភាពផ្តល់សម្រាប់វេទិកា។

**សៀវភៅណែនាំទូលំទូលាយ**៖ [Windows EdgeAI Development Guide](../windowdeveloper.md)

សៀវភៅនេះគ្របដណ្តប់:
- សង្ខេបនៃវេទិកា Windows AI Foundry និងសមាសភាព
- API Phi Silica សម្រាប់ការជ្រៀតចូលលឿនលើ hardware NPU
- API Computer Vision សម្រាប់ដំណើរការរូបភាព និង OCR
- បញ្ចូល និងបង្កើនប្រសិទ្ធភាព Windows ML runtime
- CLI Foundry Local សម្រាប់អភិវឌ្ឍន៍ និងសាកល្បង local
- វិធីសាស្រ្តបង្កើនប្រសិទ្ធភាព hardware សម្រាប់ឧបករណ៍ Windows
- ឧទាហរណ៍អនុវត្ត និងវីធីល្អៗ

### [AI Toolkit សម្រាប់អភិវឌ្ឍ Edge AI](./aitoolkit.md)
សម្រាប់អ្នកអភិវឌ្ឍដែលប្រើ Visual Studio Code, ផ្នែកបន្ថែម AI Toolkit ផ្តល់បរិយាកាសអភិវឌ្ឍទំព័រពេញលេញសម្រាប់សង្រ្គោះ, សាកល្បង និងដាក់ប្រើកម្មវិធី Edge AI។ ធូលើ AI Toolkit លំនាំដើមសម្រួលដំណើរការអភិវឌ្ឍ Edge AI ទៅក្នុង VS Code។

**សៀវភៅណែនាំអភិវឌ្ឍ**៖ [AI Toolkit សម្រាប់អភិវឌ្ឍ Edge AI](./aitoolkit.md)

សៀវភៅ AI Toolkit គ្របដណ្តប់៖
- រក្សាសិទ្ធិ និងជ្រើសរើសម៉ូដែលសម្រាប់ដាក់ edge
- សាកល្បង រូបបែប និងបង្កើនប្រសិទ្ធភាពក្នុង local
- បញ្ចូល ONNX និង Ollama សម្រាប់ម៉ូដែល edge
- បម្លែងម៉ូដែល និងបច្ចេកទេស quantization
- អភិវឌ្ឍភេជនសម្រាប់ស្ថានភាព edge
- វាយតម្លៃសមត្ថភាព និងតាមដាន
- រៀបចំដាក់ប្រាក់៤ និងវិធីល្អៗ

## សេចក្តីសន្និដ្ឋាន

ការអនុវត្ត EdgeAI ពីរៀបចំប្រាំនេះបង្ហាញពីភាពរីកចម្រើន និងភាពចម្រុះនៃដំណោះស្រាយ edge AI ដែលមានស្រាប់។ ពីឧបករណ៍ edge មាន Hardware ខ្លាំងដូច Jetson Orin Nano រហូតដល់សំណុំបណ្ណាល័យ software ដូច ONNX Runtime GenAI និង Windows ML អ្នកអភិវឌ្ឍមានជម្រើសមិនធម្មតាទាក់ទងក្នុងការដាក់កម្មវិធី AI ស៊ើបអង្កេតនៅកម្រិត edge។

ខ្សែបន្ទាត់រួមរបស់វេទិកាទាំងនេះគឺការផ្គុំជាសាធារណៈនូវសមត្ថភាព AI ដែលធ្វើឲ្យគ្រប់គ្នាអាចប្រើប្រាស់ machine learning ដែលមានជំនាញខ្ពស់បានយ៉ាងងាយៗ ដើម្បីធ្វើកម្មវិធីទូរស័ព្ទ កម្មវិធីម៉ាស៊ីនតុ ឬប្រព័ន្ធបញ្ចូលម៉ូឌុល។ រួមមានក្ដីល្អ Jetson Orin Nano សម្រាប់ edge hardware, ONNX Runtime GenAI សម្រាប់អភិវឌ្ឍទូរស័ព្ទចម្រុះវេទិកា, Azure EdgeAI សម្រាប់ cloud-edge, Windows ML សម្រាប់កម្មវិធី Windows, ហើយ Foundry Local សម្រាប់ RAG ផ្តោតលើភាពឯកជន។ ទាំងអស់គ្នាតំណាងសម្រាប់ប្រព័ន្ធអភិវឌ្ឍ EdgeAI ដោយសរុប។

[AI Toolkit បន្ទាប់](aitoolkit.md)

---

<!-- CO-OP TRANSLATOR DISCLAIMER START -->
**ការព្រមាន**៖
ឯកសារនេះត្រូវបានបកប្រែដោយប្រើសេវាបកប្រែ AI [Co-op Translator](https://github.com/Azure/co-op-translator)។ ខណៈពេលដែលយើងខិតខំប្រឹងប្រែងឱ្យបានត្រឹមត្រូវ សូមចងចាំថាការបកប្រែដោយស្វ័យប្រវត្តិអាចមានកំហុស ឬការខុសត្រូវមួយចំនួន។ ឯកសារដើមក្នុងភាសាមូលដ្ឋានគួរត្រូវបានគេយកថាជាផ្លូវការជា ប្រភពសុពលភាព។ សម្រាប់ព័ត៌មានសំខាន់ៗ ការបកប្រែដោយមនុស្សជំនាញគឺត្រូវបានណែនាំ។ យើងមិនទទួលខុសត្រូវចំពោះការយល់ច្រឡំ ឬការបកស្រាយខុស មកពីការប្រើប្រាស់ការបកប្រែនេះឡើយ។
<!-- CO-OP TRANSLATOR DISCLAIMER END -->