# অধ্যায় ০৭ : EdgeAI নমুনা

Edge AI হলো কৃত্রিম বুদ্ধিমত্তা এবং এজ কম্পিউটিংয়ের সংমিশ্রণ, যা ডিভাইসেই বুদ্ধিমান প্রসেসিং সক্ষম করে, ক্লাউড সংযোগের উপর নির্ভর না করেই। এই অধ্যায়ে বিভিন্ন প্ল্যাটফর্ম এবং ফ্রেমওয়ার্কে পাঁচটি ভিন্ন EdgeAI বাস্তবায়ন নিয়ে আলোচনা করা হয়েছে, যা এজে AI মডেল চালানোর বহুমুখিতা এবং ক্ষমতা প্রদর্শন করে।

## ১. NVIDIA Jetson Orin Nano-তে EdgeAI

NVIDIA Jetson Orin Nano হলো একটি যুগান্তকারী এজ AI কম্পিউটিং প্ল্যাটফর্ম, যা ক্রেডিট কার্ডের আকারে ৬৭ TOPS পর্যন্ত AI পারফরম্যান্স সরবরাহ করে। এই শক্তিশালী এজ AI প্ল্যাটফর্মটি শখের প্রকল্প, শিক্ষার্থী এবং পেশাদার ডেভেলপারদের জন্য জেনারেটিভ AI উন্নয়নকে সহজলভ্য করে তুলেছে।

### প্রধান বৈশিষ্ট্য
- ৬৭ TOPS পর্যন্ত AI পারফরম্যান্স সরবরাহ করে—এর পূর্বসূরির তুলনায় ১.৭X উন্নতি
- AI প্রসেসিংয়ের জন্য ১০২৪ CUDA কোর এবং ৩২ Tensor কোর পর্যন্ত
- ৬-কোর Arm Cortex-A78AE v8.2 ৬৪-বিট CPU, সর্বোচ্চ ফ্রিকোয়েন্সি ১.৫ GHz
- মাত্র $২৪৯ মূল্যে উপলব্ধ, যা ডেভেলপার, শিক্ষার্থী এবং নির্মাতাদের জন্য সবচেয়ে সাশ্রয়ী এবং সহজলভ্য প্ল্যাটফর্ম

### প্রয়োগ
Jetson Orin Nano আধুনিক জেনারেটিভ AI মডেল চালানোর ক্ষেত্রে দক্ষ, যার মধ্যে রয়েছে ভিশন ট্রান্সফর্মার, বড় ভাষার মডেল এবং ভিশন-ল্যাঙ্গুয়েজ মডেল। এটি বিশেষভাবে GenAI ব্যবহারের জন্য ডিজাইন করা হয়েছে এবং এখন আপনি কয়েকটি LLM একটি হাতের ডিভাইসে চালাতে পারেন। জনপ্রিয় ব্যবহার ক্ষেত্রে রয়েছে AI-চালিত রোবটিক্স, স্মার্ট ড্রোন, বুদ্ধিমান ক্যামেরা এবং স্বয়ংক্রিয় এজ ডিভাইস।

**আরও জানুন**: [NVIDIA's Jetson Orin Nano SuperComputer: The Next Big Thing in EdgeAI](https://medium.com/data-science-in-your-pocket/nvidias-jetson-orin-nano-supercomputer-the-next-big-thing-in-edgeai-e9eff687ae62)

## ২. .NET MAUI এবং ONNX Runtime GenAI-সহ মোবাইল অ্যাপ্লিকেশনে EdgeAI

এই সমাধানটি দেখায় কীভাবে .NET MAUI (মাল্টি-প্ল্যাটফর্ম অ্যাপ UI) এবং ONNX Runtime GenAI ব্যবহার করে জেনারেটিভ AI এবং বড় ভাষার মডেল (LLMs) ক্রস-প্ল্যাটফর্ম মোবাইল অ্যাপ্লিকেশনে সংযুক্ত করা যায়। এই পদ্ধতিটি .NET ডেভেলপারদের Android এবং iOS ডিভাইসে স্থানীয়ভাবে চালানো যায় এমন উন্নত AI-চালিত মোবাইল অ্যাপ্লিকেশন তৈরি করতে সক্ষম করে।

### প্রধান বৈশিষ্ট্য
- .NET MAUI ফ্রেমওয়ার্কের উপর ভিত্তি করে তৈরি, যা Android এবং iOS অ্যাপ্লিকেশনের জন্য একটি একক কোডবেস প্রদান করে
- ONNX Runtime GenAI ইন্টিগ্রেশন জেনারেটিভ AI মডেল মোবাইল ডিভাইসে সরাসরি চালানোর সক্ষমতা প্রদান করে
- CPU, GPU এবং বিশেষ মোবাইল AI প্রসেসর সহ মোবাইল ডিভাইসের জন্য বিভিন্ন হার্ডওয়্যার অ্যাক্সিলারেটর সমর্থন করে
- ONNX Runtime-এর মাধ্যমে iOS-এর জন্য CoreML এবং Android-এর জন্য NNAPI-এর মতো প্ল্যাটফর্ম-নির্দিষ্ট অপ্টিমাইজেশন
- সম্পূর্ণ জেনারেটিভ AI লুপ বাস্তবায়ন করে, যার মধ্যে রয়েছে প্রি এবং পোস্ট প্রসেসিং, ইনফারেন্স, লগিট প্রসেসিং, সার্চ এবং স্যাম্পলিং, এবং KV ক্যাশ ম্যানেজমেন্ট

### উন্নয়ন সুবিধা
.NET MAUI পদ্ধতি ডেভেলপারদের তাদের বিদ্যমান C# এবং .NET দক্ষতা ব্যবহার করে ক্রস-প্ল্যাটফর্ম AI অ্যাপ্লিকেশন তৈরি করতে দেয়। ONNX Runtime GenAI ফ্রেমওয়ার্ক একাধিক মডেল আর্কিটেকচার সমর্থন করে, যার মধ্যে রয়েছে Llama, Mistral, Phi, Gemma এবং আরও অনেক কিছু। অপ্টিমাইজড ARM64 কার্নেল INT4 কোয়ান্টাইজড ম্যাট্রিক্স মাল্টিপ্লিকেশন ত্বরান্বিত করে, মোবাইল হার্ডওয়্যারে দক্ষ পারফরম্যান্স নিশ্চিত করে, একই সাথে পরিচিত .NET উন্নয়ন অভিজ্ঞতা বজায় রাখে।

### ব্যবহার ক্ষেত্রে
এই সমাধানটি .NET প্রযুক্তি ব্যবহার করে AI-চালিত মোবাইল অ্যাপ্লিকেশন তৈরি করতে চান এমন ডেভেলপারদের জন্য আদর্শ, যার মধ্যে রয়েছে বুদ্ধিমান চ্যাটবট, ইমেজ রিকগনিশন অ্যাপ, ভাষা অনুবাদ সরঞ্জাম এবং ব্যক্তিগতকৃত সুপারিশ সিস্টেম যা সম্পূর্ণরূপে ডিভাইসে চালানো যায়, উন্নত গোপনীয়তা এবং অফলাইন সক্ষমতার জন্য।

**আরও জানুন**: [.NET MAUI ONNX Runtime GenAI Example](https://github.com/microsoft/onnxruntime-genai/tree/jialli/genny-maui/examples/csharp/GennyMaui)

## ৩. Azure-এ Small Language Models Engine-সহ EdgeAI

Microsoft-এর Azure-ভিত্তিক EdgeAI সমাধানটি ক্লাউড-এজ হাইব্রিড পরিবেশে Small Language Models (SLMs) দক্ষতার সাথে মোতায়েনের উপর ফোকাস করে। এই পদ্ধতিটি ক্লাউড-স্কেল AI পরিষেবা এবং এজ মোতায়েনের প্রয়োজনীয়তার মধ্যে সেতুবন্ধন করে।

### আর্কিটেকচার সুবিধা
- Azure AI পরিষেবার সাথে নির্বিঘ্ন ইন্টিগ্রেশন
- ONNX Runtime ব্যবহার করে SLMs/LLMs এবং মাল্টি-মোডাল মডেল ডিভাইসে এবং ক্লাউডে চালানো
- এন্টারপ্রাইজ-স্কেল মোতায়েনের জন্য অপ্টিমাইজড
- ক্রমাগত মডেল আপডেট এবং ব্যবস্থাপনা সমর্থন করে

### ব্যবহার ক্ষেত্রে
Azure EdgeAI বাস্তবায়ন এন্টারপ্রাইজ-গ্রেড AI মোতায়েনের জন্য ক্লাউড ব্যবস্থাপনা সক্ষমতা সহ দৃশ্যপটে উৎকৃষ্ট। এর মধ্যে রয়েছে বুদ্ধিমান ডকুমেন্ট প্রসেসিং, রিয়েল-টাইম অ্যানালিটিক্স এবং ক্লাউড এবং এজ কম্পিউটিং সম্পদের উভয়ই ব্যবহার করে হাইব্রিড AI ওয়ার্কফ্লো।

**আরও জানুন**: [Azure EdgeAI SLM Engine](https://github.com/microsoft/onnxruntime-genai/tree/main/examples/slm_engine)

## [৪. Windows ML-সহ EdgeAI](./windowdeveloper.md)

Windows ML হলো Microsoft-এর সর্বাধুনিক রানটাইম, যা ডিভাইসে মডেল ইনফারেন্সের জন্য অপ্টিমাইজড এবং সহজ মোতায়েন সক্ষম করে, Windows AI Foundry-এর ভিত্তি হিসেবে কাজ করে। এই প্ল্যাটফর্মটি ডেভেলপারদের AI-চালিত Windows অ্যাপ্লিকেশন তৈরি করতে সক্ষম করে, যা PC হার্ডওয়্যারের সম্পূর্ণ পরিসর ব্যবহার করে।

### প্ল্যাটফর্ম সক্ষমতা
- Windows 11 PCs-এ কাজ করে, যা সংস্করণ 24H2 (বিল্ড 26100) বা তার বেশি
- x64 এবং ARM64 PC হার্ডওয়্যারে কাজ করে, এমনকি যেসব PCs-এ NPU বা GPU নেই
- ডেভেলপারদের তাদের নিজস্ব মডেল নিয়ে আসতে এবং AMD, Intel, NVIDIA এবং Qualcomm-এর মতো সিলিকন পার্টনার ইকোসিস্টেম জুড়ে দক্ষতার সাথে মোতায়েন করতে সক্ষম করে
- অবকাঠামো API ব্যবহার করে, ডেভেলপারদের আর বিভিন্ন সিলিকন লক্ষ্য করে তাদের অ্যাপের একাধিক বিল্ড তৈরি করতে হবে না

### ডেভেলপার সুবিধা
Windows ML হার্ডওয়্যার এবং এক্সিকিউশন প্রদানকারীদের বিমূর্ত করে, যাতে আপনি আপনার কোড লেখার উপর মনোযোগ দিতে পারেন। এছাড়াও, Windows ML স্বয়ংক্রিয়ভাবে সর্বশেষ NPUs, GPUs এবং CPUs সমর্থন করতে আপডেট হয়। প্ল্যাটফর্মটি Windows হার্ডওয়্যার ইকোসিস্টেম জুড়ে AI উন্নয়নের জন্য একটি একীভূত কাঠামো প্রদান করে।

**আরও জানুন**: 
- [Windows ML Overview](https://learn.microsoft.com/en-us/windows/ai/new-windows-ml/overview)
- [Windows EdgeAI Development Guide](./windowdeveloper.md) - Windows Edge AI উন্নয়নের জন্য বিস্তৃত গাইড

## [৫. Foundry Local Applications-সহ EdgeAI](./foundrylocal.md)

Foundry Local Windows এবং Mac ডেভেলপারদের স্থানীয় সম্পদ ব্যবহার করে Retrieval Augmented Generation (RAG) অ্যাপ্লিকেশন তৈরি করতে সক্ষম করে, যা .NET ব্যবহার করে স্থানীয় ভাষার মডেল এবং সেমান্টিক সার্চ ক্ষমতা একত্রিত করে। এই পদ্ধতিটি সম্পূর্ণরূপে স্থানীয় অবকাঠামোতে পরিচালিত গোপনীয়তা-কেন্দ্রিক AI সমাধান প্রদান করে।

### প্রযুক্তিগত আর্কিটেকচার
- Phi ভাষার মডেল, Local Embeddings এবং Semantic Kernel একত্রিত করে একটি RAG দৃশ্য তৈরি করে
- ভেক্টর (ফ্লোটিং-পয়েন্ট মানের অ্যারে) হিসাবে এমবেডিং ব্যবহার করে, যা বিষয়বস্তু এবং এর সেমান্টিক অর্থ উপস্থাপন করে
- Semantic Kernel প্রধান অর্কেস্ট্রেটর হিসেবে কাজ করে, Phi এবং Smart Components একত্রিত করে একটি নির্বিঘ্ন RAG পাইপলাইন তৈরি করে
- SQLite এবং Qdrant সহ স্থানীয় ভেক্টর ডাটাবেস সমর্থন করে

### বাস্তবায়ন সুবিধা
RAG, বা Retrieval Augmented Generation, মূলত "কিছু তথ্য খুঁজে বের করুন এবং প্রম্পটে যোগ করুন"। এই স্থানীয় বাস্তবায়ন ডেটা গোপনীয়তা নিশ্চিত করে, একই সাথে কাস্টম জ্ঞানভিত্তিক বুদ্ধিমান প্রতিক্রিয়া প্রদান করে। এই পদ্ধতিটি বিশেষভাবে এন্টারপ্রাইজ দৃশ্যপটের জন্য মূল্যবান, যেখানে ডেটা সার্বভৌমত্ব এবং অফলাইন অপারেশন সক্ষমতা প্রয়োজন।

**আরও জানুন**: 
- [Foundry Local](./foundrylocal.md)
- [Foundry Local RAG Samples](https://github.com/microsoft/Foundry-Local/tree/main/samples/dotNET/rag)

### Windows Foundry Local

Microsoft Foundry Local একটি OpenAI-সামঞ্জস্যপূর্ণ REST সার্ভার প্রদান করে, যা ONNX Runtime দ্বারা চালিত, Windows-এ স্থানীয়ভাবে মডেল চালানোর জন্য। নিচে একটি দ্রুত, যাচাইকৃত সারাংশ দেওয়া হলো; সম্পূর্ণ বিবরণের জন্য অফিসিয়াল ডকুমেন্টেশন দেখুন।

- শুরু করুন: https://learn.microsoft.com/azure/ai-foundry/foundry-local/get-started
- আর্কিটেকচার: https://learn.microsoft.com/azure/ai-foundry/foundry-local/concepts/foundry-local-architecture
- CLI রেফারেন্স: https://learn.microsoft.com/azure/ai-foundry/foundry-local/reference/reference-cli
- এই রিপোতে সম্পূর্ণ Windows গাইড: [foundrylocal.md](./foundrylocal.md)

Windows-এ ইনস্টল বা আপগ্রেড করুন (cmd.exe):
```cmd
winget install Microsoft.FoundryLocal
winget upgrade --id Microsoft.FoundryLocal
foundry --version
```

CLI বিভাগগুলি অন্বেষণ করুন:
```cmd
foundry model --help
foundry service --help
foundry cache --help
```

একটি মডেল চালান এবং ডায়নামিক এন্ডপয়েন্ট আবিষ্কার করুন:
```cmd
foundry model run gpt-oss-20b
foundry service status
```

মডেল তালিকা করতে দ্রুত REST চেক করুন (স্ট্যাটাস থেকে PORT প্রতিস্থাপন করুন):
```cmd
curl -s http://localhost:PORT/v1/models
```

পরামর্শ:
- SDK ইন্টিগ্রেশন: https://learn.microsoft.com/azure/ai-foundry/foundry-local/how-to/how-to-integrate-with-inference-sdks
- আপনার নিজস্ব মডেল নিয়ে আসুন (কম্পাইল): https://learn.microsoft.com/azure/ai-foundry/foundry-local/how-to/how-to-compile-hugging-face-models

## Windows EdgeAI উন্নয়ন সম্পদ

বিশেষভাবে Windows প্ল্যাটফর্ম লক্ষ্য করে ডেভেলপারদের জন্য, আমরা একটি বিস্তৃত গাইড তৈরি করেছি যা সম্পূর্ণ Windows EdgeAI ইকোসিস্টেমকে কভার করে। এই সম্পদটি Windows AI Foundry সম্পর্কে বিস্তারিত তথ্য প্রদান করে, যার মধ্যে রয়েছে API, টুল এবং Windows-এ EdgeAI উন্নয়নের সেরা অনুশীলন।

### Windows AI Foundry প্ল্যাটফর্ম
Windows AI Foundry প্ল্যাটফর্মটি Edge AI উন্নয়নের জন্য বিশেষভাবে ডিজাইন করা টুল এবং API-এর একটি বিস্তৃত স্যুট প্রদান করে। এর মধ্যে রয়েছে NPU-ত্বরান্বিত হার্ডওয়্যারের জন্য বিশেষায়িত সমর্থন, Windows ML ইন্টিগ্রেশন এবং প্ল্যাটফর্ম-নির্দিষ্ট অপ্টিমাইজেশন কৌশল।

**বিস্তারিত গাইড**: [Windows EdgeAI Development Guide](../windowdeveloper.md)

এই গাইডটি কভার করে:
- Windows AI Foundry প্ল্যাটফর্মের ওভারভিউ এবং উপাদান
- NPU হার্ডওয়্যারে দক্ষ ইনফারেন্সের জন্য Phi Silica API
- ইমেজ প্রসেসিং এবং OCR-এর জন্য কম্পিউটার ভিশন API
- Windows ML রানটাইম ইন্টিগ্রেশন এবং অপ্টিমাইজেশন
- স্থানীয় উন্নয়ন এবং পরীক্ষার জন্য Foundry Local CLI
- Windows ডিভাইসের জন্য হার্ডওয়্যার অপ্টিমাইজেশন কৌশল
- ব্যবহারিক বাস্তবায়ন উদাহরণ এবং সেরা অনুশীলন

### [Edge AI উন্নয়নের জন্য AI Toolkit](./aitoolkit.md)
Visual Studio Code ব্যবহারকারী ডেভেলপারদের জন্য, AI Toolkit এক্সটেনশনটি Edge AI অ্যাপ্লিকেশন তৈরি, পরীক্ষা এবং মোতায়েনের জন্য একটি বিস্তৃত উন্নয়ন পরিবেশ প্রদান করে। এই টুলকিটটি VS Code-এর মধ্যে সম্পূর্ণ Edge AI উন্নয়ন কর্মপ্রবাহকে সহজ করে তোলে।

**উন্নয়ন গাইড**: [AI Toolkit for Edge AI Development](./aitoolkit.md)

AI Toolkit গাইডটি কভার করে:
- এজ মোতায়েনের জন্য মডেল আবিষ্কার এবং নির্বাচন
- স্থানীয় পরীক্ষার এবং অপ্টিমাইজেশন কর্মপ্রবাহ
- Edge মডেলের জন্য ONNX এবং Ollama ইন্টিগ্রেশন
- মডেল রূপান্তর এবং কোয়ান্টাইজেশন কৌশল
- এজ দৃশ্যপটের জন্য এজেন্ট উন্নয়ন
- পারফরম্যান্স মূল্যায়ন এবং পর্যবেক্ষণ
- মোতায়েন প্রস্তুতি এবং সেরা অনুশীলন

## উপসংহার

এই পাঁচটি EdgeAI বাস্তবায়ন আজকের এজ AI সমাধানের পরিপক্কতা এবং বৈচিত্র্য প্রদর্শন করে। Jetson Orin Nano-এর মতো হার্ডওয়্যার-ত্বরান্বিত এজ ডিভাইস থেকে শুরু করে ONNX Runtime GenAI এবং Windows ML-এর মতো সফটওয়্যার ফ্রেমওয়ার্ক পর্যন্ত, ডেভেলপারদের এজে বুদ্ধিমান অ্যাপ্লিকেশন মোতায়েনের জন্য অভূতপূর্ব বিকল্প রয়েছে।

এই প্ল্যাটফর্মগুলির মধ্যে সাধারণ থ্রেড হলো AI ক্ষমতার গণতন্ত্রীকরণ, যা বিভিন্ন দক্ষতা স্তর এবং ব্যবহার ক্ষেত্রে ডেভেলপারদের জন্য উন্নত মেশিন লার্নিং সহজলভ্য করে তোলে। মোবাইল অ্যাপ্লিকেশন, ডেস্কটপ সফটওয়্যার বা এম্বেডেড সিস্টেম তৈরি করাই হোক, এই EdgeAI সমাধানগুলি এজে দক্ষ এবং গোপনীয়ভাবে পরিচালিত পরবর্তী প্রজন্মের বুদ্ধিমান অ্যাপ্লিকেশনের ভিত্তি প্রদান করে।

প্রতিটি প্ল্যাটফর্ম অনন্য সুবিধা প্রদান করে: Jetson Orin Nano হার্ডওয়্যার-ত্বরান্বিত এজ কম্পিউটিংয়ের জন্য, ONNX Runtime GenAI ক্রস-প্ল্যাটফর্ম মোবাইল উন্নয়নের জন্য, Azure EdgeAI এন্টারপ্রাইজ ক্লাউড-এজ ইন্টিগ্রেশনের জন্য, Windows ML Windows-নেটিভ অ্যাপ্লিকেশনের জন্য এবং Foundry Local গোপনীয়তা-কেন্দ্রিক RAG বাস্তবায়নের জন্য। একসাথে, তারা EdgeAI উন্নয়নের জন্য একটি বিস্তৃত ইকোসিস্টেম উপস্থাপন করে।

[পরবর্তী AI Toolkit](aitoolkit.md)

---

**অস্বীকৃতি**:  
এই নথিটি AI অনুবাদ পরিষেবা [Co-op Translator](https://github.com/Azure/co-op-translator) ব্যবহার করে অনুবাদ করা হয়েছে। আমরা যথাসম্ভব সঠিক অনুবাদের চেষ্টা করি, তবে অনুগ্রহ করে মনে রাখবেন যে স্বয়ংক্রিয় অনুবাদে ত্রুটি বা অসঙ্গতি থাকতে পারে। নথিটির মূল ভাষায় লেখা সংস্করণটিকেই প্রামাণিক উৎস হিসেবে বিবেচনা করা উচিত। গুরুত্বপূর্ণ তথ্যের জন্য পেশাদার মানব অনুবাদ সুপারিশ করা হয়। এই অনুবাদ ব্যবহারের ফলে সৃষ্ট কোনো ভুল বোঝাবুঝি বা ভুল ব্যাখ্যার জন্য আমরা দায়ী নই।