{
 "cells": [
  {
   "cell_type": "code",
   "execution_count": 1,
   "metadata": {},
   "outputs": [],
   "source": [
    "from mlx_lm import load, generate"
   ]
  },
  {
   "cell_type": "code",
   "execution_count": 2,
   "metadata": {},
   "outputs": [
    {
     "name": "stderr",
     "output_type": "stream",
     "text": [
      "Special tokens have been added in the vocabulary, make sure the associated word embeddings are fine-tuned or trained.\n"
     ]
    }
   ],
   "source": [
    "model, tokenizer = load(\"./phi-3.5-instruct-mlx-int4\")"
   ]
  },
  {
   "cell_type": "code",
   "execution_count": 7,
   "metadata": {},
   "outputs": [],
   "source": [
    "prompt = tokenizer.apply_chat_template(\n",
    "    [{\"role\": \"user\", \"content\": \"能介绍一下 iOS 吗？\"}],\n",
    "    tokenize=False,\n",
    "    add_generation_prompt=True,\n",
    ")"
   ]
  },
  {
   "cell_type": "code",
   "execution_count": 8,
   "metadata": {},
   "outputs": [
    {
     "name": "stdout",
     "output_type": "stream",
     "text": [
      "==========\n",
      "Prompt: <|user|>\n",
      "能介绍一下 iOS 吗？<|end|>\n",
      "<|assistant|>\n",
      "\n",
      "iOS 是由苹果公司（Apple）开发的一种操作系统，主要为苹果的智能手机、平板电脑和平视器设备设计的平台。它于 2007 年 秋å­£发布，首先为 iPhone 提供，随后为 iPod touch 和 iPad 上实现了。iOS 是基于 macOS 的 Darwin æ ¸心，并包含了其自å·±的界面和应用，通过应用商店（当时称为 Mac App Store）进行分发。\n",
      "\n",
      "以下是 iOS 的一些关键特点：\n",
      "\n",
      "1. **用户界面 (UI)**：iOS 以其直观且美观的界面而闻名，主要使用自定义的交互界面，包括触摸屏幕导航和应用程序之间的滑动。\n",
      "\n",
      "2. **应用商店**：用户可以从应用商店下载或è´­ä¹°应用，这是 iOS 的主要应用分发平台。\n",
      "\n",
      "3. **集成性**：iOS 设备可以通过 iCloud 进行文件同æ­¥，并且可以与其他 Apple 设备如 Mac 和 iTunes 进行即时同æ­¥。\n",
      "\n",
      "4. **安全性**：苹果对应用程序进行审核，以确保安全性和适用性，并限制了扩展组件的使用。\n",
      "\n",
      "5. **定制性**：用户可以在设置中定制屏幕曝光时间、通知设置和应用程序启动时间。\n",
      "\n",
      "6. **功能**：iOS 包括基本的工具，如日历、地图和通知，并可以通过第三方应用程序进行扩展。\n",
      "\n",
      "7. **集成性**：iOS 设备可以通过 iMessage、FaceTime 和企业级的 iCloud 服务与其他用户进行通信。\n",
      "\n",
      "8. **升级频率**：苹果定期更新 iOS，以改善安全性、性能和功能。\n",
      "\n",
      "9. **可扩展性**：虽然限制了应用程序的扩展，但 iOS 可以通过第三方工具进行扩展，如苹果的 Xcode。\n",
      "\n",
      "10. **耳语支持**：iOS 支持多种语言，包括英语、法语、西班牙语和阿拉伯语等语言。\n",
      "\n",
      "iOS 的主要竞争对手是 Android，由 Google 主导，通常在设备的开源性和应用商店的多样性方面上有不同的特点。与 Android 不同，iOS 更多依赖于苹果的生态系统。\n",
      "\n",
      "随着时间的推移，苹果不断扩展了 iOS 的功能，包括在 iOS 14 中引入了更多的应用程序自定义选项和 API 以增强开发者的能力。然而，苹果仍然保持其独特的操作系统形象。<|end|>\n",
      "==========\n",
      "Prompt: 17 tokens, 158.397 tokens-per-sec\n",
      "Generation: 932 tokens, 75.787 tokens-per-sec\n",
      "Peak memory: 2.512 GB\n"
     ]
    }
   ],
   "source": [
    "response = generate(model, tokenizer, prompt=prompt,max_tokens=1024, verbose=True)"
   ]
  }
 ],
 "metadata": {
  "kernelspec": {
   "display_name": "mlxenv",
   "language": "python",
   "name": "python3"
  },
  "language_info": {
   "codemirror_mode": {
    "name": "ipython",
    "version": 3
   },
   "file_extension": ".py",
   "mimetype": "text/x-python",
   "name": "python",
   "nbconvert_exporter": "python",
   "pygments_lexer": "ipython3",
   "version": "3.11.7"
  }
 },
 "nbformat": 4,
 "nbformat_minor": 2
}