{ "cells": [ { "cell_type": "markdown", "source": [ "# Optimus column operations" ], "metadata": {} }, { "cell_type": "markdown", "source": [ "Hi, this notebook will show you some column operation available in Optimus." ], "metadata": {} }, { "cell_type": "code", "execution_count": 1, "source": [ "%load_ext autoreload\r\n", "%autoreload 2" ], "outputs": [], "metadata": {} }, { "cell_type": "code", "execution_count": 2, "source": [ "import sys\r\n", "sys.path.append(\"..\")" ], "outputs": [], "metadata": {} }, { "cell_type": "code", "execution_count": 3, "source": [ "from optimus import Optimus\r\n", "op = Optimus(\"pandas\")" ], "outputs": [], "metadata": {} }, { "cell_type": "markdown", "source": [ "## Create dataframe" ], "metadata": {} }, { "cell_type": "code", "execution_count": 4, "source": [ "df = op.create.dataframe({\r\n", " (\"words\", \"str\", True): [' I like fish ', ' zombies', 'simpsons cat lady', None],\r\n", " (\"num\", \"int\", True): [1, 2, 2, 3],\r\n", " (\"animals\", \"str\", True): ['dog', 'cat', 'frog', 'eagle'],\r\n", " (\"thing\", \"str\", True): ['housé', 'tv', 'table', 'glass'],\r\n", " (\"two strings\", \"str\", True): ['cat-car', 'dog-tv', 'eagle-tv-plus', 'lion-pc'],\r\n", " (\"filter\", \"str\", True): ['a', 'b', '1', 'c'],\r\n", " (\"num 2\", \"string\", True): ['1', '2', '3', '4'],\r\n", " (\"col_array\", None, True): [['baby', 'sorry'], ['baby 1', 'sorry 1'], ['baby 2', 'sorry 2'], ['baby 3', 'sorry 3']], \r\n", " (\"col_int\", None, True): [[1, 2, 3], [3, 4], [5, 6, 7], [7, 8]]\r\n", "})\r\n", "\r\n", "df.display()" ], "outputs": [ { "output_type": "display_data", "data": { "text/plain": [ "" ], "text/html": [ "\n", "\n", "\n", "\n", "\n", "
Viewing 4 of 4 rows / 9 columns
\n", "
1 partition(s)
\n", "\n", "\n", "\n", " \n", " \n", " \n", " \n", " \n", " \n", " \n", " \n", " \n", " \n", " \n", " \n", " \n", " \n", " \n", " \n", " \n", " \n", " \n", " \n", " \n", " \n", " \n", "\n", " \n", " \n", " \n", " \n", " \n", " \n", " \n", " \n", " \n", " \n", " \n", " \n", " \n", " \n", " \n", " \n", " \n", " \n", " \n", " \n", " \n", " \n", " \n", " \n", " \n", " \n", " \n", " \n", " \n", " \n", " \n", " \n", " \n", " \n", " \n", " \n", " \n", " \n", " \n", " \n", " \n", " \n", " \n", " \n", " \n", " \n", " \n", " \n", " \n", " \n", " \n", " \n", " \n", " \n", " \n", " \n", " \n", " \n", " \n", " \n", " \n", " \n", " \n", " \n", " \n", " \n", " \n", " \n", " \n", " \n", " \n", " \n", " \n", " \n", " \n", " \n", " \n", " \n", " \n", " \n", " \n", " \n", " \n", " \n", " \n", " \n", " \n", " \n", " \n", " \n", " \n", " \n", "
\n", "
words
\n", "
1 (object)
\n", " \n", " 		\n", "
num
\n", "
2 (int32)
\n", " \n", " 		\n", "
animals
\n", "
3 (object)
\n", " \n", " 		\n", "
thing
\n", "
4 (object)
\n", " \n", " 		\n", "
two strings
\n", "
5 (object)
\n", " \n", " 		\n", "
filter
\n", "
6 (object)
\n", " \n", " 		\n", "
num 2
\n", "
7 (string)
\n", " \n", " 		\n", "
col_array
\n", "
8 (object)
\n", " \n", " 		\n", "
col_int
\n", "
9 (object)
\n", " \n", "
\n", "
\n", " \n", " \n", " ⋅⋅I⋅like⋅⋅⋅⋅⋅fish⋅⋅\n", " \n", "
\n", " 		\n", "
\n", " \n", " \n", " 1\n", " \n", "
\n", " 		\n", "
\n", " \n", " \n", " dog\n", " \n", "
\n", " 		\n", "
\n", " \n", " \n", " housé\n", " \n", "
\n", " 		\n", "
\n", " \n", " \n", " cat-car\n", " \n", "
\n", " 		\n", "
\n", " \n", " \n", " a\n", " \n", "
\n", " 		\n", "
\n", " \n", " \n", " 1\n", " \n", "
\n", " 		\n", "
\n", " \n", " \n", " ['baby',⋅'sorry']\n", " \n", "
\n", " 		\n", "
\n", " \n", " \n", " [1,⋅2,⋅3]\n", " \n", "
\n", "
\n", "
\n", " \n", " \n", " ⋅⋅⋅⋅zombies\n", " \n", "
\n", " 		\n", "
\n", " \n", " \n", " 2\n", " \n", "
\n", " 		\n", "
\n", " \n", " \n", " cat\n", " \n", "
\n", " 		\n", "
\n", " \n", " \n", " tv\n", " \n", "
\n", " 		\n", "
\n", " \n", " \n", " dog-tv\n", " \n", "
\n", " 		\n", "
\n", " \n", " \n", " b\n", " \n", "
\n", " 		\n", "
\n", " \n", " \n", " 2\n", " \n", "
\n", " 		\n", "
\n", " \n", " \n", " ['baby⋅1',⋅'sorry⋅1']\n", " \n", "
\n", " 		\n", "
\n", " \n", " \n", " [3,⋅4]\n", " \n", "
\n", "
\n", "
\n", " \n", " \n", " simpsons⋅⋅⋅cat⋅lady\n", " \n", "
\n", " 		\n", "
\n", " \n", " \n", " 2\n", " \n", "
\n", " 		\n", "
\n", " \n", " \n", " frog\n", " \n", "
\n", " 		\n", "
\n", " \n", " \n", " table\n", " \n", "
\n", " 		\n", "
\n", " \n", " \n", " eagle-tv-plus\n", " \n", "
\n", " 		\n", "
\n", " \n", " \n", " 1\n", " \n", "
\n", " 		\n", "
\n", " \n", " \n", " 3\n", " \n", "
\n", " 		\n", "
\n", " \n", " \n", " ['baby⋅2',⋅'sorry⋅2']\n", " \n", "
\n", " 		\n", "
\n", " \n", " \n", " [5,⋅6,⋅7]\n", " \n", "
\n", "
\n", "
\n", " \n", " \n", " None\n", " \n", "
\n", " 		\n", "
\n", " \n", " \n", " 3\n", " \n", "
\n", " 		\n", "
\n", " \n", " \n", " eagle\n", " \n", "
\n", " 		\n", "
\n", " \n", " \n", " glass\n", " \n", "
\n", " 		\n", "
\n", " \n", " \n", " lion-pc\n", " \n", "
\n", " 		\n", "
\n", " \n", " \n", " c\n", " \n", "
\n", " 		\n", "
\n", " \n", " \n", " 4\n", " \n", "
\n", " 		\n", "
\n", " \n", " \n", " ['baby⋅3',⋅'sorry⋅3']\n", " \n", "
\n", " 		\n", "
\n", " \n", " \n", " [7,⋅8]\n", " \n", "
\n", "
\n", "
\n", "\n", "\n", "
Viewing 4 of 4 rows / 9 columns
\n", "
1 partition(s) <class 'optimus.engines.pandas.dataframe.PandasDataFrame'>
\n", "\n" ] }, "metadata": {} } ], "metadata": {} }, { "cell_type": "markdown", "source": [ "## Create Columns" ], "metadata": {} }, { "cell_type": "markdown", "source": [ "### Create a column with a constant value" ], "metadata": {} }, { "cell_type": "code", "execution_count": 5, "source": [ "df = df.cols.set(\"new_col_1\", 1)\r\n", "df.display(highlight=\"new_col_1\")" ], "outputs": [ { "output_type": "display_data", "data": { "text/plain": [ "" ], "text/html": [ "\n", "\n", "\n", "\n", "\n", "
Viewing 4 of 4 rows / 10 columns
\n", "
1 partition(s)
\n", "\n", "\n", "\n", " \n", " \n", " \n", " \n", " \n", " \n", " \n", " \n", " \n", " \n", " \n", " \n", " \n", " \n", " \n", " \n", " \n", " \n", " \n", " \n", " \n", " \n", " \n", " \n", " \n", "\n", " \n", " \n", " \n", " \n", " \n", " \n", " \n", " \n", " \n", " \n", " \n", " \n", " \n", " \n", " \n", " \n", " \n", " \n", " \n", " \n", " \n", " \n", " \n", " \n", " \n", " \n", " \n", " \n", " \n", " \n", " \n", " \n", " \n", " \n", " \n", " \n", " \n", " \n", " \n", " \n", " \n", " \n", " \n", " \n", " \n", " \n", " \n", " \n", " \n", " \n", " \n", " \n", " \n", " \n", " \n", " \n", " \n", " \n", " \n", " \n", " \n", " \n", " \n", " \n", " \n", " \n", " \n", " \n", " \n", " \n", " \n", " \n", " \n", " \n", " \n", " \n", " \n", " \n", " \n", " \n", " \n", " \n", " \n", " \n", " \n", " \n", " \n", " \n", " \n", " \n", " \n", " \n", " \n", " \n", " \n", " \n", " \n", " \n", " \n", " \n", "
\n", "
words
\n", "
1 (object)
\n", " \n", " 		\n", "
num
\n", "
2 (int32)
\n", " \n", " 		\n", "
animals
\n", "
3 (object)
\n", " \n", " 		\n", "
thing
\n", "
4 (object)
\n", " \n", " 		\n", "
two strings
\n", "
5 (object)
\n", " \n", " 		\n", "
filter
\n", "
6 (object)
\n", " \n", " 		\n", "
num 2
\n", "
7 (string)
\n", " \n", " 		\n", "
col_array
\n", "
8 (object)
\n", " \n", " 		\n", "
col_int
\n", "
9 (object)
\n", " \n", " 		\n", "
new_col_1
\n", "
10 (int64)
\n", " \n", "
\n", "
\n", " \n", " \n", " ⋅⋅I⋅like⋅⋅⋅⋅⋅fish⋅⋅\n", " \n", "
\n", " 		\n", "
\n", " \n", " \n", " 1\n", " \n", "
\n", " 		\n", "
\n", " \n", " \n", " dog\n", " \n", "
\n", " 		\n", "
\n", " \n", " \n", " housé\n", " \n", "
\n", " 		\n", "
\n", " \n", " \n", " cat-car\n", " \n", "
\n", " 		\n", "
\n", " \n", " \n", " a\n", " \n", "
\n", " 		\n", "
\n", " \n", " \n", " 1\n", " \n", "
\n", " 		\n", "
\n", " \n", " \n", " ['baby',⋅'sorry']\n", " \n", "
\n", " 		\n", "
\n", " \n", " \n", " [1,⋅2,⋅3]\n", " \n", "
\n", " 		\n", "
\n", " \n", " \n", " 1\n", " \n", "
\n", "
\n", "
\n", " \n", " \n", " ⋅⋅⋅⋅zombies\n", " \n", "
\n", " 		\n", "
\n", " \n", " \n", " 2\n", " \n", "
\n", " 		\n", "
\n", " \n", " \n", " cat\n", " \n", "
\n", " 		\n", "
\n", " \n", " \n", " tv\n", " \n", "
\n", " 		\n", "
\n", " \n", " \n", " dog-tv\n", " \n", "
\n", " 		\n", "
\n", " \n", " \n", " b\n", " \n", "
\n", " 		\n", "
\n", " \n", " \n", " 2\n", " \n", "
\n", " 		\n", "
\n", " \n", " \n", " ['baby⋅1',⋅'sorry⋅1']\n", " \n", "
\n", " 		\n", "
\n", " \n", " \n", " [3,⋅4]\n", " \n", "
\n", " 		\n", "
\n", " \n", " \n", " 1\n", " \n", "
\n", "
\n", "
\n", " \n", " \n", " simpsons⋅⋅⋅cat⋅lady\n", " \n", "
\n", " 		\n", "
\n", " \n", " \n", " 2\n", " \n", "
\n", " 		\n", "
\n", " \n", " \n", " frog\n", " \n", "
\n", " 		\n", "
\n", " \n", " \n", " table\n", " \n", "
\n", " 		\n", "
\n", " \n", " \n", " eagle-tv-plus\n", " \n", "
\n", " 		\n", "
\n", " \n", " \n", " 1\n", " \n", "
\n", " 		\n", "
\n", " \n", " \n", " 3\n", " \n", "
\n", " 		\n", "
\n", " \n", " \n", " ['baby⋅2',⋅'sorry⋅2']\n", " \n", "
\n", " 		\n", "
\n", " \n", " \n", " [5,⋅6,⋅7]\n", " \n", "
\n", " 		\n", "
\n", " \n", " \n", " 1\n", " \n", "
\n", "
\n", "
\n", " \n", " \n", " None\n", " \n", "
\n", " 		\n", "
\n", " \n", " \n", " 3\n", " \n", "
\n", " 		\n", "
\n", " \n", " \n", " eagle\n", " \n", "
\n", " 		\n", "
\n", " \n", " \n", " glass\n", " \n", "
\n", " 		\n", "
\n", " \n", " \n", " lion-pc\n", " \n", "
\n", " 		\n", "
\n", " \n", " \n", " c\n", " \n", "
\n", " 		\n", "
\n", " \n", " \n", " 4\n", " \n", "
\n", " 		\n", "
\n", " \n", " \n", " ['baby⋅3',⋅'sorry⋅3']\n", " \n", "
\n", " 		\n", "
\n", " \n", " \n", " [7,⋅8]\n", " \n", "
\n", " 		\n", "
\n", " \n", " \n", " 1\n", " \n", "
\n", "
\n", "
\n", "\n", "\n", "
Viewing 4 of 4 rows / 10 columns
\n", "
1 partition(s) <class 'optimus.engines.pandas.dataframe.PandasDataFrame'>
\n", "\n" ] }, "metadata": {} } ], "metadata": { "scrolled": true } }, { "cell_type": "markdown", "source": [ "### Append one or multiples columns from dataframes" ], "metadata": {} }, { "cell_type": "code", "execution_count": 6, "source": [ "df_col = op.create.dataframe({(\"NEW COLUMN\", \"str\", True): [\"q\", \"w\", \"e\", \"r\"]})\r\n", "df = df.cols.append(df_col)\r\n", "df.display(highlight=\"NEW COLUMN\")" ], "outputs": [ { "output_type": "display_data", "data": { "text/plain": [ "" ], "text/html": [ "\n", "\n", "\n", "\n", "\n", "
Viewing 4 of 4 rows / 11 columns
\n", "
1 partition(s)
\n", "\n", "\n", "\n", " \n", " \n", " \n", " \n", " \n", " \n", " \n", " \n", " \n", " \n", " \n", " \n", " \n", " \n", " \n", " \n", " \n", " \n", " \n", " \n", " \n", " \n", " \n", " \n", " \n", " \n", " \n", "\n", " \n", " \n", " \n", " \n", " \n", " \n", " \n", " \n", " \n", " \n", " \n", " \n", " \n", " \n", " \n", " \n", " \n", " \n", " \n", " \n", " \n", " \n", " \n", " \n", " \n", " \n", " \n", " \n", " \n", " \n", " \n", " \n", " \n", " \n", " \n", " \n", " \n", " \n", " \n", " \n", " \n", " \n", " \n", " \n", " \n", " \n", " \n", " \n", " \n", " \n", " \n", " \n", " \n", " \n", " \n", " \n", " \n", " \n", " \n", " \n", " \n", " \n", " \n", " \n", " \n", " \n", " \n", " \n", " \n", " \n", " \n", " \n", " \n", " \n", " \n", " \n", " \n", " \n", " \n", " \n", " \n", " \n", " \n", " \n", " \n", " \n", " \n", " \n", " \n", " \n", " \n", " \n", " \n", " \n", " \n", " \n", " \n", " \n", " \n", " \n", " \n", " \n", " \n", " \n", " \n", " \n", " \n", " \n", "
\n", "
words
\n", "
1 (object)
\n", " \n", " 		\n", "
num
\n", "
2 (int32)
\n", " \n", " 		\n", "
animals
\n", "
3 (object)
\n", " \n", " 		\n", "
thing
\n", "
4 (object)
\n", " \n", " 		\n", "
two strings
\n", "
5 (object)
\n", " \n", " 		\n", "
filter
\n", "
6 (object)
\n", " \n", " 		\n", "
num 2
\n", "
7 (string)
\n", " \n", " 		\n", "
col_array
\n", "
8 (object)
\n", " \n", " 		\n", "
col_int
\n", "
9 (object)
\n", " \n", " 		\n", "
new_col_1
\n", "
10 (int64)
\n", " \n", " 		\n", "
NEW COLUMN
\n", "
11 (object)
\n", " \n", "
\n", "
\n", " \n", " \n", " ⋅⋅I⋅like⋅⋅⋅⋅⋅fish⋅⋅\n", " \n", "
\n", " 		\n", "
\n", " \n", " \n", " 1\n", " \n", "
\n", " 		\n", "
\n", " \n", " \n", " dog\n", " \n", "
\n", " 		\n", "
\n", " \n", " \n", " housé\n", " \n", "
\n", " 		\n", "
\n", " \n", " \n", " cat-car\n", " \n", "
\n", " 		\n", "
\n", " \n", " \n", " a\n", " \n", "
\n", " 		\n", "
\n", " \n", " \n", " 1\n", " \n", "
\n", " 		\n", "
\n", " \n", " \n", " ['baby',⋅'sorry']\n", " \n", "
\n", " 		\n", "
\n", " \n", " \n", " [1,⋅2,⋅3]\n", " \n", "
\n", " 		\n", "
\n", " \n", " \n", " 1\n", " \n", "
\n", " 		\n", "
\n", " \n", " \n", " q\n", " \n", "
\n", "
\n", "
\n", " \n", " \n", " ⋅⋅⋅⋅zombies\n", " \n", "
\n", " 		\n", "
\n", " \n", " \n", " 2\n", " \n", "
\n", " 		\n", "
\n", " \n", " \n", " cat\n", " \n", "
\n", " 		\n", "
\n", " \n", " \n", " tv\n", " \n", "
\n", " 		\n", "
\n", " \n", " \n", " dog-tv\n", " \n", "
\n", " 		\n", "
\n", " \n", " \n", " b\n", " \n", "
\n", " 		\n", "
\n", " \n", " \n", " 2\n", " \n", "
\n", " 		\n", "
\n", " \n", " \n", " ['baby⋅1',⋅'sorry⋅1']\n", " \n", "
\n", " 		\n", "
\n", " \n", " \n", " [3,⋅4]\n", " \n", "
\n", " 		\n", "
\n", " \n", " \n", " 1\n", " \n", "
\n", " 		\n", "
\n", " \n", " \n", " w\n", " \n", "
\n", "
\n", "
\n", " \n", " \n", " simpsons⋅⋅⋅cat⋅lady\n", " \n", "
\n", " 		\n", "
\n", " \n", " \n", " 2\n", " \n", "
\n", " 		\n", "
\n", " \n", " \n", " frog\n", " \n", "
\n", " 		\n", "
\n", " \n", " \n", " table\n", " \n", "
\n", " 		\n", "
\n", " \n", " \n", " eagle-tv-plus\n", " \n", "
\n", " 		\n", "
\n", " \n", " \n", " 1\n", " \n", "
\n", " 		\n", "
\n", " \n", " \n", " 3\n", " \n", "
\n", " 		\n", "
\n", " \n", " \n", " ['baby⋅2',⋅'sorry⋅2']\n", " \n", "
\n", " 		\n", "
\n", " \n", " \n", " [5,⋅6,⋅7]\n", " \n", "
\n", " 		\n", "
\n", " \n", " \n", " 1\n", " \n", "
\n", " 		\n", "
\n", " \n", " \n", " e\n", " \n", "
\n", "
\n", "
\n", " \n", " \n", " None\n", " \n", "
\n", " 		\n", "
\n", " \n", " \n", " 3\n", " \n", "
\n", " 		\n", "
\n", " \n", " \n", " eagle\n", " \n", "
\n", " 		\n", "
\n", " \n", " \n", " glass\n", " \n", "
\n", " 		\n", "
\n", " \n", " \n", " lion-pc\n", " \n", "
\n", " 		\n", "
\n", " \n", " \n", " c\n", " \n", "
\n", " 		\n", "
\n", " \n", " \n", " 4\n", " \n", "
\n", " 		\n", "
\n", " \n", " \n", " ['baby⋅3',⋅'sorry⋅3']\n", " \n", "
\n", " 		\n", "
\n", " \n", " \n", " [7,⋅8]\n", " \n", "
\n", " 		\n", "
\n", " \n", " \n", " 1\n", " \n", "
\n", " 		\n", "
\n", " \n", " \n", " r\n", " \n", "
\n", "
\n", "
\n", "\n", "\n", "
Viewing 4 of 4 rows / 11 columns
\n", "
1 partition(s) <class 'optimus.engines.pandas.dataframe.PandasDataFrame'>
\n", "\n" ] }, "metadata": {} } ], "metadata": {} }, { "cell_type": "markdown", "source": [ "### Create multiple columns with a constant value" ], "metadata": {} }, { "cell_type": "code", "execution_count": 7, "source": [ "df.cols.append({\"col 2\": 2.22, \"col 3\": 3}).display(highlight=[\"col 2\", \"col 3\"])" ], "outputs": [ { "output_type": "display_data", "data": { "text/plain": [ "" ], "text/html": [ "\n", "\n", "\n", "\n", "\n", "
Viewing 4 of 4 rows / 13 columns
\n", "
1 partition(s)
\n", "\n", "\n", "\n", " \n", " \n", " \n", " \n", " \n", " \n", " \n", " \n", " \n", " \n", " \n", " \n", " \n", " \n", " \n", " \n", " \n", " \n", " \n", " \n", " \n", " \n", " \n", " \n", " \n", " \n", " \n", " \n", " \n", " \n", " \n", "\n", " \n", " \n", " \n", " \n", " \n", " \n", " \n", " \n", " \n", " \n", " \n", " \n", " \n", " \n", " \n", " \n", " \n", " \n", " \n", " \n", " \n", " \n", " \n", " \n", " \n", " \n", " \n", " \n", " \n", " \n", " \n", " \n", " \n", " \n", " \n", " \n", " \n", " \n", " \n", " \n", " \n", " \n", " \n", " \n", " \n", " \n", " \n", " \n", " \n", " \n", " \n", " \n", " \n", " \n", " \n", " \n", " \n", " \n", " \n", " \n", " \n", " \n", " \n", " \n", " \n", " \n", " \n", " \n", " \n", " \n", " \n", " \n", " \n", " \n", " \n", " \n", " \n", " \n", " \n", " \n", " \n", " \n", " \n", " \n", " \n", " \n", " \n", " \n", " \n", " \n", " \n", " \n", " \n", " \n", " \n", " \n", " \n", " \n", " \n", " \n", " \n", " \n", " \n", " \n", " \n", " \n", " \n", " \n", " \n", " \n", " \n", " \n", " \n", " \n", " \n", " \n", " \n", " \n", " \n", " \n", " \n", " \n", " \n", " \n", "
\n", "
words
\n", "
1 (object)
\n", " \n", " 		\n", "
num
\n", "
2 (int32)
\n", " \n", " 		\n", "
animals
\n", "
3 (object)
\n", " \n", " 		\n", "
thing
\n", "
4 (object)
\n", " \n", " 		\n", "
two strings
\n", "
5 (object)
\n", " \n", " 		\n", "
filter
\n", "
6 (object)
\n", " \n", " 		\n", "
num 2
\n", "
7 (string)
\n", " \n", " 		\n", "
col_array
\n", "
8 (object)
\n", " \n", " 		\n", "
col_int
\n", "
9 (object)
\n", " \n", " 		\n", "
new_col_1
\n", "
10 (int64)
\n", " \n", " 		\n", "
NEW COLUMN
\n", "
11 (object)
\n", " \n", " 		\n", "
col 2
\n", "
12 (float64)
\n", " \n", " 		\n", "
col 3
\n", "
13 (int64)
\n", " \n", "
\n", "
\n", " \n", " \n", " ⋅⋅I⋅like⋅⋅⋅⋅⋅fish⋅⋅\n", " \n", "
\n", " 		\n", "
\n", " \n", " \n", " 1\n", " \n", "
\n", " 		\n", "
\n", " \n", " \n", " dog\n", " \n", "
\n", " 		\n", "
\n", " \n", " \n", " housé\n", " \n", "
\n", " 		\n", "
\n", " \n", " \n", " cat-car\n", " \n", "
\n", " 		\n", "
\n", " \n", " \n", " a\n", " \n", "
\n", " 		\n", "
\n", " \n", " \n", " 1\n", " \n", "
\n", " 		\n", "
\n", " \n", " \n", " ['baby',⋅'sorry']\n", " \n", "
\n", " 		\n", "
\n", " \n", " \n", " [1,⋅2,⋅3]\n", " \n", "
\n", " 		\n", "
\n", " \n", " \n", " 1\n", " \n", "
\n", " 		\n", "
\n", " \n", " \n", " q\n", " \n", "
\n", " 		\n", "
\n", " \n", " \n", " 2.22\n", " \n", "
\n", " 		\n", "
\n", " \n", " \n", " 3\n", " \n", "
\n", "
\n", "
\n", " \n", " \n", " ⋅⋅⋅⋅zombies\n", " \n", "
\n", " 		\n", "
\n", " \n", " \n", " 2\n", " \n", "
\n", " 		\n", "
\n", " \n", " \n", " cat\n", " \n", "
\n", " 		\n", "
\n", " \n", " \n", " tv\n", " \n", "
\n", " 		\n", "
\n", " \n", " \n", " dog-tv\n", " \n", "
\n", " 		\n", "
\n", " \n", " \n", " b\n", " \n", "
\n", " 		\n", "
\n", " \n", " \n", " 2\n", " \n", "
\n", " 		\n", "
\n", " \n", " \n", " ['baby⋅1',⋅'sorry⋅1']\n", " \n", "
\n", " 		\n", "
\n", " \n", " \n", " [3,⋅4]\n", " \n", "
\n", " 		\n", "
\n", " \n", " \n", " 1\n", " \n", "
\n", " 		\n", "
\n", " \n", " \n", " w\n", " \n", "
\n", " 		\n", "
\n", " \n", " \n", " 2.22\n", " \n", "
\n", " 		\n", "
\n", " \n", " \n", " 3\n", " \n", "
\n", "
\n", "
\n", " \n", " \n", " simpsons⋅⋅⋅cat⋅lady\n", " \n", "
\n", " 		\n", "
\n", " \n", " \n", " 2\n", " \n", "
\n", " 		\n", "
\n", " \n", " \n", " frog\n", " \n", "
\n", " 		\n", "
\n", " \n", " \n", " table\n", " \n", "
\n", " 		\n", "
\n", " \n", " \n", " eagle-tv-plus\n", " \n", "
\n", " 		\n", "
\n", " \n", " \n", " 1\n", " \n", "
\n", " 		\n", "
\n", " \n", " \n", " 3\n", " \n", "
\n", " 		\n", "
\n", " \n", " \n", " ['baby⋅2',⋅'sorry⋅2']\n", " \n", "
\n", " 		\n", "
\n", " \n", " \n", " [5,⋅6,⋅7]\n", " \n", "
\n", " 		\n", "
\n", " \n", " \n", " 1\n", " \n", "
\n", " 		\n", "
\n", " \n", " \n", " e\n", " \n", "
\n", " 		\n", "
\n", " \n", " \n", " 2.22\n", " \n", "
\n", " 		\n", "
\n", " \n", " \n", " 3\n", " \n", "
\n", "
\n", "
\n", " \n", " \n", " None\n", " \n", "
\n", " 		\n", "
\n", " \n", " \n", " 3\n", " \n", "
\n", " 		\n", "
\n", " \n", " \n", " eagle\n", " \n", "
\n", " 		\n", "
\n", " \n", " \n", " glass\n", " \n", "
\n", " 		\n", "
\n", " \n", " \n", " lion-pc\n", " \n", "
\n", " 		\n", "
\n", " \n", " \n", " c\n", " \n", "
\n", " 		\n", "
\n", " \n", " \n", " 4\n", " \n", "
\n", " 		\n", "
\n", " \n", " \n", " ['baby⋅3',⋅'sorry⋅3']\n", " \n", "
\n", " 		\n", "
\n", " \n", " \n", " [7,⋅8]\n", " \n", "
\n", " 		\n", "
\n", " \n", " \n", " 1\n", " \n", "
\n", " 		\n", "
\n", " \n", " \n", " r\n", " \n", "
\n", " 		\n", "
\n", " \n", " \n", " 2.22\n", " \n", "
\n", " 		\n", "
\n", " \n", " \n", " 3\n", " \n", "
\n", "
\n", "
\n", "\n", "\n", "
Viewing 4 of 4 rows / 13 columns
\n", "
1 partition(s) <class 'optimus.engines.pandas.dataframe.PandasDataFrame'>
\n", "\n" ] }, "metadata": {} } ], "metadata": {} }, { "cell_type": "markdown", "source": [ "### Create multiple columns with a constant string, a new column with existing columns value and an array" ], "metadata": {} }, { "cell_type": "code", "execution_count": 8, "source": [ "df.cols.append({\r\n", " \"just test\": \"test\",\r\n", " \"num 2\": df['num'] * 2,\r\n", " \"more numbers\": [1, 2, 3, 4]\r\n", "}).cols.select([\"num\", \"just test\", \"num 2\", \"more numbers\"]).display()" ], "outputs": [ { "output_type": "display_data", "data": { "text/plain": [ "" ], "text/html": [ "\n", "\n", "\n", "\n", "\n", "
Viewing 4 of 4 rows / 4 columns
\n", "
1 partition(s)
\n", "\n", "\n", "\n", " \n", " \n", " \n", " \n", " \n", " \n", " \n", " \n", " \n", " \n", " \n", " \n", " \n", "\n", " \n", " \n", " \n", " \n", " \n", " \n", " \n", " \n", " \n", " \n", " \n", " \n", " \n", " \n", " \n", " \n", " \n", " \n", " \n", " \n", " \n", " \n", " \n", " \n", " \n", " \n", " \n", " \n", " \n", " \n", " \n", " \n", " \n", " \n", " \n", " \n", " \n", " \n", " \n", " \n", " \n", " \n", " \n", " \n", " \n", " \n", " \n", " \n", " \n", " \n", " \n", " \n", "
\n", "
num
\n", "
1 (int32)
\n", " \n", " 		\n", "
just test
\n", "
2 (object)
\n", " \n", " 		\n", "
num 2
\n", "
3 (float64)
\n", " \n", " 		\n", "
more numbers
\n", "
4 (int64)
\n", " \n", "
\n", "
\n", " \n", " \n", " 1\n", " \n", "
\n", " 		\n", "
\n", " \n", " \n", " test\n", " \n", "
\n", " 		\n", "
\n", " \n", " \n", " 2.0\n", " \n", "
\n", " 		\n", "
\n", " \n", " \n", " 1\n", " \n", "
\n", "
\n", "
\n", " \n", " \n", " 2\n", " \n", "
\n", " 		\n", "
\n", " \n", " \n", " test\n", " \n", "
\n", " 		\n", "
\n", " \n", " \n", " 4.0\n", " \n", "
\n", " 		\n", "
\n", " \n", " \n", " 2\n", " \n", "
\n", "
\n", "
\n", " \n", " \n", " 2\n", " \n", "
\n", " 		\n", "
\n", " \n", " \n", " test\n", " \n", "
\n", " 		\n", "
\n", " \n", " \n", " 4.0\n", " \n", "
\n", " 		\n", "
\n", " \n", " \n", " 3\n", " \n", "
\n", "
\n", "
\n", " \n", " \n", " 3\n", " \n", "
\n", " 		\n", "
\n", " \n", " \n", " test\n", " \n", "
\n", " 		\n", "
\n", " \n", " \n", " 6.0\n", " \n", "
\n", " 		\n", "
\n", " \n", " \n", " 4\n", " \n", "
\n", "
\n", "
\n", "\n", "\n", "
Viewing 4 of 4 rows / 4 columns
\n", "
1 partition(s) <class 'optimus.engines.pandas.dataframe.PandasDataFrame'>
\n", "\n" ] }, "metadata": {} } ], "metadata": {} }, { "cell_type": "markdown", "source": [ "## Select columns" ], "metadata": {} }, { "cell_type": "code", "execution_count": 9, "source": [ "display(df.cols.names())\r\n", "columns = [\"words\", 1, \"animals\", 3]\r\n", "df.cols.select(columns).display()" ], "outputs": [ { "output_type": "display_data", "data": { "text/plain": [ "['words',\n", " 'num',\n", " 'animals',\n", " 'thing',\n", " 'two strings',\n", " 'filter',\n", " 'num 2',\n", " 'col_array',\n", " 'col_int',\n", " 'new_col_1',\n", " 'NEW COLUMN']" ] }, "metadata": {} }, { "output_type": "display_data", "data": { "text/plain": [ "" ], "text/html": [ "\n", "\n", "\n", "\n", "\n", "
Viewing 4 of 4 rows / 4 columns
\n", "
1 partition(s)
\n", "\n", "\n", "\n", " \n", " \n", " \n", " \n", " \n", " \n", " \n", " \n", " \n", " \n", " \n", " \n", " \n", "\n", " \n", " \n", " \n", " \n", " \n", " \n", " \n", " \n", " \n", " \n", " \n", " \n", " \n", " \n", " \n", " \n", " \n", " \n", " \n", " \n", " \n", " \n", " \n", " \n", " \n", " \n", " \n", " \n", " \n", " \n", " \n", " \n", " \n", " \n", " \n", " \n", " \n", " \n", " \n", " \n", " \n", " \n", " \n", " \n", " \n", " \n", " \n", " \n", " \n", " \n", " \n", " \n", "
\n", "
words
\n", "
1 (object)
\n", " \n", " 		\n", "
num
\n", "
2 (int32)
\n", " \n", " 		\n", "
animals
\n", "
3 (object)
\n", " \n", " 		\n", "
thing
\n", "
4 (object)
\n", " \n", "
\n", "
\n", " \n", " \n", " ⋅⋅I⋅like⋅⋅⋅⋅⋅fish⋅⋅\n", " \n", "
\n", " 		\n", "
\n", " \n", " \n", " 1\n", " \n", "
\n", " 		\n", "
\n", " \n", " \n", " dog\n", " \n", "
\n", " 		\n", "
\n", " \n", " \n", " housé\n", " \n", "
\n", "
\n", "
\n", " \n", " \n", " ⋅⋅⋅⋅zombies\n", " \n", "
\n", " 		\n", "
\n", " \n", " \n", " 2\n", " \n", "
\n", " 		\n", "
\n", " \n", " \n", " cat\n", " \n", "
\n", " 		\n", "
\n", " \n", " \n", " tv\n", " \n", "
\n", "
\n", "
\n", " \n", " \n", " simpsons⋅⋅⋅cat⋅lady\n", " \n", "
\n", " 		\n", "
\n", " \n", " \n", " 2\n", " \n", "
\n", " 		\n", "
\n", " \n", " \n", " frog\n", " \n", "
\n", " 		\n", "
\n", " \n", " \n", " table\n", " \n", "
\n", "
\n", "
\n", " \n", " \n", " None\n", " \n", "
\n", " 		\n", "
\n", " \n", " \n", " 3\n", " \n", "
\n", " 		\n", "
\n", " \n", " \n", " eagle\n", " \n", "
\n", " 		\n", "
\n", " \n", " \n", " glass\n", " \n", "
\n", "
\n", "
\n", "\n", "\n", "
Viewing 4 of 4 rows / 4 columns
\n", "
1 partition(s) <class 'optimus.engines.pandas.dataframe.PandasDataFrame'>
\n", "\n" ] }, "metadata": {} } ], "metadata": {} }, { "cell_type": "markdown", "source": [ "### Select columns with a Regex" ], "metadata": {} }, { "cell_type": "code", "execution_count": 10, "source": [ "df.cols.select(\"n.*\", regex=True).display()" ], "outputs": [ { "output_type": "display_data", "data": { "text/plain": [ "" ], "text/html": [ "\n", "\n", "\n", "\n", "\n", "
Viewing 4 of 4 rows / 3 columns
\n", "
1 partition(s)
\n", "\n", "\n", "\n", " \n", " \n", " \n", " \n", " \n", " \n", " \n", " \n", " \n", " \n", " \n", "\n", " \n", " \n", " \n", " \n", " \n", " \n", " \n", " \n", " \n", " \n", " \n", " \n", " \n", " \n", " \n", " \n", " \n", " \n", " \n", " \n", " \n", " \n", " \n", " \n", " \n", " \n", " \n", " \n", " \n", " \n", " \n", " \n", " \n", " \n", " \n", " \n", " \n", " \n", " \n", " \n", " \n", " \n", " \n", " \n", "
\n", "
num
\n", "
1 (int32)
\n", " \n", " 		\n", "
num 2
\n", "
2 (string)
\n", " \n", " 		\n", "
new_col_1
\n", "
3 (int64)
\n", " \n", "
\n", "
\n", " \n", " \n", " 1\n", " \n", "
\n", " 		\n", "
\n", " \n", " \n", " 1\n", " \n", "
\n", " 		\n", "
\n", " \n", " \n", " 1\n", " \n", "
\n", "
\n", "
\n", " \n", " \n", " 2\n", " \n", "
\n", " 		\n", "
\n", " \n", " \n", " 2\n", " \n", "
\n", " 		\n", "
\n", " \n", " \n", " 1\n", " \n", "
\n", "
\n", "
\n", " \n", " \n", " 2\n", " \n", "
\n", " 		\n", "
\n", " \n", " \n", " 3\n", " \n", "
\n", " 		\n", "
\n", " \n", " \n", " 1\n", " \n", "
\n", "
\n", "
\n", " \n", " \n", " 3\n", " \n", "
\n", " 		\n", "
\n", " \n", " \n", " 4\n", " \n", "
\n", " 		\n", "
\n", " \n", " \n", " 1\n", " \n", "
\n", "
\n", "
\n", "\n", "\n", "
Viewing 4 of 4 rows / 3 columns
\n", "
1 partition(s) <class 'optimus.engines.pandas.dataframe.PandasDataFrame'>
\n", "\n" ] }, "metadata": {} } ], "metadata": {} }, { "cell_type": "markdown", "source": [ "### Select all the columns of type string" ], "metadata": {} }, { "cell_type": "code", "execution_count": 11, "source": [ "df.cols.select(data_type=\"int\").display()" ], "outputs": [ { "output_type": "display_data", "data": { "text/plain": [ "" ], "text/html": [ "\n", "\n", "\n", "\n", "\n", "
Viewing 4 of 4 rows / 2 columns
\n", "
1 partition(s)
\n", "\n", "\n", "\n", " \n", " \n", " \n", " \n", " \n", " \n", " \n", " \n", " \n", "\n", " \n", " \n", " \n", " \n", " \n", " \n", " \n", " \n", " \n", " \n", " \n", " \n", " \n", " \n", " \n", " \n", " \n", " \n", " \n", " \n", " \n", " \n", " \n", " \n", " \n", " \n", " \n", " \n", " \n", " \n", " \n", " \n", " \n", " \n", " \n", " \n", "
\n", "
num
\n", "
1 (int32)
\n", " \n", " 		\n", "
new_col_1
\n", "
2 (int64)
\n", " \n", "
\n", "
\n", " \n", " \n", " 1\n", " \n", "
\n", " 		\n", "
\n", " \n", " \n", " 1\n", " \n", "
\n", "
\n", "
\n", " \n", " \n", " 2\n", " \n", "
\n", " 		\n", "
\n", " \n", " \n", " 1\n", " \n", "
\n", "
\n", "
\n", " \n", " \n", " 2\n", " \n", "
\n", " 		\n", "
\n", " \n", " \n", " 1\n", " \n", "
\n", "
\n", "
\n", " \n", " \n", " 3\n", " \n", "
\n", " 		\n", "
\n", " \n", " \n", " 1\n", " \n", "
\n", "
\n", "
\n", "\n", "\n", "
Viewing 4 of 4 rows / 2 columns
\n", "
1 partition(s) <class 'optimus.engines.pandas.dataframe.PandasDataFrame'>
\n", "\n" ] }, "metadata": {} } ], "metadata": {} }, { "cell_type": "markdown", "source": [ "## Rename Column" ], "metadata": {} }, { "cell_type": "code", "execution_count": 12, "source": [ "df.cols.rename('num', 'number').display(highlight=\"number\")" ], "outputs": [ { "output_type": "display_data", "data": { "text/plain": [ "" ], "text/html": [ "\n", "\n", "\n", "\n", "\n", "
Viewing 4 of 4 rows / 11 columns
\n", "
1 partition(s)
\n", "\n", "\n", "\n", " \n", " \n", " \n", " \n", " \n", " \n", " \n", " \n", " \n", " \n", " \n", " \n", " \n", " \n", " \n", " \n", " \n", " \n", " \n", " \n", " \n", " \n", " \n", " \n", " \n", " \n", " \n", "\n", " \n", " \n", " \n", " \n", " \n", " \n", " \n", " \n", " \n", " \n", " \n", " \n", " \n", " \n", " \n", " \n", " \n", " \n", " \n", " \n", " \n", " \n", " \n", " \n", " \n", " \n", " \n", " \n", " \n", " \n", " \n", " \n", " \n", " \n", " \n", " \n", " \n", " \n", " \n", " \n", " \n", " \n", " \n", " \n", " \n", " \n", " \n", " \n", " \n", " \n", " \n", " \n", " \n", " \n", " \n", " \n", " \n", " \n", " \n", " \n", " \n", " \n", " \n", " \n", " \n", " \n", " \n", " \n", " \n", " \n", " \n", " \n", " \n", " \n", " \n", " \n", " \n", " \n", " \n", " \n", " \n", " \n", " \n", " \n", " \n", " \n", " \n", " \n", " \n", " \n", " \n", " \n", " \n", " \n", " \n", " \n", " \n", " \n", " \n", " \n", " \n", " \n", " \n", " \n", " \n", " \n", " \n", " \n", "
\n", "
words
\n", "
1 (object)
\n", " \n", " 		\n", "
number
\n", "
2 (int32)
\n", " \n", " 		\n", "
animals
\n", "
3 (object)
\n", " \n", " 		\n", "
thing
\n", "
4 (object)
\n", " \n", " 		\n", "
two strings
\n", "
5 (object)
\n", " \n", " 		\n", "
filter
\n", "
6 (object)
\n", " \n", " 		\n", "
num 2
\n", "
7 (string)
\n", " \n", " 		\n", "
col_array
\n", "
8 (object)
\n", " \n", " 		\n", "
col_int
\n", "
9 (object)
\n", " \n", " 		\n", "
new_col_1
\n", "
10 (int64)
\n", " \n", " 		\n", "
NEW COLUMN
\n", "
11 (object)
\n", " \n", "
\n", "
\n", " \n", " \n", " ⋅⋅I⋅like⋅⋅⋅⋅⋅fish⋅⋅\n", " \n", "
\n", " 		\n", "
\n", " \n", " \n", " 1\n", " \n", "
\n", " 		\n", "
\n", " \n", " \n", " dog\n", " \n", "
\n", " 		\n", "
\n", " \n", " \n", " housé\n", " \n", "
\n", " 		\n", "
\n", " \n", " \n", " cat-car\n", " \n", "
\n", " 		\n", "
\n", " \n", " \n", " a\n", " \n", "
\n", " 		\n", "
\n", " \n", " \n", " 1\n", " \n", "
\n", " 		\n", "
\n", " \n", " \n", " ['baby',⋅'sorry']\n", " \n", "
\n", " 		\n", "
\n", " \n", " \n", " [1,⋅2,⋅3]\n", " \n", "
\n", " 		\n", "
\n", " \n", " \n", " 1\n", " \n", "
\n", " 		\n", "
\n", " \n", " \n", " q\n", " \n", "
\n", "
\n", "
\n", " \n", " \n", " ⋅⋅⋅⋅zombies\n", " \n", "
\n", " 		\n", "
\n", " \n", " \n", " 2\n", " \n", "
\n", " 		\n", "
\n", " \n", " \n", " cat\n", " \n", "
\n", " 		\n", "
\n", " \n", " \n", " tv\n", " \n", "
\n", " 		\n", "
\n", " \n", " \n", " dog-tv\n", " \n", "
\n", " 		\n", "
\n", " \n", " \n", " b\n", " \n", "
\n", " 		\n", "
\n", " \n", " \n", " 2\n", " \n", "
\n", " 		\n", "
\n", " \n", " \n", " ['baby⋅1',⋅'sorry⋅1']\n", " \n", "
\n", " 		\n", "
\n", " \n", " \n", " [3,⋅4]\n", " \n", "
\n", " 		\n", "
\n", " \n", " \n", " 1\n", " \n", "
\n", " 		\n", "
\n", " \n", " \n", " w\n", " \n", "
\n", "
\n", "
\n", " \n", " \n", " simpsons⋅⋅⋅cat⋅lady\n", " \n", "
\n", " 		\n", "
\n", " \n", " \n", " 2\n", " \n", "
\n", " 		\n", "
\n", " \n", " \n", " frog\n", " \n", "
\n", " 		\n", "
\n", " \n", " \n", " table\n", " \n", "
\n", " 		\n", "
\n", " \n", " \n", " eagle-tv-plus\n", " \n", "
\n", " 		\n", "
\n", " \n", " \n", " 1\n", " \n", "
\n", " 		\n", "
\n", " \n", " \n", " 3\n", " \n", "
\n", " 		\n", "
\n", " \n", " \n", " ['baby⋅2',⋅'sorry⋅2']\n", " \n", "
\n", " 		\n", "
\n", " \n", " \n", " [5,⋅6,⋅7]\n", " \n", "
\n", " 		\n", "
\n", " \n", " \n", " 1\n", " \n", "
\n", " 		\n", "
\n", " \n", " \n", " e\n", " \n", "
\n", "
\n", "
\n", " \n", " \n", " None\n", " \n", "
\n", " 		\n", "
\n", " \n", " \n", " 3\n", " \n", "
\n", " 		\n", "
\n", " \n", " \n", " eagle\n", " \n", "
\n", " 		\n", "
\n", " \n", " \n", " glass\n", " \n", "
\n", " 		\n", "
\n", " \n", " \n", " lion-pc\n", " \n", "
\n", " 		\n", "
\n", " \n", " \n", " c\n", " \n", "
\n", " 		\n", "
\n", " \n", " \n", " 4\n", " \n", "
\n", " 		\n", "
\n", " \n", " \n", " ['baby⋅3',⋅'sorry⋅3']\n", " \n", "
\n", " 		\n", "
\n", " \n", " \n", " [7,⋅8]\n", " \n", "
\n", " 		\n", "
\n", " \n", " \n", " 1\n", " \n", "
\n", " 		\n", "
\n", " \n", " \n", " r\n", " \n", "
\n", "
\n", "
\n", "\n", "\n", "
Viewing 4 of 4 rows / 11 columns
\n", "
1 partition(s) <class 'optimus.engines.pandas.dataframe.PandasDataFrame'>
\n", "\n" ] }, "metadata": {} } ], "metadata": {} }, { "cell_type": "markdown", "source": [ "### Rename multiple columns and uppercase all the columns" ], "metadata": {} }, { "cell_type": "code", "execution_count": 13, "source": [ "df.cols.rename([('num', 'number'), (\"animals\", \"gods\")], str.upper).display(highlight=[\"NUMBER\", \"GODS\"])" ], "outputs": [ { "output_type": "display_data", "data": { "text/plain": [ "" ], "text/html": [ "\n", "\n", "\n", "\n", "\n", "
Viewing 4 of 4 rows / 11 columns
\n", "
1 partition(s)
\n", "\n", "\n", "\n", " \n", " \n", " \n", " \n", " \n", " \n", " \n", " \n", " \n", " \n", " \n", " \n", " \n", " \n", " \n", " \n", " \n", " \n", " \n", " \n", " \n", " \n", " \n", " \n", " \n", " \n", " \n", "\n", " \n", " \n", " \n", " \n", " \n", " \n", " \n", " \n", " \n", " \n", " \n", " \n", " \n", " \n", " \n", " \n", " \n", " \n", " \n", " \n", " \n", " \n", " \n", " \n", " \n", " \n", " \n", " \n", " \n", " \n", " \n", " \n", " \n", " \n", " \n", " \n", " \n", " \n", " \n", " \n", " \n", " \n", " \n", " \n", " \n", " \n", " \n", " \n", " \n", " \n", " \n", " \n", " \n", " \n", " \n", " \n", " \n", " \n", " \n", " \n", " \n", " \n", " \n", " \n", " \n", " \n", " \n", " \n", " \n", " \n", " \n", " \n", " \n", " \n", " \n", " \n", " \n", " \n", " \n", " \n", " \n", " \n", " \n", " \n", " \n", " \n", " \n", " \n", " \n", " \n", " \n", " \n", " \n", " \n", " \n", " \n", " \n", " \n", " \n", " \n", " \n", " \n", " \n", " \n", " \n", " \n", " \n", " \n", "
\n", "
words
\n", "
1 (object)
\n", " \n", " 		\n", "
NUMBER
\n", "
2 (int32)
\n", " \n", " 		\n", "
GODS
\n", "
3 (object)
\n", " \n", " 		\n", "
thing
\n", "
4 (object)
\n", " \n", " 		\n", "
two strings
\n", "
5 (object)
\n", " \n", " 		\n", "
filter
\n", "
6 (object)
\n", " \n", " 		\n", "
num 2
\n", "
7 (string)
\n", " \n", " 		\n", "
col_array
\n", "
8 (object)
\n", " \n", " 		\n", "
col_int
\n", "
9 (object)
\n", " \n", " 		\n", "
new_col_1
\n", "
10 (int64)
\n", " \n", " 		\n", "
NEW COLUMN
\n", "
11 (object)
\n", " \n", "
\n", "
\n", " \n", " \n", " ⋅⋅I⋅like⋅⋅⋅⋅⋅fish⋅⋅\n", " \n", "
\n", " 		\n", "
\n", " \n", " \n", " 1\n", " \n", "
\n", " 		\n", "
\n", " \n", " \n", " dog\n", " \n", "
\n", " 		\n", "
\n", " \n", " \n", " housé\n", " \n", "
\n", " 		\n", "
\n", " \n", " \n", " cat-car\n", " \n", "
\n", " 		\n", "
\n", " \n", " \n", " a\n", " \n", "
\n", " 		\n", "
\n", " \n", " \n", " 1\n", " \n", "
\n", " 		\n", "
\n", " \n", " \n", " ['baby',⋅'sorry']\n", " \n", "
\n", " 		\n", "
\n", " \n", " \n", " [1,⋅2,⋅3]\n", " \n", "
\n", " 		\n", "
\n", " \n", " \n", " 1\n", " \n", "
\n", " 		\n", "
\n", " \n", " \n", " q\n", " \n", "
\n", "
\n", "
\n", " \n", " \n", " ⋅⋅⋅⋅zombies\n", " \n", "
\n", " 		\n", "
\n", " \n", " \n", " 2\n", " \n", "
\n", " 		\n", "
\n", " \n", " \n", " cat\n", " \n", "
\n", " 		\n", "
\n", " \n", " \n", " tv\n", " \n", "
\n", " 		\n", "
\n", " \n", " \n", " dog-tv\n", " \n", "
\n", " 		\n", "
\n", " \n", " \n", " b\n", " \n", "
\n", " 		\n", "
\n", " \n", " \n", " 2\n", " \n", "
\n", " 		\n", "
\n", " \n", " \n", " ['baby⋅1',⋅'sorry⋅1']\n", " \n", "
\n", " 		\n", "
\n", " \n", " \n", " [3,⋅4]\n", " \n", "
\n", " 		\n", "
\n", " \n", " \n", " 1\n", " \n", "
\n", " 		\n", "
\n", " \n", " \n", " w\n", " \n", "
\n", "
\n", "
\n", " \n", " \n", " simpsons⋅⋅⋅cat⋅lady\n", " \n", "
\n", " 		\n", "
\n", " \n", " \n", " 2\n", " \n", "
\n", " 		\n", "
\n", " \n", " \n", " frog\n", " \n", "
\n", " 		\n", "
\n", " \n", " \n", " table\n", " \n", "
\n", " 		\n", "
\n", " \n", " \n", " eagle-tv-plus\n", " \n", "
\n", " 		\n", "
\n", " \n", " \n", " 1\n", " \n", "
\n", " 		\n", "
\n", " \n", " \n", " 3\n", " \n", "
\n", " 		\n", "
\n", " \n", " \n", " ['baby⋅2',⋅'sorry⋅2']\n", " \n", "
\n", " 		\n", "
\n", " \n", " \n", " [5,⋅6,⋅7]\n", " \n", "
\n", " 		\n", "
\n", " \n", " \n", " 1\n", " \n", "
\n", " 		\n", "
\n", " \n", " \n", " e\n", " \n", "
\n", "
\n", "
\n", " \n", " \n", " None\n", " \n", "
\n", " 		\n", "
\n", " \n", " \n", " 3\n", " \n", "
\n", " 		\n", "
\n", " \n", " \n", " eagle\n", " \n", "
\n", " 		\n", "
\n", " \n", " \n", " glass\n", " \n", "
\n", " 		\n", "
\n", " \n", " \n", " lion-pc\n", " \n", "
\n", " 		\n", "
\n", " \n", " \n", " c\n", " \n", "
\n", " 		\n", "
\n", " \n", " \n", " 4\n", " \n", "
\n", " 		\n", "
\n", " \n", " \n", " ['baby⋅3',⋅'sorry⋅3']\n", " \n", "
\n", " 		\n", "
\n", " \n", " \n", " [7,⋅8]\n", " \n", "
\n", " 		\n", "
\n", " \n", " \n", " 1\n", " \n", "
\n", " 		\n", "
\n", " \n", " \n", " r\n", " \n", "
\n", "
\n", "
\n", "\n", "\n", "
Viewing 4 of 4 rows / 11 columns
\n", "
1 partition(s) <class 'optimus.engines.pandas.dataframe.PandasDataFrame'>
\n", "\n" ] }, "metadata": {} } ], "metadata": {} }, { "cell_type": "markdown", "source": [ "### Convert to lower case" ], "metadata": {} }, { "cell_type": "code", "execution_count": 14, "source": [ "df.cols.rename(str.lower).display(highlight=\"new column\")" ], "outputs": [ { "output_type": "display_data", "data": { "text/plain": [ "" ], "text/html": [ "\n", "\n", "\n", "\n", "\n", "
Viewing 4 of 4 rows / 11 columns
\n", "
1 partition(s)
\n", "\n", "\n", "\n", " \n", " \n", " \n", " \n", " \n", " \n", " \n", " \n", " \n", " \n", " \n", " \n", " \n", " \n", " \n", " \n", " \n", " \n", " \n", " \n", " \n", " \n", " \n", " \n", " \n", " \n", " \n", "\n", " \n", " \n", " \n", " \n", " \n", " \n", " \n", " \n", " \n", " \n", " \n", " \n", " \n", " \n", " \n", " \n", " \n", " \n", " \n", " \n", " \n", " \n", " \n", " \n", " \n", " \n", " \n", " \n", " \n", " \n", " \n", " \n", " \n", " \n", " \n", " \n", " \n", " \n", " \n", " \n", " \n", " \n", " \n", " \n", " \n", " \n", " \n", " \n", " \n", " \n", " \n", " \n", " \n", " \n", " \n", " \n", " \n", " \n", " \n", " \n", " \n", " \n", " \n", " \n", " \n", " \n", " \n", " \n", " \n", " \n", " \n", " \n", " \n", " \n", " \n", " \n", " \n", " \n", " \n", " \n", " \n", " \n", " \n", " \n", " \n", " \n", " \n", " \n", " \n", " \n", " \n", " \n", " \n", " \n", " \n", " \n", " \n", " \n", " \n", " \n", " \n", " \n", " \n", " \n", " \n", " \n", " \n", " \n", "
\n", "
words
\n", "
1 (object)
\n", " \n", " 		\n", "
num
\n", "
2 (int32)
\n", " \n", " 		\n", "
animals
\n", "
3 (object)
\n", " \n", " 		\n", "
thing
\n", "
4 (object)
\n", " \n", " 		\n", "
two strings
\n", "
5 (object)
\n", " \n", " 		\n", "
filter
\n", "
6 (object)
\n", " \n", " 		\n", "
num 2
\n", "
7 (string)
\n", " \n", " 		\n", "
col_array
\n", "
8 (object)
\n", " \n", " 		\n", "
col_int
\n", "
9 (object)
\n", " \n", " 		\n", "
new_col_1
\n", "
10 (int64)
\n", " \n", " 		\n", "
new column
\n", "
11 (object)
\n", " \n", "
\n", "
\n", " \n", " \n", " ⋅⋅I⋅like⋅⋅⋅⋅⋅fish⋅⋅\n", " \n", "
\n", " 		\n", "
\n", " \n", " \n", " 1\n", " \n", "
\n", " 		\n", "
\n", " \n", " \n", " dog\n", " \n", "
\n", " 		\n", "
\n", " \n", " \n", " housé\n", " \n", "
\n", " 		\n", "
\n", " \n", " \n", " cat-car\n", " \n", "
\n", " 		\n", "
\n", " \n", " \n", " a\n", " \n", "
\n", " 		\n", "
\n", " \n", " \n", " 1\n", " \n", "
\n", " 		\n", "
\n", " \n", " \n", " ['baby',⋅'sorry']\n", " \n", "
\n", " 		\n", "
\n", " \n", " \n", " [1,⋅2,⋅3]\n", " \n", "
\n", " 		\n", "
\n", " \n", " \n", " 1\n", " \n", "
\n", " 		\n", "
\n", " \n", " \n", " q\n", " \n", "
\n", "
\n", "
\n", " \n", " \n", " ⋅⋅⋅⋅zombies\n", " \n", "
\n", " 		\n", "
\n", " \n", " \n", " 2\n", " \n", "
\n", " 		\n", "
\n", " \n", " \n", " cat\n", " \n", "
\n", " 		\n", "
\n", " \n", " \n", " tv\n", " \n", "
\n", " 		\n", "
\n", " \n", " \n", " dog-tv\n", " \n", "
\n", " 		\n", "
\n", " \n", " \n", " b\n", " \n", "
\n", " 		\n", "
\n", " \n", " \n", " 2\n", " \n", "
\n", " 		\n", "
\n", " \n", " \n", " ['baby⋅1',⋅'sorry⋅1']\n", " \n", "
\n", " 		\n", "
\n", " \n", " \n", " [3,⋅4]\n", " \n", "
\n", " 		\n", "
\n", " \n", " \n", " 1\n", " \n", "
\n", " 		\n", "
\n", " \n", " \n", " w\n", " \n", "
\n", "
\n", "
\n", " \n", " \n", " simpsons⋅⋅⋅cat⋅lady\n", " \n", "
\n", " 		\n", "
\n", " \n", " \n", " 2\n", " \n", "
\n", " 		\n", "
\n", " \n", " \n", " frog\n", " \n", "
\n", " 		\n", "
\n", " \n", " \n", " table\n", " \n", "
\n", " 		\n", "
\n", " \n", " \n", " eagle-tv-plus\n", " \n", "
\n", " 		\n", "
\n", " \n", " \n", " 1\n", " \n", "
\n", " 		\n", "
\n", " \n", " \n", " 3\n", " \n", "
\n", " 		\n", "
\n", " \n", " \n", " ['baby⋅2',⋅'sorry⋅2']\n", " \n", "
\n", " 		\n", "
\n", " \n", " \n", " [5,⋅6,⋅7]\n", " \n", "
\n", " 		\n", "
\n", " \n", " \n", " 1\n", " \n", "
\n", " 		\n", "
\n", " \n", " \n", " e\n", " \n", "
\n", "
\n", "
\n", " \n", " \n", " None\n", " \n", "
\n", " 		\n", "
\n", " \n", " \n", " 3\n", " \n", "
\n", " 		\n", "
\n", " \n", " \n", " eagle\n", " \n", "
\n", " 		\n", "
\n", " \n", " \n", " glass\n", " \n", "
\n", " 		\n", "
\n", " \n", " \n", " lion-pc\n", " \n", "
\n", " 		\n", "
\n", " \n", " \n", " c\n", " \n", "
\n", " 		\n", "
\n", " \n", " \n", " 4\n", " \n", "
\n", " 		\n", "
\n", " \n", " \n", " ['baby⋅3',⋅'sorry⋅3']\n", " \n", "
\n", " 		\n", "
\n", " \n", " \n", " [7,⋅8]\n", " \n", "
\n", " 		\n", "
\n", " \n", " \n", " 1\n", " \n", "
\n", " 		\n", "
\n", " \n", " \n", " r\n", " \n", "
\n", "
\n", "
\n", "\n", "\n", "
Viewing 4 of 4 rows / 11 columns
\n", "
1 partition(s) <class 'optimus.engines.pandas.dataframe.PandasDataFrame'>
\n", "\n" ] }, "metadata": {} } ], "metadata": {} }, { "cell_type": "markdown", "source": [ "### Convert to uppercase" ], "metadata": {} }, { "cell_type": "code", "execution_count": 15, "source": [ "df.cols.rename(str.upper).display()" ], "outputs": [ { "output_type": "display_data", "data": { "text/plain": [ "" ], "text/html": [ "\n", "\n", "\n", "\n", "\n", "
Viewing 4 of 4 rows / 11 columns
\n", "
1 partition(s)
\n", "\n", "\n", "\n", " \n", " \n", " \n", " \n", " \n", " \n", " \n", " \n", " \n", " \n", " \n", " \n", " \n", " \n", " \n", " \n", " \n", " \n", " \n", " \n", " \n", " \n", " \n", " \n", " \n", " \n", " \n", "\n", " \n", " \n", " \n", " \n", " \n", " \n", " \n", " \n", " \n", " \n", " \n", " \n", " \n", " \n", " \n", " \n", " \n", " \n", " \n", " \n", " \n", " \n", " \n", " \n", " \n", " \n", " \n", " \n", " \n", " \n", " \n", " \n", " \n", " \n", " \n", " \n", " \n", " \n", " \n", " \n", " \n", " \n", " \n", " \n", " \n", " \n", " \n", " \n", " \n", " \n", " \n", " \n", " \n", " \n", " \n", " \n", " \n", " \n", " \n", " \n", " \n", " \n", " \n", " \n", " \n", " \n", " \n", " \n", " \n", " \n", " \n", " \n", " \n", " \n", " \n", " \n", " \n", " \n", " \n", " \n", " \n", " \n", " \n", " \n", " \n", " \n", " \n", " \n", " \n", " \n", " \n", " \n", " \n", " \n", " \n", " \n", " \n", " \n", " \n", " \n", " \n", " \n", " \n", " \n", " \n", " \n", " \n", " \n", "
\n", "
WORDS
\n", "
1 (object)
\n", " \n", " 		\n", "
NUM
\n", "
2 (int32)
\n", " \n", " 		\n", "
ANIMALS
\n", "
3 (object)
\n", " \n", " 		\n", "
THING
\n", "
4 (object)
\n", " \n", " 		\n", "
TWO STRINGS
\n", "
5 (object)
\n", " \n", " 		\n", "
FILTER
\n", "
6 (object)
\n", " \n", " 		\n", "
NUM 2
\n", "
7 (string)
\n", " \n", " 		\n", "
COL_ARRAY
\n", "
8 (object)
\n", " \n", " 		\n", "
COL_INT
\n", "
9 (object)
\n", " \n", " 		\n", "
NEW_COL_1
\n", "
10 (int64)
\n", " \n", " 		\n", "
NEW COLUMN
\n", "
11 (object)
\n", " \n", "
\n", "
\n", " \n", " \n", " ⋅⋅I⋅like⋅⋅⋅⋅⋅fish⋅⋅\n", " \n", "
\n", " 		\n", "
\n", " \n", " \n", " 1\n", " \n", "
\n", " 		\n", "
\n", " \n", " \n", " dog\n", " \n", "
\n", " 		\n", "
\n", " \n", " \n", " housé\n", " \n", "
\n", " 		\n", "
\n", " \n", " \n", " cat-car\n", " \n", "
\n", " 		\n", "
\n", " \n", " \n", " a\n", " \n", "
\n", " 		\n", "
\n", " \n", " \n", " 1\n", " \n", "
\n", " 		\n", "
\n", " \n", " \n", " ['baby',⋅'sorry']\n", " \n", "
\n", " 		\n", "
\n", " \n", " \n", " [1,⋅2,⋅3]\n", " \n", "
\n", " 		\n", "
\n", " \n", " \n", " 1\n", " \n", "
\n", " 		\n", "
\n", " \n", " \n", " q\n", " \n", "
\n", "
\n", "
\n", " \n", " \n", " ⋅⋅⋅⋅zombies\n", " \n", "
\n", " 		\n", "
\n", " \n", " \n", " 2\n", " \n", "
\n", " 		\n", "
\n", " \n", " \n", " cat\n", " \n", "
\n", " 		\n", "
\n", " \n", " \n", " tv\n", " \n", "
\n", " 		\n", "
\n", " \n", " \n", " dog-tv\n", " \n", "
\n", " 		\n", "
\n", " \n", " \n", " b\n", " \n", "
\n", " 		\n", "
\n", " \n", " \n", " 2\n", " \n", "
\n", " 		\n", "
\n", " \n", " \n", " ['baby⋅1',⋅'sorry⋅1']\n", " \n", "
\n", " 		\n", "
\n", " \n", " \n", " [3,⋅4]\n", " \n", "
\n", " 		\n", "
\n", " \n", " \n", " 1\n", " \n", "
\n", " 		\n", "
\n", " \n", " \n", " w\n", " \n", "
\n", "
\n", "
\n", " \n", " \n", " simpsons⋅⋅⋅cat⋅lady\n", " \n", "
\n", " 		\n", "
\n", " \n", " \n", " 2\n", " \n", "
\n", " 		\n", "
\n", " \n", " \n", " frog\n", " \n", "
\n", " 		\n", "
\n", " \n", " \n", " table\n", " \n", "
\n", " 		\n", "
\n", " \n", " \n", " eagle-tv-plus\n", " \n", "
\n", " 		\n", "
\n", " \n", " \n", " 1\n", " \n", "
\n", " 		\n", "
\n", " \n", " \n", " 3\n", " \n", "
\n", " 		\n", "
\n", " \n", " \n", " ['baby⋅2',⋅'sorry⋅2']\n", " \n", "
\n", " 		\n", "
\n", " \n", " \n", " [5,⋅6,⋅7]\n", " \n", "
\n", " 		\n", "
\n", " \n", " \n", " 1\n", " \n", "
\n", " 		\n", "
\n", " \n", " \n", " e\n", " \n", "
\n", "
\n", "
\n", " \n", " \n", " None\n", " \n", "
\n", " 		\n", "
\n", " \n", " \n", " 3\n", " \n", "
\n", " 		\n", "
\n", " \n", " \n", " eagle\n", " \n", "
\n", " 		\n", "
\n", " \n", " \n", " glass\n", " \n", "
\n", " 		\n", "
\n", " \n", " \n", " lion-pc\n", " \n", "
\n", " 		\n", "
\n", " \n", " \n", " c\n", " \n", "
\n", " 		\n", "
\n", " \n", " \n", " 4\n", " \n", "
\n", " 		\n", "
\n", " \n", " \n", " ['baby⋅3',⋅'sorry⋅3']\n", " \n", "
\n", " 		\n", "
\n", " \n", " \n", " [7,⋅8]\n", " \n", "
\n", " 		\n", "
\n", " \n", " \n", " 1\n", " \n", "
\n", " 		\n", "
\n", " \n", " \n", " r\n", " \n", "
\n", "
\n", "
\n", "\n", "\n", "
Viewing 4 of 4 rows / 11 columns
\n", "
1 partition(s) <class 'optimus.engines.pandas.dataframe.PandasDataFrame'>
\n", "\n" ] }, "metadata": {} } ], "metadata": {} }, { "cell_type": "markdown", "source": [ "## Cast a columns\n", "\n", "This is a opinionated way to handle column casting. \n", "One of the first thing that every data cleaning process need to acomplish is define a data dictionary.\n", "Because of that we prefer to create a tuple like this:\n", "\n", "df.cols().cast(\n", "[(\"words\",\"str\"),\n", "(\"num\",\"int\"),\n", "(\"animals\",\"float\"),\n", "(\"thing\",\"str\")]\n", ")\n" ], "metadata": {} }, { "cell_type": "code", "execution_count": 16, "source": [ "df.cols.cast(columns=[(\"num\", \"str\"), (\"num 2\", \"int\")]).cols.select([\"num\", \"num 2\"]).cols.data_types()" ], "outputs": [ { "output_type": "execute_result", "data": { "text/plain": [ "{'num': 'object', 'num 2': 'int64'}" ] }, "metadata": {}, "execution_count": 16 } ], "metadata": {} }, { "cell_type": "markdown", "source": [ "### Cast a column to string" ], "metadata": {} }, { "cell_type": "code", "execution_count": 17, "source": [ "df.cols.cast(\"num\", \"str\").cols.data_types()" ], "outputs": [ { "output_type": "execute_result", "data": { "text/plain": [ "{'words': 'object',\n", " 'num': 'object',\n", " 'animals': 'object',\n", " 'thing': 'object',\n", " 'two strings': 'object',\n", " 'filter': 'object',\n", " 'num 2': 'string',\n", " 'col_array': 'object',\n", " 'col_int': 'object',\n", " 'new_col_1': 'int64',\n", " 'NEW COLUMN': 'object'}" ] }, "metadata": {}, "execution_count": 17 } ], "metadata": {} }, { "cell_type": "markdown", "source": [ "### Cast all columns to string" ], "metadata": {} }, { "cell_type": "code", "execution_count": 18, "source": [ "df.cols.cast(\"*\", \"str\").cols.data_types()" ], "outputs": [ { "output_type": "execute_result", "data": { "text/plain": [ "{'words': 'object',\n", " 'num': 'object',\n", " 'animals': 'object',\n", " 'thing': 'object',\n", " 'two strings': 'object',\n", " 'filter': 'object',\n", " 'num 2': 'object',\n", " 'col_array': 'object',\n", " 'col_int': 'object',\n", " 'new_col_1': 'object',\n", " 'NEW COLUMN': 'object'}" ] }, "metadata": {}, "execution_count": 18 } ], "metadata": {} }, { "cell_type": "markdown", "source": [ "## Move columns" ], "metadata": {} }, { "cell_type": "code", "execution_count": 19, "source": [ "df.cols.move(\"thing\", \"after\", \"words\").display(highlight=[\"thing\", \"words\"])" ], "outputs": [ { "output_type": "display_data", "data": { "text/plain": [ "" ], "text/html": [ "\n", "\n", "\n", "\n", "\n", "
Viewing 4 of 4 rows / 11 columns
\n", "
1 partition(s)
\n", "\n", "\n", "\n", " \n", " \n", " \n", " \n", " \n", " \n", " \n", " \n", " \n", " \n", " \n", " \n", " \n", " \n", " \n", " \n", " \n", " \n", " \n", " \n", " \n", " \n", " \n", " \n", " \n", " \n", " \n", "\n", " \n", " \n", " \n", " \n", " \n", " \n", " \n", " \n", " \n", " \n", " \n", " \n", " \n", " \n", " \n", " \n", " \n", " \n", " \n", " \n", " \n", " \n", " \n", " \n", " \n", " \n", " \n", " \n", " \n", " \n", " \n", " \n", " \n", " \n", " \n", " \n", " \n", " \n", " \n", " \n", " \n", " \n", " \n", " \n", " \n", " \n", " \n", " \n", " \n", " \n", " \n", " \n", " \n", " \n", " \n", " \n", " \n", " \n", " \n", " \n", " \n", " \n", " \n", " \n", " \n", " \n", " \n", " \n", " \n", " \n", " \n", " \n", " \n", " \n", " \n", " \n", " \n", " \n", " \n", " \n", " \n", " \n", " \n", " \n", " \n", " \n", " \n", " \n", " \n", " \n", " \n", " \n", " \n", " \n", " \n", " \n", " \n", " \n", " \n", " \n", " \n", " \n", " \n", " \n", " \n", " \n", " \n", " \n", "
\n", "
words
\n", "
1 (object)
\n", " \n", " 		\n", "
thing
\n", "
2 (object)
\n", " \n", " 		\n", "
num
\n", "
3 (int32)
\n", " \n", " 		\n", "
animals
\n", "
4 (object)
\n", " \n", " 		\n", "
two strings
\n", "
5 (object)
\n", " \n", " 		\n", "
filter
\n", "
6 (object)
\n", " \n", " 		\n", "
num 2
\n", "
7 (string)
\n", " \n", " 		\n", "
col_array
\n", "
8 (object)
\n", " \n", " 		\n", "
col_int
\n", "
9 (object)
\n", " \n", " 		\n", "
new_col_1
\n", "
10 (int64)
\n", " \n", " 		\n", "
NEW COLUMN
\n", "
11 (object)
\n", " \n", "
\n", "
\n", " \n", " \n", " ⋅⋅I⋅like⋅⋅⋅⋅⋅fish⋅⋅\n", " \n", "
\n", " 		\n", "
\n", " \n", " \n", " housé\n", " \n", "
\n", " 		\n", "
\n", " \n", " \n", " 1\n", " \n", "
\n", " 		\n", "
\n", " \n", " \n", " dog\n", " \n", "
\n", " 		\n", "
\n", " \n", " \n", " cat-car\n", " \n", "
\n", " 		\n", "
\n", " \n", " \n", " a\n", " \n", "
\n", " 		\n", "
\n", " \n", " \n", " 1\n", " \n", "
\n", " 		\n", "
\n", " \n", " \n", " ['baby',⋅'sorry']\n", " \n", "
\n", " 		\n", "
\n", " \n", " \n", " [1,⋅2,⋅3]\n", " \n", "
\n", " 		\n", "
\n", " \n", " \n", " 1\n", " \n", "
\n", " 		\n", "
\n", " \n", " \n", " q\n", " \n", "
\n", "
\n", "
\n", " \n", " \n", " ⋅⋅⋅⋅zombies\n", " \n", "
\n", " 		\n", "
\n", " \n", " \n", " tv\n", " \n", "
\n", " 		\n", "
\n", " \n", " \n", " 2\n", " \n", "
\n", " 		\n", "
\n", " \n", " \n", " cat\n", " \n", "
\n", " 		\n", "
\n", " \n", " \n", " dog-tv\n", " \n", "
\n", " 		\n", "
\n", " \n", " \n", " b\n", " \n", "
\n", " 		\n", "
\n", " \n", " \n", " 2\n", " \n", "
\n", " 		\n", "
\n", " \n", " \n", " ['baby⋅1',⋅'sorry⋅1']\n", " \n", "
\n", " 		\n", "
\n", " \n", " \n", " [3,⋅4]\n", " \n", "
\n", " 		\n", "
\n", " \n", " \n", " 1\n", " \n", "
\n", " 		\n", "
\n", " \n", " \n", " w\n", " \n", "
\n", "
\n", "
\n", " \n", " \n", " simpsons⋅⋅⋅cat⋅lady\n", " \n", "
\n", " 		\n", "
\n", " \n", " \n", " table\n", " \n", "
\n", " 		\n", "
\n", " \n", " \n", " 2\n", " \n", "
\n", " 		\n", "
\n", " \n", " \n", " frog\n", " \n", "
\n", " 		\n", "
\n", " \n", " \n", " eagle-tv-plus\n", " \n", "
\n", " 		\n", "
\n", " \n", " \n", " 1\n", " \n", "
\n", " 		\n", "
\n", " \n", " \n", " 3\n", " \n", "
\n", " 		\n", "
\n", " \n", " \n", " ['baby⋅2',⋅'sorry⋅2']\n", " \n", "
\n", " 		\n", "
\n", " \n", " \n", " [5,⋅6,⋅7]\n", " \n", "
\n", " 		\n", "
\n", " \n", " \n", " 1\n", " \n", "
\n", " 		\n", "
\n", " \n", " \n", " e\n", " \n", "
\n", "
\n", "
\n", " \n", " \n", " None\n", " \n", "
\n", " 		\n", "
\n", " \n", " \n", " glass\n", " \n", "
\n", " 		\n", "
\n", " \n", " \n", " 3\n", " \n", "
\n", " 		\n", "
\n", " \n", " \n", " eagle\n", " \n", "
\n", " 		\n", "
\n", " \n", " \n", " lion-pc\n", " \n", "
\n", " 		\n", "
\n", " \n", " \n", " c\n", " \n", "
\n", " 		\n", "
\n", " \n", " \n", " 4\n", " \n", "
\n", " 		\n", "
\n", " \n", " \n", " ['baby⋅3',⋅'sorry⋅3']\n", " \n", "
\n", " 		\n", "
\n", " \n", " \n", " [7,⋅8]\n", " \n", "
\n", " 		\n", "
\n", " \n", " \n", " 1\n", " \n", "
\n", " 		\n", "
\n", " \n", " \n", " r\n", " \n", "
\n", "
\n", "
\n", "\n", "\n", "
Viewing 4 of 4 rows / 11 columns
\n", "
1 partition(s) <class 'optimus.engines.pandas.dataframe.PandasDataFrame'>
\n", "\n" ] }, "metadata": {} } ], "metadata": {} }, { "cell_type": "markdown", "source": [ "## Sorting Columns" ], "metadata": {} }, { "cell_type": "markdown", "source": [ "### Sort in Alphabetical order" ], "metadata": {} }, { "cell_type": "code", "execution_count": 20, "source": [ "df.cols.sort().display()" ], "outputs": [ { "output_type": "display_data", "data": { "text/plain": [ "" ], "text/html": [ "\n", "\n", "\n", "\n", "\n", "
Viewing 4 of 4 rows / 11 columns
\n", "
1 partition(s)
\n", "\n", "\n", "\n", " \n", " \n", " \n", " \n", " \n", " \n", " \n", " \n", " \n", " \n", " \n", " \n", " \n", " \n", " \n", " \n", " \n", " \n", " \n", " \n", " \n", " \n", " \n", " \n", " \n", " \n", " \n", "\n", " \n", " \n", " \n", " \n", " \n", " \n", " \n", " \n", " \n", " \n", " \n", " \n", " \n", " \n", " \n", " \n", " \n", " \n", " \n", " \n", " \n", " \n", " \n", " \n", " \n", " \n", " \n", " \n", " \n", " \n", " \n", " \n", " \n", " \n", " \n", " \n", " \n", " \n", " \n", " \n", " \n", " \n", " \n", " \n", " \n", " \n", " \n", " \n", " \n", " \n", " \n", " \n", " \n", " \n", " \n", " \n", " \n", " \n", " \n", " \n", " \n", " \n", " \n", " \n", " \n", " \n", " \n", " \n", " \n", " \n", " \n", " \n", " \n", " \n", " \n", " \n", " \n", " \n", " \n", " \n", " \n", " \n", " \n", " \n", " \n", " \n", " \n", " \n", " \n", " \n", " \n", " \n", " \n", " \n", " \n", " \n", " \n", " \n", " \n", " \n", " \n", " \n", " \n", " \n", " \n", " \n", " \n", " \n", "
\n", "
animals
\n", "
1 (object)
\n", " \n", " 		\n", "
col_array
\n", "
2 (object)
\n", " \n", " 		\n", "
col_int
\n", "
3 (object)
\n", " \n", " 		\n", "
filter
\n", "
4 (object)
\n", " \n", " 		\n", "
NEW COLUMN
\n", "
5 (object)
\n", " \n", " 		\n", "
new_col_1
\n", "
6 (int64)
\n", " \n", " 		\n", "
num
\n", "
7 (int32)
\n", " \n", " 		\n", "
num 2
\n", "
8 (string)
\n", " \n", " 		\n", "
thing
\n", "
9 (object)
\n", " \n", " 		\n", "
two strings
\n", "
10 (object)
\n", " \n", " 		\n", "
words
\n", "
11 (object)
\n", " \n", "
\n", "
\n", " \n", " \n", " dog\n", " \n", "
\n", " 		\n", "
\n", " \n", " \n", " ['baby',⋅'sorry']\n", " \n", "
\n", " 		\n", "
\n", " \n", " \n", " [1,⋅2,⋅3]\n", " \n", "
\n", " 		\n", "
\n", " \n", " \n", " a\n", " \n", "
\n", " 		\n", "
\n", " \n", " \n", " q\n", " \n", "
\n", " 		\n", "
\n", " \n", " \n", " 1\n", " \n", "
\n", " 		\n", "
\n", " \n", " \n", " 1\n", " \n", "
\n", " 		\n", "
\n", " \n", " \n", " 1\n", " \n", "
\n", " 		\n", "
\n", " \n", " \n", " housé\n", " \n", "
\n", " 		\n", "
\n", " \n", " \n", " cat-car\n", " \n", "
\n", " 		\n", "
\n", " \n", " \n", " ⋅⋅I⋅like⋅⋅⋅⋅⋅fish⋅⋅\n", " \n", "
\n", "
\n", "
\n", " \n", " \n", " cat\n", " \n", "
\n", " 		\n", "
\n", " \n", " \n", " ['baby⋅1',⋅'sorry⋅1']\n", " \n", "
\n", " 		\n", "
\n", " \n", " \n", " [3,⋅4]\n", " \n", "
\n", " 		\n", "
\n", " \n", " \n", " b\n", " \n", "
\n", " 		\n", "
\n", " \n", " \n", " w\n", " \n", "
\n", " 		\n", "
\n", " \n", " \n", " 1\n", " \n", "
\n", " 		\n", "
\n", " \n", " \n", " 2\n", " \n", "
\n", " 		\n", "
\n", " \n", " \n", " 2\n", " \n", "
\n", " 		\n", "
\n", " \n", " \n", " tv\n", " \n", "
\n", " 		\n", "
\n", " \n", " \n", " dog-tv\n", " \n", "
\n", " 		\n", "
\n", " \n", " \n", " ⋅⋅⋅⋅zombies\n", " \n", "
\n", "
\n", "
\n", " \n", " \n", " frog\n", " \n", "
\n", " 		\n", "
\n", " \n", " \n", " ['baby⋅2',⋅'sorry⋅2']\n", " \n", "
\n", " 		\n", "
\n", " \n", " \n", " [5,⋅6,⋅7]\n", " \n", "
\n", " 		\n", "
\n", " \n", " \n", " 1\n", " \n", "
\n", " 		\n", "
\n", " \n", " \n", " e\n", " \n", "
\n", " 		\n", "
\n", " \n", " \n", " 1\n", " \n", "
\n", " 		\n", "
\n", " \n", " \n", " 2\n", " \n", "
\n", " 		\n", "
\n", " \n", " \n", " 3\n", " \n", "
\n", " 		\n", "
\n", " \n", " \n", " table\n", " \n", "
\n", " 		\n", "
\n", " \n", " \n", " eagle-tv-plus\n", " \n", "
\n", " 		\n", "
\n", " \n", " \n", " simpsons⋅⋅⋅cat⋅lady\n", " \n", "
\n", "
\n", "
\n", " \n", " \n", " eagle\n", " \n", "
\n", " 		\n", "
\n", " \n", " \n", " ['baby⋅3',⋅'sorry⋅3']\n", " \n", "
\n", " 		\n", "
\n", " \n", " \n", " [7,⋅8]\n", " \n", "
\n", " 		\n", "
\n", " \n", " \n", " c\n", " \n", "
\n", " 		\n", "
\n", " \n", " \n", " r\n", " \n", "
\n", " 		\n", "
\n", " \n", " \n", " 1\n", " \n", "
\n", " 		\n", "
\n", " \n", " \n", " 3\n", " \n", "
\n", " 		\n", "
\n", " \n", " \n", " 4\n", " \n", "
\n", " 		\n", "
\n", " \n", " \n", " glass\n", " \n", "
\n", " 		\n", "
\n", " \n", " \n", " lion-pc\n", " \n", "
\n", " 		\n", "
\n", " \n", " \n", " None\n", " \n", "
\n", "
\n", "
\n", "\n", "\n", "
Viewing 4 of 4 rows / 11 columns
\n", "
1 partition(s) <class 'optimus.engines.pandas.dataframe.PandasDataFrame'>
\n", "\n" ] }, "metadata": {} } ], "metadata": {} }, { "cell_type": "markdown", "source": [ "### Sort in Reverse Alphabetical order" ], "metadata": {} }, { "cell_type": "code", "execution_count": 21, "source": [ "df.cols.sort(order=\"desc\").display()" ], "outputs": [ { "output_type": "display_data", "data": { "text/plain": [ "" ], "text/html": [ "\n", "\n", "\n", "\n", "\n", "
Viewing 4 of 4 rows / 11 columns
\n", "
1 partition(s)
\n", "\n", "\n", "\n", " \n", " \n", " \n", " \n", " \n", " \n", " \n", " \n", " \n", " \n", " \n", " \n", " \n", " \n", " \n", " \n", " \n", " \n", " \n", " \n", " \n", " \n", " \n", " \n", " \n", " \n", " \n", "\n", " \n", " \n", " \n", " \n", " \n", " \n", " \n", " \n", " \n", " \n", " \n", " \n", " \n", " \n", " \n", " \n", " \n", " \n", " \n", " \n", " \n", " \n", " \n", " \n", " \n", " \n", " \n", " \n", " \n", " \n", " \n", " \n", " \n", " \n", " \n", " \n", " \n", " \n", " \n", " \n", " \n", " \n", " \n", " \n", " \n", " \n", " \n", " \n", " \n", " \n", " \n", " \n", " \n", " \n", " \n", " \n", " \n", " \n", " \n", " \n", " \n", " \n", " \n", " \n", " \n", " \n", " \n", " \n", " \n", " \n", " \n", " \n", " \n", " \n", " \n", " \n", " \n", " \n", " \n", " \n", " \n", " \n", " \n", " \n", " \n", " \n", " \n", " \n", " \n", " \n", " \n", " \n", " \n", " \n", " \n", " \n", " \n", " \n", " \n", " \n", " \n", " \n", " \n", " \n", " \n", " \n", " \n", " \n", "
\n", "
words
\n", "
1 (object)
\n", " \n", " 		\n", "
two strings
\n", "
2 (object)
\n", " \n", " 		\n", "
thing
\n", "
3 (object)
\n", " \n", " 		\n", "
num 2
\n", "
4 (string)
\n", " \n", " 		\n", "
num
\n", "
5 (int32)
\n", " \n", " 		\n", "
new_col_1
\n", "
6 (int64)
\n", " \n", " 		\n", "
NEW COLUMN
\n", "
7 (object)
\n", " \n", " 		\n", "
filter
\n", "
8 (object)
\n", " \n", " 		\n", "
col_int
\n", "
9 (object)
\n", " \n", " 		\n", "
col_array
\n", "
10 (object)
\n", " \n", " 		\n", "
animals
\n", "
11 (object)
\n", " \n", "
\n", "
\n", " \n", " \n", " ⋅⋅I⋅like⋅⋅⋅⋅⋅fish⋅⋅\n", " \n", "
\n", " 		\n", "
\n", " \n", " \n", " cat-car\n", " \n", "
\n", " 		\n", "
\n", " \n", " \n", " housé\n", " \n", "
\n", " 		\n", "
\n", " \n", " \n", " 1\n", " \n", "
\n", " 		\n", "
\n", " \n", " \n", " 1\n", " \n", "
\n", " 		\n", "
\n", " \n", " \n", " 1\n", " \n", "
\n", " 		\n", "
\n", " \n", " \n", " q\n", " \n", "
\n", " 		\n", "
\n", " \n", " \n", " a\n", " \n", "
\n", " 		\n", "
\n", " \n", " \n", " [1,⋅2,⋅3]\n", " \n", "
\n", " 		\n", "
\n", " \n", " \n", " ['baby',⋅'sorry']\n", " \n", "
\n", " 		\n", "
\n", " \n", " \n", " dog\n", " \n", "
\n", "
\n", "
\n", " \n", " \n", " ⋅⋅⋅⋅zombies\n", " \n", "
\n", " 		\n", "
\n", " \n", " \n", " dog-tv\n", " \n", "
\n", " 		\n", "
\n", " \n", " \n", " tv\n", " \n", "
\n", " 		\n", "
\n", " \n", " \n", " 2\n", " \n", "
\n", " 		\n", "
\n", " \n", " \n", " 2\n", " \n", "
\n", " 		\n", "
\n", " \n", " \n", " 1\n", " \n", "
\n", " 		\n", "
\n", " \n", " \n", " w\n", " \n", "
\n", " 		\n", "
\n", " \n", " \n", " b\n", " \n", "
\n", " 		\n", "
\n", " \n", " \n", " [3,⋅4]\n", " \n", "
\n", " 		\n", "
\n", " \n", " \n", " ['baby⋅1',⋅'sorry⋅1']\n", " \n", "
\n", " 		\n", "
\n", " \n", " \n", " cat\n", " \n", "
\n", "
\n", "
\n", " \n", " \n", " simpsons⋅⋅⋅cat⋅lady\n", " \n", "
\n", " 		\n", "
\n", " \n", " \n", " eagle-tv-plus\n", " \n", "
\n", " 		\n", "
\n", " \n", " \n", " table\n", " \n", "
\n", " 		\n", "
\n", " \n", " \n", " 3\n", " \n", "
\n", " 		\n", "
\n", " \n", " \n", " 2\n", " \n", "
\n", " 		\n", "
\n", " \n", " \n", " 1\n", " \n", "
\n", " 		\n", "
\n", " \n", " \n", " e\n", " \n", "
\n", " 		\n", "
\n", " \n", " \n", " 1\n", " \n", "
\n", " 		\n", "
\n", " \n", " \n", " [5,⋅6,⋅7]\n", " \n", "
\n", " 		\n", "
\n", " \n", " \n", " ['baby⋅2',⋅'sorry⋅2']\n", " \n", "
\n", " 		\n", "
\n", " \n", " \n", " frog\n", " \n", "
\n", "
\n", "
\n", " \n", " \n", " None\n", " \n", "
\n", " 		\n", "
\n", " \n", " \n", " lion-pc\n", " \n", "
\n", " 		\n", "
\n", " \n", " \n", " glass\n", " \n", "
\n", " 		\n", "
\n", " \n", " \n", " 4\n", " \n", "
\n", " 		\n", "
\n", " \n", " \n", " 3\n", " \n", "
\n", " 		\n", "
\n", " \n", " \n", " 1\n", " \n", "
\n", " 		\n", "
\n", " \n", " \n", " r\n", " \n", "
\n", " 		\n", "
\n", " \n", " \n", " c\n", " \n", "
\n", " 		\n", "
\n", " \n", " \n", " [7,⋅8]\n", " \n", "
\n", " 		\n", "
\n", " \n", " \n", " ['baby⋅3',⋅'sorry⋅3']\n", " \n", "
\n", " 		\n", "
\n", " \n", " \n", " eagle\n", " \n", "
\n", "
\n", "
\n", "\n", "\n", "
Viewing 4 of 4 rows / 11 columns
\n", "
1 partition(s) <class 'optimus.engines.pandas.dataframe.PandasDataFrame'>
\n", "\n" ] }, "metadata": {} } ], "metadata": {} }, { "cell_type": "markdown", "source": [ "## Drop columns" ], "metadata": {} }, { "cell_type": "markdown", "source": [ "### Drop one column" ], "metadata": {} }, { "cell_type": "code", "execution_count": 22, "source": [ "df.cols.drop(\"num\").display()" ], "outputs": [ { "output_type": "display_data", "data": { "text/plain": [ "" ], "text/html": [ "\n", "\n", "\n", "\n", "\n", "
Viewing 4 of 4 rows / 10 columns
\n", "
1 partition(s)
\n", "\n", "\n", "\n", " \n", " \n", " \n", " \n", " \n", " \n", " \n", " \n", " \n", " \n", " \n", " \n", " \n", " \n", " \n", " \n", " \n", " \n", " \n", " \n", " \n", " \n", " \n", " \n", " \n", "\n", " \n", " \n", " \n", " \n", " \n", " \n", " \n", " \n", " \n", " \n", " \n", " \n", " \n", " \n", " \n", " \n", " \n", " \n", " \n", " \n", " \n", " \n", " \n", " \n", " \n", " \n", " \n", " \n", " \n", " \n", " \n", " \n", " \n", " \n", " \n", " \n", " \n", " \n", " \n", " \n", " \n", " \n", " \n", " \n", " \n", " \n", " \n", " \n", " \n", " \n", " \n", " \n", " \n", " \n", " \n", " \n", " \n", " \n", " \n", " \n", " \n", " \n", " \n", " \n", " \n", " \n", " \n", " \n", " \n", " \n", " \n", " \n", " \n", " \n", " \n", " \n", " \n", " \n", " \n", " \n", " \n", " \n", " \n", " \n", " \n", " \n", " \n", " \n", " \n", " \n", " \n", " \n", " \n", " \n", " \n", " \n", " \n", " \n", " \n", " \n", "
\n", "
words
\n", "
1 (object)
\n", " \n", " 		\n", "
animals
\n", "
2 (object)
\n", " \n", " 		\n", "
thing
\n", "
3 (object)
\n", " \n", " 		\n", "
two strings
\n", "
4 (object)
\n", " \n", " 		\n", "
filter
\n", "
5 (object)
\n", " \n", " 		\n", "
num 2
\n", "
6 (string)
\n", " \n", " 		\n", "
col_array
\n", "
7 (object)
\n", " \n", " 		\n", "
col_int
\n", "
8 (object)
\n", " \n", " 		\n", "
new_col_1
\n", "
9 (int64)
\n", " \n", " 		\n", "
NEW COLUMN
\n", "
10 (object)
\n", " \n", "
\n", "
\n", " \n", " \n", " ⋅⋅I⋅like⋅⋅⋅⋅⋅fish⋅⋅\n", " \n", "
\n", " 		\n", "
\n", " \n", " \n", " dog\n", " \n", "
\n", " 		\n", "
\n", " \n", " \n", " housé\n", " \n", "
\n", " 		\n", "
\n", " \n", " \n", " cat-car\n", " \n", "
\n", " 		\n", "
\n", " \n", " \n", " a\n", " \n", "
\n", " 		\n", "
\n", " \n", " \n", " 1\n", " \n", "
\n", " 		\n", "
\n", " \n", " \n", " ['baby',⋅'sorry']\n", " \n", "
\n", " 		\n", "
\n", " \n", " \n", " [1,⋅2,⋅3]\n", " \n", "
\n", " 		\n", "
\n", " \n", " \n", " 1\n", " \n", "
\n", " 		\n", "
\n", " \n", " \n", " q\n", " \n", "
\n", "
\n", "
\n", " \n", " \n", " ⋅⋅⋅⋅zombies\n", " \n", "
\n", " 		\n", "
\n", " \n", " \n", " cat\n", " \n", "
\n", " 		\n", "
\n", " \n", " \n", " tv\n", " \n", "
\n", " 		\n", "
\n", " \n", " \n", " dog-tv\n", " \n", "
\n", " 		\n", "
\n", " \n", " \n", " b\n", " \n", "
\n", " 		\n", "
\n", " \n", " \n", " 2\n", " \n", "
\n", " 		\n", "
\n", " \n", " \n", " ['baby⋅1',⋅'sorry⋅1']\n", " \n", "
\n", " 		\n", "
\n", " \n", " \n", " [3,⋅4]\n", " \n", "
\n", " 		\n", "
\n", " \n", " \n", " 1\n", " \n", "
\n", " 		\n", "
\n", " \n", " \n", " w\n", " \n", "
\n", "
\n", "
\n", " \n", " \n", " simpsons⋅⋅⋅cat⋅lady\n", " \n", "
\n", " 		\n", "
\n", " \n", " \n", " frog\n", " \n", "
\n", " 		\n", "
\n", " \n", " \n", " table\n", " \n", "
\n", " 		\n", "
\n", " \n", " \n", " eagle-tv-plus\n", " \n", "
\n", " 		\n", "
\n", " \n", " \n", " 1\n", " \n", "
\n", " 		\n", "
\n", " \n", " \n", " 3\n", " \n", "
\n", " 		\n", "
\n", " \n", " \n", " ['baby⋅2',⋅'sorry⋅2']\n", " \n", "
\n", " 		\n", "
\n", " \n", " \n", " [5,⋅6,⋅7]\n", " \n", "
\n", " 		\n", "
\n", " \n", " \n", " 1\n", " \n", "
\n", " 		\n", "
\n", " \n", " \n", " e\n", " \n", "
\n", "
\n", "
\n", " \n", " \n", " None\n", " \n", "
\n", " 		\n", "
\n", " \n", " \n", " eagle\n", " \n", "
\n", " 		\n", "
\n", " \n", " \n", " glass\n", " \n", "
\n", " 		\n", "
\n", " \n", " \n", " lion-pc\n", " \n", "
\n", " 		\n", "
\n", " \n", " \n", " c\n", " \n", "
\n", " 		\n", "
\n", " \n", " \n", " 4\n", " \n", "
\n", " 		\n", "
\n", " \n", " \n", " ['baby⋅3',⋅'sorry⋅3']\n", " \n", "
\n", " 		\n", "
\n", " \n", " \n", " [7,⋅8]\n", " \n", "
\n", " 		\n", "
\n", " \n", " \n", " 1\n", " \n", "
\n", " 		\n", "
\n", " \n", " \n", " r\n", " \n", "
\n", "
\n", "
\n", "\n", "\n", "
Viewing 4 of 4 rows / 10 columns
\n", "
1 partition(s) <class 'optimus.engines.pandas.dataframe.PandasDataFrame'>
\n", "\n" ] }, "metadata": {} } ], "metadata": {} }, { "cell_type": "markdown", "source": [ "### Drop multiple columns" ], "metadata": {} }, { "cell_type": "code", "execution_count": 23, "source": [ "df.cols.drop([\"num\", \"words\"]).display()" ], "outputs": [ { "output_type": "display_data", "data": { "text/plain": [ "" ], "text/html": [ "\n", "\n", "\n", "\n", "\n", "
Viewing 4 of 4 rows / 9 columns
\n", "
1 partition(s)
\n", "\n", "\n", "\n", " \n", " \n", " \n", " \n", " \n", " \n", " \n", " \n", " \n", " \n", " \n", " \n", " \n", " \n", " \n", " \n", " \n", " \n", " \n", " \n", " \n", " \n", " \n", "\n", " \n", " \n", " \n", " \n", " \n", " \n", " \n", " \n", " \n", " \n", " \n", " \n", " \n", " \n", " \n", " \n", " \n", " \n", " \n", " \n", " \n", " \n", " \n", " \n", " \n", " \n", " \n", " \n", " \n", " \n", " \n", " \n", " \n", " \n", " \n", " \n", " \n", " \n", " \n", " \n", " \n", " \n", " \n", " \n", " \n", " \n", " \n", " \n", " \n", " \n", " \n", " \n", " \n", " \n", " \n", " \n", " \n", " \n", " \n", " \n", " \n", " \n", " \n", " \n", " \n", " \n", " \n", " \n", " \n", " \n", " \n", " \n", " \n", " \n", " \n", " \n", " \n", " \n", " \n", " \n", " \n", " \n", " \n", " \n", " \n", " \n", " \n", " \n", " \n", " \n", " \n", " \n", "
\n", "
animals
\n", "
1 (object)
\n", " \n", " 		\n", "
thing
\n", "
2 (object)
\n", " \n", " 		\n", "
two strings
\n", "
3 (object)
\n", " \n", " 		\n", "
filter
\n", "
4 (object)
\n", " \n", " 		\n", "
num 2
\n", "
5 (string)
\n", " \n", " 		\n", "
col_array
\n", "
6 (object)
\n", " \n", " 		\n", "
col_int
\n", "
7 (object)
\n", " \n", " 		\n", "
new_col_1
\n", "
8 (int64)
\n", " \n", " 		\n", "
NEW COLUMN
\n", "
9 (object)
\n", " \n", "
\n", "
\n", " \n", " \n", " dog\n", " \n", "
\n", " 		\n", "
\n", " \n", " \n", " housé\n", " \n", "
\n", " 		\n", "
\n", " \n", " \n", " cat-car\n", " \n", "
\n", " 		\n", "
\n", " \n", " \n", " a\n", " \n", "
\n", " 		\n", "
\n", " \n", " \n", " 1\n", " \n", "
\n", " 		\n", "
\n", " \n", " \n", " ['baby',⋅'sorry']\n", " \n", "
\n", " 		\n", "
\n", " \n", " \n", " [1,⋅2,⋅3]\n", " \n", "
\n", " 		\n", "
\n", " \n", " \n", " 1\n", " \n", "
\n", " 		\n", "
\n", " \n", " \n", " q\n", " \n", "
\n", "
\n", "
\n", " \n", " \n", " cat\n", " \n", "
\n", " 		\n", "
\n", " \n", " \n", " tv\n", " \n", "
\n", " 		\n", "
\n", " \n", " \n", " dog-tv\n", " \n", "
\n", " 		\n", "
\n", " \n", " \n", " b\n", " \n", "
\n", " 		\n", "
\n", " \n", " \n", " 2\n", " \n", "
\n", " 		\n", "
\n", " \n", " \n", " ['baby⋅1',⋅'sorry⋅1']\n", " \n", "
\n", " 		\n", "
\n", " \n", " \n", " [3,⋅4]\n", " \n", "
\n", " 		\n", "
\n", " \n", " \n", " 1\n", " \n", "
\n", " 		\n", "
\n", " \n", " \n", " w\n", " \n", "
\n", "
\n", "
\n", " \n", " \n", " frog\n", " \n", "
\n", " 		\n", "
\n", " \n", " \n", " table\n", " \n", "
\n", " 		\n", "
\n", " \n", " \n", " eagle-tv-plus\n", " \n", "
\n", " 		\n", "
\n", " \n", " \n", " 1\n", " \n", "
\n", " 		\n", "
\n", " \n", " \n", " 3\n", " \n", "
\n", " 		\n", "
\n", " \n", " \n", " ['baby⋅2',⋅'sorry⋅2']\n", " \n", "
\n", " 		\n", "
\n", " \n", " \n", " [5,⋅6,⋅7]\n", " \n", "
\n", " 		\n", "
\n", " \n", " \n", " 1\n", " \n", "
\n", " 		\n", "
\n", " \n", " \n", " e\n", " \n", "
\n", "
\n", "
\n", " \n", " \n", " eagle\n", " \n", "
\n", " 		\n", "
\n", " \n", " \n", " glass\n", " \n", "
\n", " 		\n", "
\n", " \n", " \n", " lion-pc\n", " \n", "
\n", " 		\n", "
\n", " \n", " \n", " c\n", " \n", "
\n", " 		\n", "
\n", " \n", " \n", " 4\n", " \n", "
\n", " 		\n", "
\n", " \n", " \n", " ['baby⋅3',⋅'sorry⋅3']\n", " \n", "
\n", " 		\n", "
\n", " \n", " \n", " [7,⋅8]\n", " \n", "
\n", " 		\n", "
\n", " \n", " \n", " 1\n", " \n", "
\n", " 		\n", "
\n", " \n", " \n", " r\n", " \n", "
\n", "
\n", "
\n", "\n", "\n", "
Viewing 4 of 4 rows / 9 columns
\n", "
1 partition(s) <class 'optimus.engines.pandas.dataframe.PandasDataFrame'>
\n", "\n" ] }, "metadata": {} } ], "metadata": {} }, { "cell_type": "markdown", "source": [ "## Chaining\n", "\n", "cols and rows accessors are used to organize and encapsulate `optimus` methods, it can be helpfull when you look at the code because every line is self explained.\n", "\n", "The past transformations were done step by step, but this can be achieved by chaining all operations into one line of code, like the cell below. This way is much more efficient and scalable because it uses all optimization issues from the lazy evaluation approach." ], "metadata": {} }, { "cell_type": "code", "execution_count": 24, "source": [ "df.display()\r\n", "df \\\r\n", " .cols.rename([('num', 'number')]) \\\r\n", " .cols.drop([\"number\", \"words\"]) \\\r\n", " .cols.append({\"col_10\": 10}) \\\r\n", " .cols.sort(order=\"desc\") \\\r\n", " .cols.upper(\"two strings\") \\\r\n", " .display()" ], "outputs": [ { "output_type": "display_data", "data": { "text/plain": [ "" ], "text/html": [ "\n", "\n", "\n", "\n", "\n", "
Viewing 4 of 4 rows / 11 columns
\n", "
1 partition(s)
\n", "\n", "\n", "\n", " \n", " \n", " \n", " \n", " \n", " \n", " \n", " \n", " \n", " \n", " \n", " \n", " \n", " \n", " \n", " \n", " \n", " \n", " \n", " \n", " \n", " \n", " \n", " \n", " \n", " \n", " \n", "\n", " \n", " \n", " \n", " \n", " \n", " \n", " \n", " \n", " \n", " \n", " \n", " \n", " \n", " \n", " \n", " \n", " \n", " \n", " \n", " \n", " \n", " \n", " \n", " \n", " \n", " \n", " \n", " \n", " \n", " \n", " \n", " \n", " \n", " \n", " \n", " \n", " \n", " \n", " \n", " \n", " \n", " \n", " \n", " \n", " \n", " \n", " \n", " \n", " \n", " \n", " \n", " \n", " \n", " \n", " \n", " \n", " \n", " \n", " \n", " \n", " \n", " \n", " \n", " \n", " \n", " \n", " \n", " \n", " \n", " \n", " \n", " \n", " \n", " \n", " \n", " \n", " \n", " \n", " \n", " \n", " \n", " \n", " \n", " \n", " \n", " \n", " \n", " \n", " \n", " \n", " \n", " \n", " \n", " \n", " \n", " \n", " \n", " \n", " \n", " \n", " \n", " \n", " \n", " \n", " \n", " \n", " \n", " \n", "
\n", "
words
\n", "
1 (object)
\n", " \n", " 		\n", "
num
\n", "
2 (int32)
\n", " \n", " 		\n", "
animals
\n", "
3 (object)
\n", " \n", " 		\n", "
thing
\n", "
4 (object)
\n", " \n", " 		\n", "
two strings
\n", "
5 (object)
\n", " \n", " 		\n", "
filter
\n", "
6 (object)
\n", " \n", " 		\n", "
num 2
\n", "
7 (string)
\n", " \n", " 		\n", "
col_array
\n", "
8 (object)
\n", " \n", " 		\n", "
col_int
\n", "
9 (object)
\n", " \n", " 		\n", "
new_col_1
\n", "
10 (int64)
\n", " \n", " 		\n", "
NEW COLUMN
\n", "
11 (object)
\n", " \n", "
\n", "
\n", " \n", " \n", " ⋅⋅I⋅like⋅⋅⋅⋅⋅fish⋅⋅\n", " \n", "
\n", " 		\n", "
\n", " \n", " \n", " 1\n", " \n", "
\n", " 		\n", "
\n", " \n", " \n", " dog\n", " \n", "
\n", " 		\n", "
\n", " \n", " \n", " housé\n", " \n", "
\n", " 		\n", "
\n", " \n", " \n", " cat-car\n", " \n", "
\n", " 		\n", "
\n", " \n", " \n", " a\n", " \n", "
\n", " 		\n", "
\n", " \n", " \n", " 1\n", " \n", "
\n", " 		\n", "
\n", " \n", " \n", " ['baby',⋅'sorry']\n", " \n", "
\n", " 		\n", "
\n", " \n", " \n", " [1,⋅2,⋅3]\n", " \n", "
\n", " 		\n", "
\n", " \n", " \n", " 1\n", " \n", "
\n", " 		\n", "
\n", " \n", " \n", " q\n", " \n", "
\n", "
\n", "
\n", " \n", " \n", " ⋅⋅⋅⋅zombies\n", " \n", "
\n", " 		\n", "
\n", " \n", " \n", " 2\n", " \n", "
\n", " 		\n", "
\n", " \n", " \n", " cat\n", " \n", "
\n", " 		\n", "
\n", " \n", " \n", " tv\n", " \n", "
\n", " 		\n", "
\n", " \n", " \n", " dog-tv\n", " \n", "
\n", " 		\n", "
\n", " \n", " \n", " b\n", " \n", "
\n", " 		\n", "
\n", " \n", " \n", " 2\n", " \n", "
\n", " 		\n", "
\n", " \n", " \n", " ['baby⋅1',⋅'sorry⋅1']\n", " \n", "
\n", " 		\n", "
\n", " \n", " \n", " [3,⋅4]\n", " \n", "
\n", " 		\n", "
\n", " \n", " \n", " 1\n", " \n", "
\n", " 		\n", "
\n", " \n", " \n", " w\n", " \n", "
\n", "
\n", "
\n", " \n", " \n", " simpsons⋅⋅⋅cat⋅lady\n", " \n", "
\n", " 		\n", "
\n", " \n", " \n", " 2\n", " \n", "
\n", " 		\n", "
\n", " \n", " \n", " frog\n", " \n", "
\n", " 		\n", "
\n", " \n", " \n", " table\n", " \n", "
\n", " 		\n", "
\n", " \n", " \n", " eagle-tv-plus\n", " \n", "
\n", " 		\n", "
\n", " \n", " \n", " 1\n", " \n", "
\n", " 		\n", "
\n", " \n", " \n", " 3\n", " \n", "
\n", " 		\n", "
\n", " \n", " \n", " ['baby⋅2',⋅'sorry⋅2']\n", " \n", "
\n", " 		\n", "
\n", " \n", " \n", " [5,⋅6,⋅7]\n", " \n", "
\n", " 		\n", "
\n", " \n", " \n", " 1\n", " \n", "
\n", " 		\n", "
\n", " \n", " \n", " e\n", " \n", "
\n", "
\n", "
\n", " \n", " \n", " None\n", " \n", "
\n", " 		\n", "
\n", " \n", " \n", " 3\n", " \n", "
\n", " 		\n", "
\n", " \n", " \n", " eagle\n", " \n", "
\n", " 		\n", "
\n", " \n", " \n", " glass\n", " \n", "
\n", " 		\n", "
\n", " \n", " \n", " lion-pc\n", " \n", "
\n", " 		\n", "
\n", " \n", " \n", " c\n", " \n", "
\n", " 		\n", "
\n", " \n", " \n", " 4\n", " \n", "
\n", " 		\n", "
\n", " \n", " \n", " ['baby⋅3',⋅'sorry⋅3']\n", " \n", "
\n", " 		\n", "
\n", " \n", " \n", " [7,⋅8]\n", " \n", "
\n", " 		\n", "
\n", " \n", " \n", " 1\n", " \n", "
\n", " 		\n", "
\n", " \n", " \n", " r\n", " \n", "
\n", "
\n", "
\n", "\n", "\n", "
Viewing 4 of 4 rows / 11 columns
\n", "
1 partition(s) <class 'optimus.engines.pandas.dataframe.PandasDataFrame'>
\n", "\n" ] }, "metadata": {} }, { "output_type": "display_data", "data": { "text/plain": [ "" ], "text/html": [ "\n", "\n", "\n", "\n", "\n", "
Viewing 4 of 4 rows / 10 columns
\n", "
1 partition(s)
\n", "\n", "\n", "\n", " \n", " \n", " \n", " \n", " \n", " \n", " \n", " \n", " \n", " \n", " \n", " \n", " \n", " \n", " \n", " \n", " \n", " \n", " \n", " \n", " \n", " \n", " \n", " \n", " \n", "\n", " \n", " \n", " \n", " \n", " \n", " \n", " \n", " \n", " \n", " \n", " \n", " \n", " \n", " \n", " \n", " \n", " \n", " \n", " \n", " \n", " \n", " \n", " \n", " \n", " \n", " \n", " \n", " \n", " \n", " \n", " \n", " \n", " \n", " \n", " \n", " \n", " \n", " \n", " \n", " \n", " \n", " \n", " \n", " \n", " \n", " \n", " \n", " \n", " \n", " \n", " \n", " \n", " \n", " \n", " \n", " \n", " \n", " \n", " \n", " \n", " \n", " \n", " \n", " \n", " \n", " \n", " \n", " \n", " \n", " \n", " \n", " \n", " \n", " \n", " \n", " \n", " \n", " \n", " \n", " \n", " \n", " \n", " \n", " \n", " \n", " \n", " \n", " \n", " \n", " \n", " \n", " \n", " \n", " \n", " \n", " \n", " \n", " \n", " \n", " \n", "
\n", "
two strings
\n", "
1 (object)
\n", " \n", " 		\n", "
thing
\n", "
2 (object)
\n", " \n", " 		\n", "
num 2
\n", "
3 (string)
\n", " \n", " 		\n", "
new_col_1
\n", "
4 (int64)
\n", " \n", " 		\n", "
NEW COLUMN
\n", "
5 (object)
\n", " \n", " 		\n", "
filter
\n", "
6 (object)
\n", " \n", " 		\n", "
col_int
\n", "
7 (object)
\n", " \n", " 		\n", "
col_array
\n", "
8 (object)
\n", " \n", " 		\n", "
col_10
\n", "
9 (int64)
\n", " \n", " 		\n", "
animals
\n", "
10 (object)
\n", " \n", "
\n", "
\n", " \n", " \n", " CAT-CAR\n", " \n", "
\n", " 		\n", "
\n", " \n", " \n", " housé\n", " \n", "
\n", " 		\n", "
\n", " \n", " \n", " 1\n", " \n", "
\n", " 		\n", "
\n", " \n", " \n", " 1\n", " \n", "
\n", " 		\n", "
\n", " \n", " \n", " q\n", " \n", "
\n", " 		\n", "
\n", " \n", " \n", " a\n", " \n", "
\n", " 		\n", "
\n", " \n", " \n", " [1,⋅2,⋅3]\n", " \n", "
\n", " 		\n", "
\n", " \n", " \n", " ['baby',⋅'sorry']\n", " \n", "
\n", " 		\n", "
\n", " \n", " \n", " 10\n", " \n", "
\n", " 		\n", "
\n", " \n", " \n", " dog\n", " \n", "
\n", "
\n", "
\n", " \n", " \n", " DOG-TV\n", " \n", "
\n", " 		\n", "
\n", " \n", " \n", " tv\n", " \n", "
\n", " 		\n", "
\n", " \n", " \n", " 2\n", " \n", "
\n", " 		\n", "
\n", " \n", " \n", " 1\n", " \n", "
\n", " 		\n", "
\n", " \n", " \n", " w\n", " \n", "
\n", " 		\n", "
\n", " \n", " \n", " b\n", " \n", "
\n", " 		\n", "
\n", " \n", " \n", " [3,⋅4]\n", " \n", "
\n", " 		\n", "
\n", " \n", " \n", " ['baby⋅1',⋅'sorry⋅1']\n", " \n", "
\n", " 		\n", "
\n", " \n", " \n", " 10\n", " \n", "
\n", " 		\n", "
\n", " \n", " \n", " cat\n", " \n", "
\n", "
\n", "
\n", " \n", " \n", " EAGLE-TV-PLUS\n", " \n", "
\n", " 		\n", "
\n", " \n", " \n", " table\n", " \n", "
\n", " 		\n", "
\n", " \n", " \n", " 3\n", " \n", "
\n", " 		\n", "
\n", " \n", " \n", " 1\n", " \n", "
\n", " 		\n", "
\n", " \n", " \n", " e\n", " \n", "
\n", " 		\n", "
\n", " \n", " \n", " 1\n", " \n", "
\n", " 		\n", "
\n", " \n", " \n", " [5,⋅6,⋅7]\n", " \n", "
\n", " 		\n", "
\n", " \n", " \n", " ['baby⋅2',⋅'sorry⋅2']\n", " \n", "
\n", " 		\n", "
\n", " \n", " \n", " 10\n", " \n", "
\n", " 		\n", "
\n", " \n", " \n", " frog\n", " \n", "
\n", "
\n", "
\n", " \n", " \n", " LION-PC\n", " \n", "
\n", " 		\n", "
\n", " \n", " \n", " glass\n", " \n", "
\n", " 		\n", "
\n", " \n", " \n", " 4\n", " \n", "
\n", " 		\n", "
\n", " \n", " \n", " 1\n", " \n", "
\n", " 		\n", "
\n", " \n", " \n", " r\n", " \n", "
\n", " 		\n", "
\n", " \n", " \n", " c\n", " \n", "
\n", " 		\n", "
\n", " \n", " \n", " [7,⋅8]\n", " \n", "
\n", " 		\n", "
\n", " \n", " \n", " ['baby⋅3',⋅'sorry⋅3']\n", " \n", "
\n", " 		\n", "
\n", " \n", " \n", " 10\n", " \n", "
\n", " 		\n", "
\n", " \n", " \n", " eagle\n", " \n", "
\n", "
\n", "
\n", "\n", "\n", "
Viewing 4 of 4 rows / 10 columns
\n", "
1 partition(s) <class 'optimus.engines.pandas.dataframe.PandasDataFrame'>
\n", "\n" ] }, "metadata": {} } ], "metadata": {} }, { "cell_type": "markdown", "source": [ "## Unnest Columns\n", "\n", "With unnest you can convert one column into multiple ones. it can hadle strings and arrays." ], "metadata": {} }, { "cell_type": "code", "execution_count": 25, "source": [ "df.cols.select(\"two strings\").cols.unnest(\"two strings\", \"-\").display()" ], "outputs": [ { "output_type": "display_data", "data": { "text/plain": [ "" ], "text/html": [ "\n", "\n", "\n", "\n", "\n", "
Viewing 4 of 4 rows / 3 columns
\n", "
1 partition(s)
\n", "\n", "\n", "\n", " \n", " \n", " \n", " \n", " \n", " \n", " \n", " \n", " \n", " \n", " \n", "\n", " \n", " \n", " \n", " \n", " \n", " \n", " \n", " \n", " \n", " \n", " \n", " \n", " \n", " \n", " \n", " \n", " \n", " \n", " \n", " \n", " \n", " \n", " \n", " \n", " \n", " \n", " \n", " \n", " \n", " \n", " \n", " \n", " \n", " \n", " \n", " \n", " \n", " \n", " \n", " \n", " \n", " \n", " \n", " \n", "
\n", "
two strings
\n", "
1 (object)
\n", " \n", " 		\n", "
two strings_0
\n", "
2 (object)
\n", " \n", " 		\n", "
two strings_1
\n", "
3 (object)
\n", " \n", "
\n", "
\n", " \n", " \n", " cat-car\n", " \n", "
\n", " 		\n", "
\n", " \n", " \n", " cat\n", " \n", "
\n", " 		\n", "
\n", " \n", " \n", " car\n", " \n", "
\n", "
\n", "
\n", " \n", " \n", " dog-tv\n", " \n", "
\n", " 		\n", "
\n", " \n", " \n", " dog\n", " \n", "
\n", " 		\n", "
\n", " \n", " \n", " tv\n", " \n", "
\n", "
\n", "
\n", " \n", " \n", " eagle-tv-plus\n", " \n", "
\n", " 		\n", "
\n", " \n", " \n", " eagle\n", " \n", "
\n", " 		\n", "
\n", " \n", " \n", " tv-plus\n", " \n", "
\n", "
\n", "
\n", " \n", " \n", " lion-pc\n", " \n", "
\n", " 		\n", "
\n", " \n", " \n", " lion\n", " \n", "
\n", " 		\n", "
\n", " \n", " \n", " pc\n", " \n", "
\n", "
\n", "
\n", "\n", "\n", "
Viewing 4 of 4 rows / 3 columns
\n", "
1 partition(s) <class 'optimus.engines.pandas.dataframe.PandasDataFrame'>
\n", "\n" ] }, "metadata": {} } ], "metadata": {} }, { "cell_type": "markdown", "source": [ "### Only get the first element" ], "metadata": {} }, { "cell_type": "code", "execution_count": 26, "source": [ "df.cols.select(\"two strings\").cols.unnest(\"two strings\", \"-\", index=1).display()" ], "outputs": [ { "output_type": "display_data", "data": { "text/plain": [ "" ], "text/html": [ "\n", "\n", "\n", "\n", "\n", "
Viewing 4 of 4 rows / 2 columns
\n", "
1 partition(s)
\n", "\n", "\n", "\n", " \n", " \n", " \n", " \n", " \n", " \n", " \n", " \n", " \n", "\n", " \n", " \n", " \n", " \n", " \n", " \n", " \n", " \n", " \n", " \n", " \n", " \n", " \n", " \n", " \n", " \n", " \n", " \n", " \n", " \n", " \n", " \n", " \n", " \n", " \n", " \n", " \n", " \n", " \n", " \n", " \n", " \n", " \n", " \n", " \n", " \n", "
\n", "
two strings
\n", "
1 (object)
\n", " \n", " 		\n", "
two strings_1
\n", "
2 (object)
\n", " \n", "
\n", "
\n", " \n", " \n", " cat-car\n", " \n", "
\n", " 		\n", "
\n", " \n", " \n", " car\n", " \n", "
\n", "
\n", "
\n", " \n", " \n", " dog-tv\n", " \n", "
\n", " 		\n", "
\n", " \n", " \n", " tv\n", " \n", "
\n", "
\n", "
\n", " \n", " \n", " eagle-tv-plus\n", " \n", "
\n", " 		\n", "
\n", " \n", " \n", " tv-plus\n", " \n", "
\n", "
\n", "
\n", " \n", " \n", " lion-pc\n", " \n", "
\n", " 		\n", "
\n", " \n", " \n", " pc\n", " \n", "
\n", "
\n", "
\n", "\n", "\n", "
Viewing 4 of 4 rows / 2 columns
\n", "
1 partition(s) <class 'optimus.engines.pandas.dataframe.PandasDataFrame'>
\n", "\n" ] }, "metadata": {} } ], "metadata": {} }, { "cell_type": "markdown", "source": [ "### Unnest array of string" ], "metadata": {} }, { "cell_type": "code", "execution_count": 27, "source": [ "df.cols.select(\"col_array\").cols.unnest(\"col_array\").display()" ], "outputs": [ { "output_type": "display_data", "data": { "text/plain": [ "" ], "text/html": [ "\n", "\n", "\n", "\n", "\n", "
Viewing 4 of 4 rows / 3 columns
\n", "
1 partition(s)
\n", "\n", "\n", "\n", " \n", " \n", " \n", " \n", " \n", " \n", " \n", " \n", " \n", " \n", " \n", "\n", " \n", " \n", " \n", " \n", " \n", " \n", " \n", " \n", " \n", " \n", " \n", " \n", " \n", " \n", " \n", " \n", " \n", " \n", " \n", " \n", " \n", " \n", " \n", " \n", " \n", " \n", " \n", " \n", " \n", " \n", " \n", " \n", " \n", " \n", " \n", " \n", " \n", " \n", " \n", " \n", " \n", " \n", " \n", " \n", "
\n", "
col_array
\n", "
1 (object)
\n", " \n", " 		\n", "
col_array_0
\n", "
2 (object)
\n", " \n", " 		\n", "
col_array_1
\n", "
3 (object)
\n", " \n", "
\n", "
\n", " \n", " \n", " ['baby',⋅'sorry']\n", " \n", "
\n", " 		\n", "
\n", " \n", " \n", " ['baby',\n", " \n", "
\n", " 		\n", "
\n", " \n", " \n", " 'sorry']\n", " \n", "
\n", "
\n", "
\n", " \n", " \n", " ['baby⋅1',⋅'sorry⋅1']\n", " \n", "
\n", " 		\n", "
\n", " \n", " \n", " ['baby\n", " \n", "
\n", " 		\n", "
\n", " \n", " \n", " 1',⋅'sorry⋅1']\n", " \n", "
\n", "
\n", "
\n", " \n", " \n", " ['baby⋅2',⋅'sorry⋅2']\n", " \n", "
\n", " 		\n", "
\n", " \n", " \n", " ['baby\n", " \n", "
\n", " 		\n", "
\n", " \n", " \n", " 2',⋅'sorry⋅2']\n", " \n", "
\n", "
\n", "
\n", " \n", " \n", " ['baby⋅3',⋅'sorry⋅3']\n", " \n", "
\n", " 		\n", "
\n", " \n", " \n", " ['baby\n", " \n", "
\n", " 		\n", "
\n", " \n", " \n", " 3',⋅'sorry⋅3']\n", " \n", "
\n", "
\n", "
\n", "\n", "\n", "
Viewing 4 of 4 rows / 3 columns
\n", "
1 partition(s) <class 'optimus.engines.pandas.dataframe.PandasDataFrame'>
\n", "\n" ] }, "metadata": {} } ], "metadata": {} }, { "cell_type": "markdown", "source": [ "### Unnest and array of ints" ], "metadata": {} }, { "cell_type": "code", "execution_count": 28, "source": [ "df.cols.select(\"col_int\").cols.unnest(\"col_int\").display()" ], "outputs": [ { "output_type": "display_data", "data": { "text/plain": [ "" ], "text/html": [ "\n", "\n", "\n", "\n", "\n", "
Viewing 4 of 4 rows / 3 columns
\n", "
1 partition(s)
\n", "\n", "\n", "\n", " \n", " \n", " \n", " \n", " \n", " \n", " \n", " \n", " \n", " \n", " \n", "\n", " \n", " \n", " \n", " \n", " \n", " \n", " \n", " \n", " \n", " \n", " \n", " \n", " \n", " \n", " \n", " \n", " \n", " \n", " \n", " \n", " \n", " \n", " \n", " \n", " \n", " \n", " \n", " \n", " \n", " \n", " \n", " \n", " \n", " \n", " \n", " \n", " \n", " \n", " \n", " \n", " \n", " \n", " \n", " \n", "
\n", "
col_int
\n", "
1 (object)
\n", " \n", " 		\n", "
col_int_0
\n", "
2 (object)
\n", " \n", " 		\n", "
col_int_1
\n", "
3 (object)
\n", " \n", "
\n", "
\n", " \n", " \n", " [1,⋅2,⋅3]\n", " \n", "
\n", " 		\n", "
\n", " \n", " \n", " [1,\n", " \n", "
\n", " 		\n", "
\n", " \n", " \n", " 2,⋅3]\n", " \n", "
\n", "
\n", "
\n", " \n", " \n", " [3,⋅4]\n", " \n", "
\n", " 		\n", "
\n", " \n", " \n", " [3,\n", " \n", "
\n", " 		\n", "
\n", " \n", " \n", " 4]\n", " \n", "
\n", "
\n", "
\n", " \n", " \n", " [5,⋅6,⋅7]\n", " \n", "
\n", " 		\n", "
\n", " \n", " \n", " [5,\n", " \n", "
\n", " 		\n", "
\n", " \n", " \n", " 6,⋅7]\n", " \n", "
\n", "
\n", "
\n", " \n", " \n", " [7,⋅8]\n", " \n", "
\n", " 		\n", "
\n", " \n", " \n", " [7,\n", " \n", "
\n", " 		\n", "
\n", " \n", " \n", " 8]\n", " \n", "
\n", "
\n", "
\n", "\n", "\n", "
Viewing 4 of 4 rows / 3 columns
\n", "
1 partition(s) <class 'optimus.engines.pandas.dataframe.PandasDataFrame'>
\n", "\n" ] }, "metadata": {} } ], "metadata": {} }, { "cell_type": "markdown", "source": [ "### Spits in 3 parts" ], "metadata": {} }, { "cell_type": "code", "execution_count": 29, "source": [ "df.cols.select(\"two strings\").cols.unnest([\"two strings\"], splits=3, separator=\"-\").display()" ], "outputs": [ { "output_type": "display_data", "data": { "text/plain": [ "" ], "text/html": [ "\n", "\n", "\n", "\n", "\n", "
Viewing 4 of 4 rows / 4 columns
\n", "
1 partition(s)
\n", "\n", "\n", "\n", " \n", " \n", " \n", " \n", " \n", " \n", " \n", " \n", " \n", " \n", " \n", " \n", " \n", "\n", " \n", " \n", " \n", " \n", " \n", " \n", " \n", " \n", " \n", " \n", " \n", " \n", " \n", " \n", " \n", " \n", " \n", " \n", " \n", " \n", " \n", " \n", " \n", " \n", " \n", " \n", " \n", " \n", " \n", " \n", " \n", " \n", " \n", " \n", " \n", " \n", " \n", " \n", " \n", " \n", " \n", " \n", " \n", " \n", " \n", " \n", " \n", " \n", " \n", " \n", " \n", " \n", "
\n", "
two strings
\n", "
1 (object)
\n", " \n", " 		\n", "
two strings_0
\n", "
2 (object)
\n", " \n", " 		\n", "
two strings_1
\n", "
3 (object)
\n", " \n", " 		\n", "
two strings_2
\n", "
4 (object)
\n", " \n", "
\n", "
\n", " \n", " \n", " cat-car\n", " \n", "
\n", " 		\n", "
\n", " \n", " \n", " cat\n", " \n", "
\n", " 		\n", "
\n", " \n", " \n", " car\n", " \n", "
\n", " 		\n", "
\n", " \n", " \n", " None\n", " \n", "
\n", "
\n", "
\n", " \n", " \n", " dog-tv\n", " \n", "
\n", " 		\n", "
\n", " \n", " \n", " dog\n", " \n", "
\n", " 		\n", "
\n", " \n", " \n", " tv\n", " \n", "
\n", " 		\n", "
\n", " \n", " \n", " None\n", " \n", "
\n", "
\n", "
\n", " \n", " \n", " eagle-tv-plus\n", " \n", "
\n", " 		\n", "
\n", " \n", " \n", " eagle\n", " \n", "
\n", " 		\n", "
\n", " \n", " \n", " tv\n", " \n", "
\n", " 		\n", "
\n", " \n", " \n", " plus\n", " \n", "
\n", "
\n", "
\n", " \n", " \n", " lion-pc\n", " \n", "
\n", " 		\n", "
\n", " \n", " \n", " lion\n", " \n", "
\n", " 		\n", "
\n", " \n", " \n", " pc\n", " \n", "
\n", " 		\n", "
\n", " \n", " \n", " None\n", " \n", "
\n", "
\n", "
\n", "\n", "\n", "
Viewing 4 of 4 rows / 4 columns
\n", "
1 partition(s) <class 'optimus.engines.pandas.dataframe.PandasDataFrame'>
\n", "\n" ] }, "metadata": {} } ], "metadata": {} }, { "cell_type": "markdown", "source": [ "## Impute" ], "metadata": {} }, { "cell_type": "markdown", "source": [ "### Fill missing data" ], "metadata": {} }, { "cell_type": "code", "execution_count": 30, "source": [ "df_fill = op.create.dataframe(A=[1.0, 2.0, op.nan, 4.0, 5.0], B=[op.nan, op.nan, 3.0, 4.0, 5.0], C=[1, op.nan, None, 2, 2])\n", "df_fill.display()" ], "outputs": [ { "output_type": "display_data", "data": { "text/plain": [ "" ], "text/html": [ "\n", "\n", "\n", "\n", "\n", "
Viewing 5 of 5 rows / 3 columns
\n", "
1 partition(s)
\n", "\n", "\n", "\n", " \n", " \n", " \n", " \n", " \n", " \n", " \n", " \n", " \n", " \n", " \n", "\n", " \n", " \n", " \n", " \n", " \n", " \n", " \n", " \n", " \n", " \n", " \n", " \n", " \n", " \n", " \n", " \n", " \n", " \n", " \n", " \n", " \n", " \n", " \n", " \n", " \n", " \n", " \n", " \n", " \n", " \n", " \n", " \n", " \n", " \n", " \n", " \n", " \n", " \n", " \n", " \n", " \n", " \n", " \n", " \n", " \n", " \n", " \n", " \n", " \n", " \n", " \n", " \n", " \n", " \n", "
\n", "
A
\n", "
1 (float64)
\n", " \n", " 		\n", "
B
\n", "
2 (float64)
\n", " \n", " 		\n", "
C
\n", "
3 (float64)
\n", " \n", "
\n", "
\n", " \n", " \n", " 1.0\n", " \n", "
\n", " 		\n", "
\n", " \n", " \n", " nan\n", " \n", "
\n", " 		\n", "
\n", " \n", " \n", " 1.0\n", " \n", "
\n", "
\n", "
\n", " \n", " \n", " 2.0\n", " \n", "
\n", " 		\n", "
\n", " \n", " \n", " nan\n", " \n", "
\n", " 		\n", "
\n", " \n", " \n", " nan\n", " \n", "
\n", "
\n", "
\n", " \n", " \n", " nan\n", " \n", "
\n", " 		\n", "
\n", " \n", " \n", " 3.0\n", " \n", "
\n", " 		\n", "
\n", " \n", " \n", " nan\n", " \n", "
\n", "
\n", "
\n", " \n", " \n", " 4.0\n", " \n", "
\n", " 		\n", "
\n", " \n", " \n", " 4.0\n", " \n", "
\n", " 		\n", "
\n", " \n", " \n", " 2.0\n", " \n", "
\n", "
\n", "
\n", " \n", " \n", " 5.0\n", " \n", "
\n", " 		\n", "
\n", " \n", " \n", " 5.0\n", " \n", "
\n", " 		\n", "
\n", " \n", " \n", " 2.0\n", " \n", "
\n", "
\n", "
\n", "\n", "\n", "
Viewing 5 of 5 rows / 3 columns
\n", "
1 partition(s) <class 'optimus.engines.pandas.dataframe.PandasDataFrame'>
\n", "\n" ] }, "metadata": {} } ], "metadata": {} }, { "cell_type": "code", "execution_count": 31, "source": [ "df_fill.cols.impute([\"A\", \"B\"], \"continuous\", \"median\")" ], "outputs": [ { "output_type": "execute_result", "data": { "text/plain": [ " A B C\n", " (float64) (float64) (float64)\n", "----------- ----------- -----------\n", " 1 4 1\n", " 2 4 nan\n", " 3 3 nan\n", " 4 4 2\n", " 5 5 2" ], "text/html": [ "\n", "\n", "\n", "\n", "\n", "
Viewing 5 of 5 rows / 3 columns
\n", "
1 partition(s)
\n", "\n", "\n", "\n", " \n", " \n", " \n", " \n", " \n", " \n", " \n", " \n", " \n", " \n", " \n", "\n", " \n", " \n", " \n", " \n", " \n", " \n", " \n", " \n", " \n", " \n", " \n", " \n", " \n", " \n", " \n", " \n", " \n", " \n", " \n", " \n", " \n", " \n", " \n", " \n", " \n", " \n", " \n", " \n", " \n", " \n", " \n", " \n", " \n", " \n", " \n", " \n", " \n", " \n", " \n", " \n", " \n", " \n", " \n", " \n", " \n", " \n", " \n", " \n", " \n", " \n", " \n", " \n", " \n", " \n", "
\n", "
A
\n", "
1 (float64)
\n", " \n", " 		\n", "
B
\n", "
2 (float64)
\n", " \n", " 		\n", "
C
\n", "
3 (float64)
\n", " \n", "
\n", "
\n", " \n", " \n", " 1.0\n", " \n", "
\n", " 		\n", "
\n", " \n", " \n", " 4.0\n", " \n", "
\n", " 		\n", "
\n", " \n", " \n", " 1.0\n", " \n", "
\n", "
\n", "
\n", " \n", " \n", " 2.0\n", " \n", "
\n", " 		\n", "
\n", " \n", " \n", " 4.0\n", " \n", "
\n", " 		\n", "
\n", " \n", " \n", " nan\n", " \n", "
\n", "
\n", "
\n", " \n", " \n", " 3.0\n", " \n", "
\n", " 		\n", "
\n", " \n", " \n", " 3.0\n", " \n", "
\n", " 		\n", "
\n", " \n", " \n", " nan\n", " \n", "
\n", "
\n", "
\n", " \n", " \n", " 4.0\n", " \n", "
\n", " 		\n", "
\n", " \n", " \n", " 4.0\n", " \n", "
\n", " 		\n", "
\n", " \n", " \n", " 2.0\n", " \n", "
\n", "
\n", "
\n", " \n", " \n", " 5.0\n", " \n", "
\n", " 		\n", "
\n", " \n", " \n", " 5.0\n", " \n", "
\n", " 		\n", "
\n", " \n", " \n", " 2.0\n", " \n", "
\n", "
\n", "
\n", "\n", "\n", "
Viewing 5 of 5 rows / 3 columns
\n", "
1 partition(s) <class 'optimus.engines.pandas.dataframe.PandasDataFrame'>
\n", "\n" ] }, "metadata": {}, "execution_count": 31 } ], "metadata": {} }, { "cell_type": "code", "execution_count": 32, "source": [ "df_fill.cols.impute([\"C\"], strategy=\"most_frequent\")" ], "outputs": [ { "output_type": "execute_result", "data": { "text/plain": [ " A B C\n", " (float64) (float64) (float64)\n", "----------- ----------- -----------\n", " 1 nan 1\n", " 2 nan 2\n", " nan 3 2\n", " 4 4 2\n", " 5 5 2" ], "text/html": [ "\n", "\n", "\n", "\n", "\n", "
Viewing 5 of 5 rows / 3 columns
\n", "
1 partition(s)
\n", "\n", "\n", "\n", " \n", " \n", " \n", " \n", " \n", " \n", " \n", " \n", " \n", " \n", " \n", "\n", " \n", " \n", " \n", " \n", " \n", " \n", " \n", " \n", " \n", " \n", " \n", " \n", " \n", " \n", " \n", " \n", " \n", " \n", " \n", " \n", " \n", " \n", " \n", " \n", " \n", " \n", " \n", " \n", " \n", " \n", " \n", " \n", " \n", " \n", " \n", " \n", " \n", " \n", " \n", " \n", " \n", " \n", " \n", " \n", " \n", " \n", " \n", " \n", " \n", " \n", " \n", " \n", " \n", " \n", "
\n", "
A
\n", "
1 (float64)
\n", " \n", " 		\n", "
B
\n", "
2 (float64)
\n", " \n", " 		\n", "
C
\n", "
3 (float64)
\n", " \n", "
\n", "
\n", " \n", " \n", " 1.0\n", " \n", "
\n", " 		\n", "
\n", " \n", " \n", " nan\n", " \n", "
\n", " 		\n", "
\n", " \n", " \n", " 1.0\n", " \n", "
\n", "
\n", "
\n", " \n", " \n", " 2.0\n", " \n", "
\n", " 		\n", "
\n", " \n", " \n", " nan\n", " \n", "
\n", " 		\n", "
\n", " \n", " \n", " 2.0\n", " \n", "
\n", "
\n", "
\n", " \n", " \n", " nan\n", " \n", "
\n", " 		\n", "
\n", " \n", " \n", " 3.0\n", " \n", "
\n", " 		\n", "
\n", " \n", " \n", " 2.0\n", " \n", "
\n", "
\n", "
\n", " \n", " \n", " 4.0\n", " \n", "
\n", " 		\n", "
\n", " \n", " \n", " 4.0\n", " \n", "
\n", " 		\n", "
\n", " \n", " \n", " 2.0\n", " \n", "
\n", "
\n", "
\n", " \n", " \n", " 5.0\n", " \n", "
\n", " 		\n", "
\n", " \n", " \n", " 5.0\n", " \n", "
\n", " 		\n", "
\n", " \n", " \n", " 2.0\n", " \n", "
\n", "
\n", "
\n", "\n", "\n", "
Viewing 5 of 5 rows / 3 columns
\n", "
1 partition(s) <class 'optimus.engines.pandas.dataframe.PandasDataFrame'>
\n", "\n" ] }, "metadata": {}, "execution_count": 32 } ], "metadata": {} }, { "cell_type": "markdown", "source": [ "## Set values using user defined functions" ], "metadata": {} }, { "cell_type": "code", "execution_count": 33, "source": [ "df" ], "outputs": [ { "output_type": "execute_result", "data": { "text/plain": [ "words num animals thing two strings filter num 2 col_array col_int new_col_1 NEW COLUMN\n", "(object) (int32) (object) (object) (object) (object) (string) (object) (object) (int64) (object)\n", "------------------- --------- ---------- ---------- ------------- ---------- ---------- --------------------- ---------- ----------- ------------\n", "I like fish 1 dog housé cat-car a 1 ['baby', 'sorry'] [1, 2, 3] 1 q\n", "zombies 2 cat tv dog-tv b 2 ['baby 1', 'sorry 1'] [3, 4] 1 w\n", "simpsons cat lady 2 frog table eagle-tv-plus 1 3 ['baby 2', 'sorry 2'] [5, 6, 7] 1 e\n", " 3 eagle glass lion-pc c 4 ['baby 3', 'sorry 3'] [7, 8] 1 r" ], "text/html": [ "\n", "\n", "\n", "\n", "\n", "
Viewing 4 of 4 rows / 11 columns
\n", "
1 partition(s)
\n", "\n", "\n", "\n", " \n", " \n", " \n", " \n", " \n", " \n", " \n", " \n", " \n", " \n", " \n", " \n", " \n", " \n", " \n", " \n", " \n", " \n", " \n", " \n", " \n", " \n", " \n", " \n", " \n", " \n", " \n", "\n", " \n", " \n", " \n", " \n", " \n", " \n", " \n", " \n", " \n", " \n", " \n", " \n", " \n", " \n", " \n", " \n", " \n", " \n", " \n", " \n", " \n", " \n", " \n", " \n", " \n", " \n", " \n", " \n", " \n", " \n", " \n", " \n", " \n", " \n", " \n", " \n", " \n", " \n", " \n", " \n", " \n", " \n", " \n", " \n", " \n", " \n", " \n", " \n", " \n", " \n", " \n", " \n", " \n", " \n", " \n", " \n", " \n", " \n", " \n", " \n", " \n", " \n", " \n", " \n", " \n", " \n", " \n", " \n", " \n", " \n", " \n", " \n", " \n", " \n", " \n", " \n", " \n", " \n", " \n", " \n", " \n", " \n", " \n", " \n", " \n", " \n", " \n", " \n", " \n", " \n", " \n", " \n", " \n", " \n", " \n", " \n", " \n", " \n", " \n", " \n", " \n", " \n", " \n", " \n", " \n", " \n", " \n", " \n", "
\n", "
words
\n", "
1 (object)
\n", " \n", " 		\n", "
num
\n", "
2 (int32)
\n", " \n", " 		\n", "
animals
\n", "
3 (object)
\n", " \n", " 		\n", "
thing
\n", "
4 (object)
\n", " \n", " 		\n", "
two strings
\n", "
5 (object)
\n", " \n", " 		\n", "
filter
\n", "
6 (object)
\n", " \n", " 		\n", "
num 2
\n", "
7 (string)
\n", " \n", " 		\n", "
col_array
\n", "
8 (object)
\n", " \n", " 		\n", "
col_int
\n", "
9 (object)
\n", " \n", " 		\n", "
new_col_1
\n", "
10 (int64)
\n", " \n", " 		\n", "
NEW COLUMN
\n", "
11 (object)
\n", " \n", "
\n", "
\n", " \n", " \n", " ⋅⋅I⋅like⋅⋅⋅⋅⋅fish⋅⋅\n", " \n", "
\n", " 		\n", "
\n", " \n", " \n", " 1\n", " \n", "
\n", " 		\n", "
\n", " \n", " \n", " dog\n", " \n", "
\n", " 		\n", "
\n", " \n", " \n", " housé\n", " \n", "
\n", " 		\n", "
\n", " \n", " \n", " cat-car\n", " \n", "
\n", " 		\n", "
\n", " \n", " \n", " a\n", " \n", "
\n", " 		\n", "
\n", " \n", " \n", " 1\n", " \n", "
\n", " 		\n", "
\n", " \n", " \n", " ['baby',⋅'sorry']\n", " \n", "
\n", " 		\n", "
\n", " \n", " \n", " [1,⋅2,⋅3]\n", " \n", "
\n", " 		\n", "
\n", " \n", " \n", " 1\n", " \n", "
\n", " 		\n", "
\n", " \n", " \n", " q\n", " \n", "
\n", "
\n", "
\n", " \n", " \n", " ⋅⋅⋅⋅zombies\n", " \n", "
\n", " 		\n", "
\n", " \n", " \n", " 2\n", " \n", "
\n", " 		\n", "
\n", " \n", " \n", " cat\n", " \n", "
\n", " 		\n", "
\n", " \n", " \n", " tv\n", " \n", "
\n", " 		\n", "
\n", " \n", " \n", " dog-tv\n", " \n", "
\n", " 		\n", "
\n", " \n", " \n", " b\n", " \n", "
\n", " 		\n", "
\n", " \n", " \n", " 2\n", " \n", "
\n", " 		\n", "
\n", " \n", " \n", " ['baby⋅1',⋅'sorry⋅1']\n", " \n", "
\n", " 		\n", "
\n", " \n", " \n", " [3,⋅4]\n", " \n", "
\n", " 		\n", "
\n", " \n", " \n", " 1\n", " \n", "
\n", " 		\n", "
\n", " \n", " \n", " w\n", " \n", "
\n", "
\n", "
\n", " \n", " \n", " simpsons⋅⋅⋅cat⋅lady\n", " \n", "
\n", " 		\n", "
\n", " \n", " \n", " 2\n", " \n", "
\n", " 		\n", "
\n", " \n", " \n", " frog\n", " \n", "
\n", " 		\n", "
\n", " \n", " \n", " table\n", " \n", "
\n", " 		\n", "
\n", " \n", " \n", " eagle-tv-plus\n", " \n", "
\n", " 		\n", "
\n", " \n", " \n", " 1\n", " \n", "
\n", " 		\n", "
\n", " \n", " \n", " 3\n", " \n", "
\n", " 		\n", "
\n", " \n", " \n", " ['baby⋅2',⋅'sorry⋅2']\n", " \n", "
\n", " 		\n", "
\n", " \n", " \n", " [5,⋅6,⋅7]\n", " \n", "
\n", " 		\n", "
\n", " \n", " \n", " 1\n", " \n", "
\n", " 		\n", "
\n", " \n", " \n", " e\n", " \n", "
\n", "
\n", "
\n", " \n", " \n", " None\n", " \n", "
\n", " 		\n", "
\n", " \n", " \n", " 3\n", " \n", "
\n", " 		\n", "
\n", " \n", " \n", " eagle\n", " \n", "
\n", " 		\n", "
\n", " \n", " \n", " glass\n", " \n", "
\n", " 		\n", "
\n", " \n", " \n", " lion-pc\n", " \n", "
\n", " 		\n", "
\n", " \n", " \n", " c\n", " \n", "
\n", " 		\n", "
\n", " \n", " \n", " 4\n", " \n", "
\n", " 		\n", "
\n", " \n", " \n", " ['baby⋅3',⋅'sorry⋅3']\n", " \n", "
\n", " 		\n", "
\n", " \n", " \n", " [7,⋅8]\n", " \n", "
\n", " 		\n", "
\n", " \n", " \n", " 1\n", " \n", "
\n", " 		\n", "
\n", " \n", " \n", " r\n", " \n", "
\n", "
\n", "
\n", "\n", "\n", "
Viewing 4 of 4 rows / 11 columns
\n", "
1 partition(s) <class 'optimus.engines.pandas.dataframe.PandasDataFrame'>
\n", "\n" ] }, "metadata": {}, "execution_count": 33 } ], "metadata": {} }, { "cell_type": "markdown", "source": [ "### Set a value only to numeric values in `filter`\n", "\n", "Sometimes there are columns with numeric and string values together.\n", "\n", "In order to solve this problem, set.numeric() function can be used to operate over just one of those types. \n", "\n", "In the next example we replace ever number with a string \"new string\"" ], "metadata": {} }, { "cell_type": "code", "execution_count": 34, "source": [ "def func(val, arg):\n", " return arg\n", "\n", "df.set.numeric(\"filter\", func, args=\"new string\").display(highlight=\"filter\")" ], "outputs": [ { "output_type": "display_data", "data": { "text/plain": [ "" ], "text/html": [ "\n", "\n", "\n", "\n", "\n", "
Viewing 4 of 4 rows / 11 columns
\n", "
1 partition(s)
\n", "\n", "\n", "\n", " \n", " \n", " \n", " \n", " \n", " \n", " \n", " \n", " \n", " \n", " \n", " \n", " \n", " \n", " \n", " \n", " \n", " \n", " \n", " \n", " \n", " \n", " \n", " \n", " \n", " \n", " \n", "\n", " \n", " \n", " \n", " \n", " \n", " \n", " \n", " \n", " \n", " \n", " \n", " \n", " \n", " \n", " \n", " \n", " \n", " \n", " \n", " \n", " \n", " \n", " \n", " \n", " \n", " \n", " \n", " \n", " \n", " \n", " \n", " \n", " \n", " \n", " \n", " \n", " \n", " \n", " \n", " \n", " \n", " \n", " \n", " \n", " \n", " \n", " \n", " \n", " \n", " \n", " \n", " \n", " \n", " \n", " \n", " \n", " \n", " \n", " \n", " \n", " \n", " \n", " \n", " \n", " \n", " \n", " \n", " \n", " \n", " \n", " \n", " \n", " \n", " \n", " \n", " \n", " \n", " \n", " \n", " \n", " \n", " \n", " \n", " \n", " \n", " \n", " \n", " \n", " \n", " \n", " \n", " \n", " \n", " \n", " \n", " \n", " \n", " \n", " \n", " \n", " \n", " \n", " \n", " \n", " \n", " \n", " \n", " \n", "
\n", "
words
\n", "
1 (object)
\n", " \n", " 		\n", "
num
\n", "
2 (int32)
\n", " \n", " 		\n", "
animals
\n", "
3 (object)
\n", " \n", " 		\n", "
thing
\n", "
4 (object)
\n", " \n", " 		\n", "
two strings
\n", "
5 (object)
\n", " \n", " 		\n", "
filter
\n", "
6 (object)
\n", " \n", " 		\n", "
num 2
\n", "
7 (string)
\n", " \n", " 		\n", "
col_array
\n", "
8 (object)
\n", " \n", " 		\n", "
col_int
\n", "
9 (object)
\n", " \n", " 		\n", "
new_col_1
\n", "
10 (int64)
\n", " \n", " 		\n", "
NEW COLUMN
\n", "
11 (object)
\n", " \n", "
\n", "
\n", " \n", " \n", " ⋅⋅I⋅like⋅⋅⋅⋅⋅fish⋅⋅\n", " \n", "
\n", " 		\n", "
\n", " \n", " \n", " 1\n", " \n", "
\n", " 		\n", "
\n", " \n", " \n", " dog\n", " \n", "
\n", " 		\n", "
\n", " \n", " \n", " housé\n", " \n", "
\n", " 		\n", "
\n", " \n", " \n", " cat-car\n", " \n", "
\n", " 		\n", "
\n", " \n", " \n", " a\n", " \n", "
\n", " 		\n", "
\n", " \n", " \n", " 1\n", " \n", "
\n", " 		\n", "
\n", " \n", " \n", " ['baby',⋅'sorry']\n", " \n", "
\n", " 		\n", "
\n", " \n", " \n", " [1,⋅2,⋅3]\n", " \n", "
\n", " 		\n", "
\n", " \n", " \n", " 1\n", " \n", "
\n", " 		\n", "
\n", " \n", " \n", " q\n", " \n", "
\n", "
\n", "
\n", " \n", " \n", " ⋅⋅⋅⋅zombies\n", " \n", "
\n", " 		\n", "
\n", " \n", " \n", " 2\n", " \n", "
\n", " 		\n", "
\n", " \n", " \n", " cat\n", " \n", "
\n", " 		\n", "
\n", " \n", " \n", " tv\n", " \n", "
\n", " 		\n", "
\n", " \n", " \n", " dog-tv\n", " \n", "
\n", " 		\n", "
\n", " \n", " \n", " b\n", " \n", "
\n", " 		\n", "
\n", " \n", " \n", " 2\n", " \n", "
\n", " 		\n", "
\n", " \n", " \n", " ['baby⋅1',⋅'sorry⋅1']\n", " \n", "
\n", " 		\n", "
\n", " \n", " \n", " [3,⋅4]\n", " \n", "
\n", " 		\n", "
\n", " \n", " \n", " 1\n", " \n", "
\n", " 		\n", "
\n", " \n", " \n", " w\n", " \n", "
\n", "
\n", "
\n", " \n", " \n", " simpsons⋅⋅⋅cat⋅lady\n", " \n", "
\n", " 		\n", "
\n", " \n", " \n", " 2\n", " \n", "
\n", " 		\n", "
\n", " \n", " \n", " frog\n", " \n", "
\n", " 		\n", "
\n", " \n", " \n", " table\n", " \n", "
\n", " 		\n", "
\n", " \n", " \n", " eagle-tv-plus\n", " \n", "
\n", " 		\n", "
\n", " \n", " \n", " new⋅string\n", " \n", "
\n", " 		\n", "
\n", " \n", " \n", " 3\n", " \n", "
\n", " 		\n", "
\n", " \n", " \n", " ['baby⋅2',⋅'sorry⋅2']\n", " \n", "
\n", " 		\n", "
\n", " \n", " \n", " [5,⋅6,⋅7]\n", " \n", "
\n", " 		\n", "
\n", " \n", " \n", " 1\n", " \n", "
\n", " 		\n", "
\n", " \n", " \n", " e\n", " \n", "
\n", "
\n", "
\n", " \n", " \n", " None\n", " \n", "
\n", " 		\n", "
\n", " \n", " \n", " 3\n", " \n", "
\n", " 		\n", "
\n", " \n", " \n", " eagle\n", " \n", "
\n", " 		\n", "
\n", " \n", " \n", " glass\n", " \n", "
\n", " 		\n", "
\n", " \n", " \n", " lion-pc\n", " \n", "
\n", " 		\n", "
\n", " \n", " \n", " c\n", " \n", "
\n", " 		\n", "
\n", " \n", " \n", " 4\n", " \n", "
\n", " 		\n", "
\n", " \n", " \n", " ['baby⋅3',⋅'sorry⋅3']\n", " \n", "
\n", " 		\n", "
\n", " \n", " \n", " [7,⋅8]\n", " \n", "
\n", " 		\n", "
\n", " \n", " \n", " 1\n", " \n", "
\n", " 		\n", "
\n", " \n", " \n", " r\n", " \n", "
\n", "
\n", "
\n", "\n", "\n", "
Viewing 4 of 4 rows / 11 columns
\n", "
1 partition(s) <class 'optimus.engines.pandas.dataframe.PandasDataFrame'>
\n", "\n" ] }, "metadata": {} } ], "metadata": {} }, { "cell_type": "markdown", "source": [ "Or you could pass the value directly" ], "metadata": {} }, { "cell_type": "code", "execution_count": 35, "source": [ "df.set.numeric(\"filter\", \"new string\").display(highlight=\"filter\")" ], "outputs": [ { "output_type": "display_data", "data": { "text/plain": [ "" ], "text/html": [ "\n", "\n", "\n", "\n", "\n", "
Viewing 4 of 4 rows / 11 columns
\n", "
1 partition(s)
\n", "\n", "\n", "\n", " \n", " \n", " \n", " \n", " \n", " \n", " \n", " \n", " \n", " \n", " \n", " \n", " \n", " \n", " \n", " \n", " \n", " \n", " \n", " \n", " \n", " \n", " \n", " \n", " \n", " \n", " \n", "\n", " \n", " \n", " \n", " \n", " \n", " \n", " \n", " \n", " \n", " \n", " \n", " \n", " \n", " \n", " \n", " \n", " \n", " \n", " \n", " \n", " \n", " \n", " \n", " \n", " \n", " \n", " \n", " \n", " \n", " \n", " \n", " \n", " \n", " \n", " \n", " \n", " \n", " \n", " \n", " \n", " \n", " \n", " \n", " \n", " \n", " \n", " \n", " \n", " \n", " \n", " \n", " \n", " \n", " \n", " \n", " \n", " \n", " \n", " \n", " \n", " \n", " \n", " \n", " \n", " \n", " \n", " \n", " \n", " \n", " \n", " \n", " \n", " \n", " \n", " \n", " \n", " \n", " \n", " \n", " \n", " \n", " \n", " \n", " \n", " \n", " \n", " \n", " \n", " \n", " \n", " \n", " \n", " \n", " \n", " \n", " \n", " \n", " \n", " \n", " \n", " \n", " \n", " \n", " \n", " \n", " \n", " \n", " \n", "
\n", "
words
\n", "
1 (object)
\n", " \n", " 		\n", "
num
\n", "
2 (int32)
\n", " \n", " 		\n", "
animals
\n", "
3 (object)
\n", " \n", " 		\n", "
thing
\n", "
4 (object)
\n", " \n", " 		\n", "
two strings
\n", "
5 (object)
\n", " \n", " 		\n", "
filter
\n", "
6 (object)
\n", " \n", " 		\n", "
num 2
\n", "
7 (string)
\n", " \n", " 		\n", "
col_array
\n", "
8 (object)
\n", " \n", " 		\n", "
col_int
\n", "
9 (object)
\n", " \n", " 		\n", "
new_col_1
\n", "
10 (int64)
\n", " \n", " 		\n", "
NEW COLUMN
\n", "
11 (object)
\n", " \n", "
\n", "
\n", " \n", " \n", " ⋅⋅I⋅like⋅⋅⋅⋅⋅fish⋅⋅\n", " \n", "
\n", " 		\n", "
\n", " \n", " \n", " 1\n", " \n", "
\n", " 		\n", "
\n", " \n", " \n", " dog\n", " \n", "
\n", " 		\n", "
\n", " \n", " \n", " housé\n", " \n", "
\n", " 		\n", "
\n", " \n", " \n", " cat-car\n", " \n", "
\n", " 		\n", "
\n", " \n", " \n", " a\n", " \n", "
\n", " 		\n", "
\n", " \n", " \n", " 1\n", " \n", "
\n", " 		\n", "
\n", " \n", " \n", " ['baby',⋅'sorry']\n", " \n", "
\n", " 		\n", "
\n", " \n", " \n", " [1,⋅2,⋅3]\n", " \n", "
\n", " 		\n", "
\n", " \n", " \n", " 1\n", " \n", "
\n", " 		\n", "
\n", " \n", " \n", " q\n", " \n", "
\n", "
\n", "
\n", " \n", " \n", " ⋅⋅⋅⋅zombies\n", " \n", "
\n", " 		\n", "
\n", " \n", " \n", " 2\n", " \n", "
\n", " 		\n", "
\n", " \n", " \n", " cat\n", " \n", "
\n", " 		\n", "
\n", " \n", " \n", " tv\n", " \n", "
\n", " 		\n", "
\n", " \n", " \n", " dog-tv\n", " \n", "
\n", " 		\n", "
\n", " \n", " \n", " b\n", " \n", "
\n", " 		\n", "
\n", " \n", " \n", " 2\n", " \n", "
\n", " 		\n", "
\n", " \n", " \n", " ['baby⋅1',⋅'sorry⋅1']\n", " \n", "
\n", " 		\n", "
\n", " \n", " \n", " [3,⋅4]\n", " \n", "
\n", " 		\n", "
\n", " \n", " \n", " 1\n", " \n", "
\n", " 		\n", "
\n", " \n", " \n", " w\n", " \n", "
\n", "
\n", "
\n", " \n", " \n", " simpsons⋅⋅⋅cat⋅lady\n", " \n", "
\n", " 		\n", "
\n", " \n", " \n", " 2\n", " \n", "
\n", " 		\n", "
\n", " \n", " \n", " frog\n", " \n", "
\n", " 		\n", "
\n", " \n", " \n", " table\n", " \n", "
\n", " 		\n", "
\n", " \n", " \n", " eagle-tv-plus\n", " \n", "
\n", " 		\n", "
\n", " \n", " \n", " new⋅string\n", " \n", "
\n", " 		\n", "
\n", " \n", " \n", " 3\n", " \n", "
\n", " 		\n", "
\n", " \n", " \n", " ['baby⋅2',⋅'sorry⋅2']\n", " \n", "
\n", " 		\n", "
\n", " \n", " \n", " [5,⋅6,⋅7]\n", " \n", "
\n", " 		\n", "
\n", " \n", " \n", " 1\n", " \n", "
\n", " 		\n", "
\n", " \n", " \n", " e\n", " \n", "
\n", "
\n", "
\n", " \n", " \n", " None\n", " \n", "
\n", " 		\n", "
\n", " \n", " \n", " 3\n", " \n", "
\n", " 		\n", "
\n", " \n", " \n", " eagle\n", " \n", "
\n", " 		\n", "
\n", " \n", " \n", " glass\n", " \n", "
\n", " 		\n", "
\n", " \n", " \n", " lion-pc\n", " \n", "
\n", " 		\n", "
\n", " \n", " \n", " c\n", " \n", "
\n", " 		\n", "
\n", " \n", " \n", " 4\n", " \n", "
\n", " 		\n", "
\n", " \n", " \n", " ['baby⋅3',⋅'sorry⋅3']\n", " \n", "
\n", " 		\n", "
\n", " \n", " \n", " [7,⋅8]\n", " \n", "
\n", " 		\n", "
\n", " \n", " \n", " 1\n", " \n", "
\n", " 		\n", "
\n", " \n", " \n", " r\n", " \n", "
\n", "
\n", "
\n", "\n", "\n", "
Viewing 4 of 4 rows / 11 columns
\n", "
1 partition(s) <class 'optimus.engines.pandas.dataframe.PandasDataFrame'>
\n", "\n" ] }, "metadata": {} } ], "metadata": {} }, { "cell_type": "markdown", "source": [ "### Sum a numeric value (20 in this case) to two columns" ], "metadata": {} }, { "cell_type": "code", "execution_count": 36, "source": [ "def func(val):\n", " return val + 20\n", "\n", "df.cols.set([\"num\", \"num 2\"], func).display(highlight=[\"num\", \"num 2\"])" ], "outputs": [ { "output_type": "display_data", "data": { "text/plain": [ "" ], "text/html": [ "\n", "\n", "\n", "\n", "\n", "
Viewing 4 of 4 rows / 11 columns
\n", "
1 partition(s)
\n", "\n", "\n", "\n", " \n", " \n", " \n", " \n", " \n", " \n", " \n", " \n", " \n", " \n", " \n", " \n", " \n", " \n", " \n", " \n", " \n", " \n", " \n", " \n", " \n", " \n", " \n", " \n", " \n", " \n", " \n", "\n", " \n", " \n", " \n", " \n", " \n", " \n", " \n", " \n", " \n", " \n", " \n", " \n", " \n", " \n", " \n", " \n", " \n", " \n", " \n", " \n", " \n", " \n", " \n", " \n", " \n", " \n", " \n", " \n", " \n", " \n", " \n", " \n", " \n", " \n", " \n", " \n", " \n", " \n", " \n", " \n", " \n", " \n", " \n", " \n", " \n", " \n", " \n", " \n", " \n", " \n", " \n", " \n", " \n", " \n", " \n", " \n", " \n", " \n", " \n", " \n", " \n", " \n", " \n", " \n", " \n", " \n", " \n", " \n", " \n", " \n", " \n", " \n", " \n", " \n", " \n", " \n", " \n", " \n", " \n", " \n", " \n", " \n", " \n", " \n", " \n", " \n", " \n", " \n", " \n", " \n", " \n", " \n", " \n", " \n", " \n", " \n", " \n", " \n", " \n", " \n", " \n", " \n", " \n", " \n", " \n", " \n", " \n", " \n", "
\n", "
words
\n", "
1 (object)
\n", " \n", " 		\n", "
num
\n", "
2 (int32)
\n", " \n", " 		\n", "
animals
\n", "
3 (object)
\n", " \n", " 		\n", "
thing
\n", "
4 (object)
\n", " \n", " 		\n", "
two strings
\n", "
5 (object)
\n", " \n", " 		\n", "
filter
\n", "
6 (object)
\n", " \n", " 		\n", "
num 2
\n", "
7 (int32)
\n", " \n", " 		\n", "
col_array
\n", "
8 (object)
\n", " \n", " 		\n", "
col_int
\n", "
9 (object)
\n", " \n", " 		\n", "
new_col_1
\n", "
10 (int64)
\n", " \n", " 		\n", "
NEW COLUMN
\n", "
11 (object)
\n", " \n", "
\n", "
\n", " \n", " \n", " ⋅⋅I⋅like⋅⋅⋅⋅⋅fish⋅⋅\n", " \n", "
\n", " 		\n", "
\n", " \n", " \n", " 21\n", " \n", "
\n", " 		\n", "
\n", " \n", " \n", " dog\n", " \n", "
\n", " 		\n", "
\n", " \n", " \n", " housé\n", " \n", "
\n", " 		\n", "
\n", " \n", " \n", " cat-car\n", " \n", "
\n", " 		\n", "
\n", " \n", " \n", " a\n", " \n", "
\n", " 		\n", "
\n", " \n", " \n", " 21\n", " \n", "
\n", " 		\n", "
\n", " \n", " \n", " ['baby',⋅'sorry']\n", " \n", "
\n", " 		\n", "
\n", " \n", " \n", " [1,⋅2,⋅3]\n", " \n", "
\n", " 		\n", "
\n", " \n", " \n", " 1\n", " \n", "
\n", " 		\n", "
\n", " \n", " \n", " q\n", " \n", "
\n", "
\n", "
\n", " \n", " \n", " ⋅⋅⋅⋅zombies\n", " \n", "
\n", " 		\n", "
\n", " \n", " \n", " 22\n", " \n", "
\n", " 		\n", "
\n", " \n", " \n", " cat\n", " \n", "
\n", " 		\n", "
\n", " \n", " \n", " tv\n", " \n", "
\n", " 		\n", "
\n", " \n", " \n", " dog-tv\n", " \n", "
\n", " 		\n", "
\n", " \n", " \n", " b\n", " \n", "
\n", " 		\n", "
\n", " \n", " \n", " 22\n", " \n", "
\n", " 		\n", "
\n", " \n", " \n", " ['baby⋅1',⋅'sorry⋅1']\n", " \n", "
\n", " 		\n", "
\n", " \n", " \n", " [3,⋅4]\n", " \n", "
\n", " 		\n", "
\n", " \n", " \n", " 1\n", " \n", "
\n", " 		\n", "
\n", " \n", " \n", " w\n", " \n", "
\n", "
\n", "
\n", " \n", " \n", " simpsons⋅⋅⋅cat⋅lady\n", " \n", "
\n", " 		\n", "
\n", " \n", " \n", " 22\n", " \n", "
\n", " 		\n", "
\n", " \n", " \n", " frog\n", " \n", "
\n", " 		\n", "
\n", " \n", " \n", " table\n", " \n", "
\n", " 		\n", "
\n", " \n", " \n", " eagle-tv-plus\n", " \n", "
\n", " 		\n", "
\n", " \n", " \n", " 1\n", " \n", "
\n", " 		\n", "
\n", " \n", " \n", " 22\n", " \n", "
\n", " 		\n", "
\n", " \n", " \n", " ['baby⋅2',⋅'sorry⋅2']\n", " \n", "
\n", " 		\n", "
\n", " \n", " \n", " [5,⋅6,⋅7]\n", " \n", "
\n", " 		\n", "
\n", " \n", " \n", " 1\n", " \n", "
\n", " 		\n", "
\n", " \n", " \n", " e\n", " \n", "
\n", "
\n", "
\n", " \n", " \n", " None\n", " \n", "
\n", " 		\n", "
\n", " \n", " \n", " 23\n", " \n", "
\n", " 		\n", "
\n", " \n", " \n", " eagle\n", " \n", "
\n", " 		\n", "
\n", " \n", " \n", " glass\n", " \n", "
\n", " 		\n", "
\n", " \n", " \n", " lion-pc\n", " \n", "
\n", " 		\n", "
\n", " \n", " \n", " c\n", " \n", "
\n", " 		\n", "
\n", " \n", " \n", " 23\n", " \n", "
\n", " 		\n", "
\n", " \n", " \n", " ['baby⋅3',⋅'sorry⋅3']\n", " \n", "
\n", " 		\n", "
\n", " \n", " \n", " [7,⋅8]\n", " \n", "
\n", " 		\n", "
\n", " \n", " \n", " 1\n", " \n", "
\n", " 		\n", "
\n", " \n", " \n", " r\n", " \n", "
\n", "
\n", "
\n", "\n", "\n", "
Viewing 4 of 4 rows / 11 columns
\n", "
1 partition(s) <class 'optimus.engines.pandas.dataframe.PandasDataFrame'>
\n", "\n" ] }, "metadata": {} } ], "metadata": {} }, { "cell_type": "markdown", "source": [ "### Select rows where `filter` is an integer" ], "metadata": {} }, { "cell_type": "code", "execution_count": 37, "source": [ "df.rows.int(\"filter\").display(highlight=\"filter\")" ], "outputs": [ { "output_type": "display_data", "data": { "text/plain": [ "" ], "text/html": [ "\n", "\n", "\n", "\n", "\n", "
Viewing 1 of 1 rows / 11 columns
\n", "
1 partition(s)
\n", "\n", "\n", "\n", " \n", " \n", " \n", " \n", " \n", " \n", " \n", " \n", " \n", " \n", " \n", " \n", " \n", " \n", " \n", " \n", " \n", " \n", " \n", " \n", " \n", " \n", " \n", " \n", " \n", " \n", " \n", "\n", " \n", " \n", " \n", " \n", " \n", " \n", " \n", " \n", " \n", " \n", " \n", " \n", " \n", " \n", " \n", " \n", " \n", " \n", " \n", " \n", " \n", " \n", " \n", " \n", " \n", " \n", " \n", " \n", " \n", " \n", "
\n", "
words
\n", "
1 (object)
\n", " \n", " 		\n", "
num
\n", "
2 (int32)
\n", " \n", " 		\n", "
animals
\n", "
3 (object)
\n", " \n", " 		\n", "
thing
\n", "
4 (object)
\n", " \n", " 		\n", "
two strings
\n", "
5 (object)
\n", " \n", " 		\n", "
filter
\n", "
6 (object)
\n", " \n", " 		\n", "
num 2
\n", "
7 (string)
\n", " \n", " 		\n", "
col_array
\n", "
8 (object)
\n", " \n", " 		\n", "
col_int
\n", "
9 (object)
\n", " \n", " 		\n", "
new_col_1
\n", "
10 (int64)
\n", " \n", " 		\n", "
NEW COLUMN
\n", "
11 (object)
\n", " \n", "
\n", "
\n", " \n", " \n", " simpsons⋅⋅⋅cat⋅lady\n", " \n", "
\n", " 		\n", "
\n", " \n", " \n", " 2\n", " \n", "
\n", " 		\n", "
\n", " \n", " \n", " frog\n", " \n", "
\n", " 		\n", "
\n", " \n", " \n", " table\n", " \n", "
\n", " 		\n", "
\n", " \n", " \n", " eagle-tv-plus\n", " \n", "
\n", " 		\n", "
\n", " \n", " \n", " 1\n", " \n", "
\n", " 		\n", "
\n", " \n", " \n", " 3\n", " \n", "
\n", " 		\n", "
\n", " \n", " \n", " ['baby⋅2',⋅'sorry⋅2']\n", " \n", "
\n", " 		\n", "
\n", " \n", " \n", " [5,⋅6,⋅7]\n", " \n", "
\n", " 		\n", "
\n", " \n", " \n", " 1\n", " \n", "
\n", " 		\n", "
\n", " \n", " \n", " e\n", " \n", "
\n", "
\n", "
\n", "\n", "\n", "
Viewing 1 of 1 rows / 11 columns
\n", "
1 partition(s) <class 'optimus.engines.pandas.dataframe.PandasDataFrame'>
\n", "\n" ] }, "metadata": {} } ], "metadata": {} }, { "cell_type": "markdown", "source": [ "### Create an abstract dataframe to filter rows where the value of `num` is greater than 1" ], "metadata": {} }, { "cell_type": "code", "execution_count": 38, "source": [ "df.rows.greater_than(\"num\", 1).display(highlight=\"num\")" ], "outputs": [ { "output_type": "display_data", "data": { "text/plain": [ "" ], "text/html": [ "\n", "\n", "\n", "\n", "\n", "
Viewing 3 of 3 rows / 11 columns
\n", "
1 partition(s)
\n", "\n", "\n", "\n", " \n", " \n", " \n", " \n", " \n", " \n", " \n", " \n", " \n", " \n", " \n", " \n", " \n", " \n", " \n", " \n", " \n", " \n", " \n", " \n", " \n", " \n", " \n", " \n", " \n", " \n", " \n", "\n", " \n", " \n", " \n", " \n", " \n", " \n", " \n", " \n", " \n", " \n", " \n", " \n", " \n", " \n", " \n", " \n", " \n", " \n", " \n", " \n", " \n", " \n", " \n", " \n", " \n", " \n", " \n", " \n", " \n", " \n", " \n", " \n", " \n", " \n", " \n", " \n", " \n", " \n", " \n", " \n", " \n", " \n", " \n", " \n", " \n", " \n", " \n", " \n", " \n", " \n", " \n", " \n", " \n", " \n", " \n", " \n", " \n", " \n", " \n", " \n", " \n", " \n", " \n", " \n", " \n", " \n", " \n", " \n", " \n", " \n", " \n", " \n", " \n", " \n", " \n", " \n", " \n", " \n", " \n", " \n", " \n", " \n", "
\n", "
words
\n", "
1 (object)
\n", " \n", " 		\n", "
num
\n", "
2 (int32)
\n", " \n", " 		\n", "
animals
\n", "
3 (object)
\n", " \n", " 		\n", "
thing
\n", "
4 (object)
\n", " \n", " 		\n", "
two strings
\n", "
5 (object)
\n", " \n", " 		\n", "
filter
\n", "
6 (object)
\n", " \n", " 		\n", "
num 2
\n", "
7 (string)
\n", " \n", " 		\n", "
col_array
\n", "
8 (object)
\n", " \n", " 		\n", "
col_int
\n", "
9 (object)
\n", " \n", " 		\n", "
new_col_1
\n", "
10 (int64)
\n", " \n", " 		\n", "
NEW COLUMN
\n", "
11 (object)
\n", " \n", "
\n", "
\n", " \n", " \n", " ⋅⋅⋅⋅zombies\n", " \n", "
\n", " 		\n", "
\n", " \n", " \n", " 2\n", " \n", "
\n", " 		\n", "
\n", " \n", " \n", " cat\n", " \n", "
\n", " 		\n", "
\n", " \n", " \n", " tv\n", " \n", "
\n", " 		\n", "
\n", " \n", " \n", " dog-tv\n", " \n", "
\n", " 		\n", "
\n", " \n", " \n", " b\n", " \n", "
\n", " 		\n", "
\n", " \n", " \n", " 2\n", " \n", "
\n", " 		\n", "
\n", " \n", " \n", " ['baby⋅1',⋅'sorry⋅1']\n", " \n", "
\n", " 		\n", "
\n", " \n", " \n", " [3,⋅4]\n", " \n", "
\n", " 		\n", "
\n", " \n", " \n", " 1\n", " \n", "
\n", " 		\n", "
\n", " \n", " \n", " w\n", " \n", "
\n", "
\n", "
\n", " \n", " \n", " simpsons⋅⋅⋅cat⋅lady\n", " \n", "
\n", " 		\n", "
\n", " \n", " \n", " 2\n", " \n", "
\n", " 		\n", "
\n", " \n", " \n", " frog\n", " \n", "
\n", " 		\n", "
\n", " \n", " \n", " table\n", " \n", "
\n", " 		\n", "
\n", " \n", " \n", " eagle-tv-plus\n", " \n", "
\n", " 		\n", "
\n", " \n", " \n", " 1\n", " \n", "
\n", " 		\n", "
\n", " \n", " \n", " 3\n", " \n", "
\n", " 		\n", "
\n", " \n", " \n", " ['baby⋅2',⋅'sorry⋅2']\n", " \n", "
\n", " 		\n", "
\n", " \n", " \n", " [5,⋅6,⋅7]\n", " \n", "
\n", " 		\n", "
\n", " \n", " \n", " 1\n", " \n", "
\n", " 		\n", "
\n", " \n", " \n", " e\n", " \n", "
\n", "
\n", "
\n", " \n", " \n", " None\n", " \n", "
\n", " 		\n", "
\n", " \n", " \n", " 3\n", " \n", "
\n", " 		\n", "
\n", " \n", " \n", " eagle\n", " \n", "
\n", " 		\n", "
\n", " \n", " \n", " glass\n", " \n", "
\n", " 		\n", "
\n", " \n", " \n", " lion-pc\n", " \n", "
\n", " 		\n", "
\n", " \n", " \n", " c\n", " \n", "
\n", " 		\n", "
\n", " \n", " \n", " 4\n", " \n", "
\n", " 		\n", "
\n", " \n", " \n", " ['baby⋅3',⋅'sorry⋅3']\n", " \n", "
\n", " 		\n", "
\n", " \n", " \n", " [7,⋅8]\n", " \n", "
\n", " 		\n", "
\n", " \n", " \n", " 1\n", " \n", "
\n", " 		\n", "
\n", " \n", " \n", " r\n", " \n", "
\n", "
\n", "
\n", "\n", "\n", "
Viewing 3 of 3 rows / 11 columns
\n", "
1 partition(s) <class 'optimus.engines.pandas.dataframe.PandasDataFrame'>
\n", "\n" ] }, "metadata": {} } ], "metadata": {} }, { "cell_type": "markdown", "source": [ "### Create an UDF with two arguments and pass it to `df.cols.set`" ], "metadata": {} }, { "cell_type": "code", "execution_count": 39, "source": [ "def func(val, arg1, arg2):\n", " return val + arg1 + arg2\n", "\n", "df.cols.set(\"num_sum\", func, args=[5, 6], default=\"num\").display(highlight=\"num_sum\")" ], "outputs": [ { "output_type": "display_data", "data": { "text/plain": [ "" ], "text/html": [ "\n", "\n", "\n", "\n", "\n", "
Viewing 4 of 4 rows / 12 columns
\n", "
1 partition(s)
\n", "\n", "\n", "\n", " \n", " \n", " \n", " \n", " \n", " \n", " \n", " \n", " \n", " \n", " \n", " \n", " \n", " \n", " \n", " \n", " \n", " \n", " \n", " \n", " \n", " \n", " \n", " \n", " \n", " \n", " \n", " \n", " \n", "\n", " \n", " \n", " \n", " \n", " \n", " \n", " \n", " \n", " \n", " \n", " \n", " \n", " \n", " \n", " \n", " \n", " \n", " \n", " \n", " \n", " \n", " \n", " \n", " \n", " \n", " \n", " \n", " \n", " \n", " \n", " \n", " \n", " \n", " \n", " \n", " \n", " \n", " \n", " \n", " \n", " \n", " \n", " \n", " \n", " \n", " \n", " \n", " \n", " \n", " \n", " \n", " \n", " \n", " \n", " \n", " \n", " \n", " \n", " \n", " \n", " \n", " \n", " \n", " \n", " \n", " \n", " \n", " \n", " \n", " \n", " \n", " \n", " \n", " \n", " \n", " \n", " \n", " \n", " \n", " \n", " \n", " \n", " \n", " \n", " \n", " \n", " \n", " \n", " \n", " \n", " \n", " \n", " \n", " \n", " \n", " \n", " \n", " \n", " \n", " \n", " \n", " \n", " \n", " \n", " \n", " \n", " \n", " \n", " \n", " \n", " \n", " \n", " \n", " \n", " \n", " \n", "
\n", "
words
\n", "
1 (object)
\n", " \n", " 		\n", "
num
\n", "
2 (int32)
\n", " \n", " 		\n", "
num_sum
\n", "
3 (int32)
\n", " \n", " 		\n", "
animals
\n", "
4 (object)
\n", " \n", " 		\n", "
thing
\n", "
5 (object)
\n", " \n", " 		\n", "
two strings
\n", "
6 (object)
\n", " \n", " 		\n", "
filter
\n", "
7 (object)
\n", " \n", " 		\n", "
num 2
\n", "
8 (string)
\n", " \n", " 		\n", "
col_array
\n", "
9 (object)
\n", " \n", " 		\n", "
col_int
\n", "
10 (object)
\n", " \n", " 		\n", "
new_col_1
\n", "
11 (int64)
\n", " \n", " 		\n", "
NEW COLUMN
\n", "
12 (object)
\n", " \n", "
\n", "
\n", " \n", " \n", " ⋅⋅I⋅like⋅⋅⋅⋅⋅fish⋅⋅\n", " \n", "
\n", " 		\n", "
\n", " \n", " \n", " 1\n", " \n", "
\n", " 		\n", "
\n", " \n", " \n", " 12\n", " \n", "
\n", " 		\n", "
\n", " \n", " \n", " dog\n", " \n", "
\n", " 		\n", "
\n", " \n", " \n", " housé\n", " \n", "
\n", " 		\n", "
\n", " \n", " \n", " cat-car\n", " \n", "
\n", " 		\n", "
\n", " \n", " \n", " a\n", " \n", "
\n", " 		\n", "
\n", " \n", " \n", " 1\n", " \n", "
\n", " 		\n", "
\n", " \n", " \n", " ['baby',⋅'sorry']\n", " \n", "
\n", " 		\n", "
\n", " \n", " \n", " [1,⋅2,⋅3]\n", " \n", "
\n", " 		\n", "
\n", " \n", " \n", " 1\n", " \n", "
\n", " 		\n", "
\n", " \n", " \n", " q\n", " \n", "
\n", "
\n", "
\n", " \n", " \n", " ⋅⋅⋅⋅zombies\n", " \n", "
\n", " 		\n", "
\n", " \n", " \n", " 2\n", " \n", "
\n", " 		\n", "
\n", " \n", " \n", " 13\n", " \n", "
\n", " 		\n", "
\n", " \n", " \n", " cat\n", " \n", "
\n", " 		\n", "
\n", " \n", " \n", " tv\n", " \n", "
\n", " 		\n", "
\n", " \n", " \n", " dog-tv\n", " \n", "
\n", " 		\n", "
\n", " \n", " \n", " b\n", " \n", "
\n", " 		\n", "
\n", " \n", " \n", " 2\n", " \n", "
\n", " 		\n", "
\n", " \n", " \n", " ['baby⋅1',⋅'sorry⋅1']\n", " \n", "
\n", " 		\n", "
\n", " \n", " \n", " [3,⋅4]\n", " \n", "
\n", " 		\n", "
\n", " \n", " \n", " 1\n", " \n", "
\n", " 		\n", "
\n", " \n", " \n", " w\n", " \n", "
\n", "
\n", "
\n", " \n", " \n", " simpsons⋅⋅⋅cat⋅lady\n", " \n", "
\n", " 		\n", "
\n", " \n", " \n", " 2\n", " \n", "
\n", " 		\n", "
\n", " \n", " \n", " 13\n", " \n", "
\n", " 		\n", "
\n", " \n", " \n", " frog\n", " \n", "
\n", " 		\n", "
\n", " \n", " \n", " table\n", " \n", "
\n", " 		\n", "
\n", " \n", " \n", " eagle-tv-plus\n", " \n", "
\n", " 		\n", "
\n", " \n", " \n", " 1\n", " \n", "
\n", " 		\n", "
\n", " \n", " \n", " 3\n", " \n", "
\n", " 		\n", "
\n", " \n", " \n", " ['baby⋅2',⋅'sorry⋅2']\n", " \n", "
\n", " 		\n", "
\n", " \n", " \n", " [5,⋅6,⋅7]\n", " \n", "
\n", " 		\n", "
\n", " \n", " \n", " 1\n", " \n", "
\n", " 		\n", "
\n", " \n", " \n", " e\n", " \n", "
\n", "
\n", "
\n", " \n", " \n", " None\n", " \n", "
\n", " 		\n", "
\n", " \n", " \n", " 3\n", " \n", "
\n", " 		\n", "
\n", " \n", " \n", " 14\n", " \n", "
\n", " 		\n", "
\n", " \n", " \n", " eagle\n", " \n", "
\n", " 		\n", "
\n", " \n", " \n", " glass\n", " \n", "
\n", " 		\n", "
\n", " \n", " \n", " lion-pc\n", " \n", "
\n", " 		\n", "
\n", " \n", " \n", " c\n", " \n", "
\n", " 		\n", "
\n", " \n", " \n", " 4\n", " \n", "
\n", " 		\n", "
\n", " \n", " \n", " ['baby⋅3',⋅'sorry⋅3']\n", " \n", "
\n", " 		\n", "
\n", " \n", " \n", " [7,⋅8]\n", " \n", "
\n", " 		\n", "
\n", " \n", " \n", " 1\n", " \n", "
\n", " 		\n", "
\n", " \n", " \n", " r\n", " \n", "
\n", "
\n", "
\n", "\n", "\n", "
Viewing 4 of 4 rows / 12 columns
\n", "
1 partition(s) <class 'optimus.engines.pandas.dataframe.PandasDataFrame'>
\n", "\n" ] }, "metadata": {} } ], "metadata": { "lines_to_end_of_cell_marker": 2 } }, { "cell_type": "markdown", "source": [ "### Set a value where the values of `num` and `num 2` are both greater than 2" ], "metadata": {} }, { "cell_type": "code", "execution_count": 40, "source": [ "where = (df[\"num\"] > 2) | (df[\"num 2\"]> 2)\n", "df.cols.set([\"num\", \"num 2\"], 10, where=where).display(highlight=[\"num\", \"num 2\"])" ], "outputs": [ { "output_type": "display_data", "data": { "text/plain": [ "" ], "text/html": [ "\n", "\n", "\n", "\n", "\n", "
Viewing 4 of 4 rows / 11 columns
\n", "
1 partition(s)
\n", "\n", "\n", "\n", " \n", " \n", " \n", " \n", " \n", " \n", " \n", " \n", " \n", " \n", " \n", " \n", " \n", " \n", " \n", " \n", " \n", " \n", " \n", " \n", " \n", " \n", " \n", " \n", " \n", " \n", " \n", "\n", " \n", " \n", " \n", " \n", " \n", " \n", " \n", " \n", " \n", " \n", " \n", " \n", " \n", " \n", " \n", " \n", " \n", " \n", " \n", " \n", " \n", " \n", " \n", " \n", " \n", " \n", " \n", " \n", " \n", " \n", " \n", " \n", " \n", " \n", " \n", " \n", " \n", " \n", " \n", " \n", " \n", " \n", " \n", " \n", " \n", " \n", " \n", " \n", " \n", " \n", " \n", " \n", " \n", " \n", " \n", " \n", " \n", " \n", " \n", " \n", " \n", " \n", " \n", " \n", " \n", " \n", " \n", " \n", " \n", " \n", " \n", " \n", " \n", " \n", " \n", " \n", " \n", " \n", " \n", " \n", " \n", " \n", " \n", " \n", " \n", " \n", " \n", " \n", " \n", " \n", " \n", " \n", " \n", " \n", " \n", " \n", " \n", " \n", " \n", " \n", " \n", " \n", " \n", " \n", " \n", " \n", " \n", " \n", "
\n", "
words
\n", "
1 (object)
\n", " \n", " 		\n", "
num
\n", "
2 (int64)
\n", " \n", " 		\n", "
animals
\n", "
3 (object)
\n", " \n", " 		\n", "
thing
\n", "
4 (object)
\n", " \n", " 		\n", "
two strings
\n", "
5 (object)
\n", " \n", " 		\n", "
filter
\n", "
6 (object)
\n", " \n", " 		\n", "
num 2
\n", "
7 (int64)
\n", " \n", " 		\n", "
col_array
\n", "
8 (object)
\n", " \n", " 		\n", "
col_int
\n", "
9 (object)
\n", " \n", " 		\n", "
new_col_1
\n", "
10 (int64)
\n", " \n", " 		\n", "
NEW COLUMN
\n", "
11 (object)
\n", " \n", "
\n", "
\n", " \n", " \n", " ⋅⋅I⋅like⋅⋅⋅⋅⋅fish⋅⋅\n", " \n", "
\n", " 		\n", "
\n", " \n", " \n", " 1\n", " \n", "
\n", " 		\n", "
\n", " \n", " \n", " dog\n", " \n", "
\n", " 		\n", "
\n", " \n", " \n", " housé\n", " \n", "
\n", " 		\n", "
\n", " \n", " \n", " cat-car\n", " \n", "
\n", " 		\n", "
\n", " \n", " \n", " a\n", " \n", "
\n", " 		\n", "
\n", " \n", " \n", " 1\n", " \n", "
\n", " 		\n", "
\n", " \n", " \n", " ['baby',⋅'sorry']\n", " \n", "
\n", " 		\n", "
\n", " \n", " \n", " [1,⋅2,⋅3]\n", " \n", "
\n", " 		\n", "
\n", " \n", " \n", " 1\n", " \n", "
\n", " 		\n", "
\n", " \n", " \n", " q\n", " \n", "
\n", "
\n", "
\n", " \n", " \n", " ⋅⋅⋅⋅zombies\n", " \n", "
\n", " 		\n", "
\n", " \n", " \n", " 2\n", " \n", "
\n", " 		\n", "
\n", " \n", " \n", " cat\n", " \n", "
\n", " 		\n", "
\n", " \n", " \n", " tv\n", " \n", "
\n", " 		\n", "
\n", " \n", " \n", " dog-tv\n", " \n", "
\n", " 		\n", "
\n", " \n", " \n", " b\n", " \n", "
\n", " 		\n", "
\n", " \n", " \n", " 2\n", " \n", "
\n", " 		\n", "
\n", " \n", " \n", " ['baby⋅1',⋅'sorry⋅1']\n", " \n", "
\n", " 		\n", "
\n", " \n", " \n", " [3,⋅4]\n", " \n", "
\n", " 		\n", "
\n", " \n", " \n", " 1\n", " \n", "
\n", " 		\n", "
\n", " \n", " \n", " w\n", " \n", "
\n", "
\n", "
\n", " \n", " \n", " simpsons⋅⋅⋅cat⋅lady\n", " \n", "
\n", " 		\n", "
\n", " \n", " \n", " 10\n", " \n", "
\n", " 		\n", "
\n", " \n", " \n", " frog\n", " \n", "
\n", " 		\n", "
\n", " \n", " \n", " table\n", " \n", "
\n", " 		\n", "
\n", " \n", " \n", " eagle-tv-plus\n", " \n", "
\n", " 		\n", "
\n", " \n", " \n", " 1\n", " \n", "
\n", " 		\n", "
\n", " \n", " \n", " 10\n", " \n", "
\n", " 		\n", "
\n", " \n", " \n", " ['baby⋅2',⋅'sorry⋅2']\n", " \n", "
\n", " 		\n", "
\n", " \n", " \n", " [5,⋅6,⋅7]\n", " \n", "
\n", " 		\n", "
\n", " \n", " \n", " 1\n", " \n", "
\n", " 		\n", "
\n", " \n", " \n", " e\n", " \n", "
\n", "
\n", "
\n", " \n", " \n", " None\n", " \n", "
\n", " 		\n", "
\n", " \n", " \n", " 10\n", " \n", "
\n", " 		\n", "
\n", " \n", " \n", " eagle\n", " \n", "
\n", " 		\n", "
\n", " \n", " \n", " glass\n", " \n", "
\n", " 		\n", "
\n", " \n", " \n", " lion-pc\n", " \n", "
\n", " 		\n", "
\n", " \n", " \n", " c\n", " \n", "
\n", " 		\n", "
\n", " \n", " \n", " 10\n", " \n", "
\n", " 		\n", "
\n", " \n", " \n", " ['baby⋅3',⋅'sorry⋅3']\n", " \n", "
\n", " 		\n", "
\n", " \n", " \n", " [7,⋅8]\n", " \n", "
\n", " 		\n", "
\n", " \n", " \n", " 1\n", " \n", "
\n", " 		\n", "
\n", " \n", " \n", " r\n", " \n", "
\n", "
\n", "
\n", "\n", "\n", "
Viewing 4 of 4 rows / 11 columns
\n", "
1 partition(s) <class 'optimus.engines.pandas.dataframe.PandasDataFrame'>
\n", "\n" ] }, "metadata": {} } ], "metadata": {} }, { "cell_type": "markdown", "source": [ "## Count Nulls" ], "metadata": {} }, { "cell_type": "code", "execution_count": 41, "source": [ "df_null = op.create.dataframe(session=[1,1,1,1,1,1,1], timestamp=[1,2,3,4,5,6,6], id=[None, 5.0, op.nan, None, 10.0, op.nan, op.nan])\n", "df_null" ], "outputs": [ { "output_type": "execute_result", "data": { "text/plain": [ " session timestamp id\n", " (int64) (int64) (float64)\n", "--------- ----------- -----------\n", " 1 1 nan\n", " 1 2 5\n", " 1 3 nan\n", " 1 4 nan\n", " 1 5 10\n", " 1 6 nan\n", " 1 6 nan" ], "text/html": [ "\n", "\n", "\n", "\n", "\n", "
Viewing 7 of 7 rows / 3 columns
\n", "
1 partition(s)
\n", "\n", "\n", "\n", " \n", " \n", " \n", " \n", " \n", " \n", " \n", " \n", " \n", " \n", " \n", "\n", " \n", " \n", " \n", " \n", " \n", " \n", " \n", " \n", " \n", " \n", " \n", " \n", " \n", " \n", " \n", " \n", " \n", " \n", " \n", " \n", " \n", " \n", " \n", " \n", " \n", " \n", " \n", " \n", " \n", " \n", " \n", " \n", " \n", " \n", " \n", " \n", " \n", " \n", " \n", " \n", " \n", " \n", " \n", " \n", " \n", " \n", " \n", " \n", " \n", " \n", " \n", " \n", " \n", " \n", " \n", " \n", " \n", " \n", " \n", " \n", " \n", " \n", " \n", " \n", " \n", " \n", " \n", " \n", " \n", " \n", " \n", " \n", " \n", " \n", "
\n", "
session
\n", "
1 (int64)
\n", " \n", " 		\n", "
timestamp
\n", "
2 (int64)
\n", " \n", " 		\n", "
id
\n", "
3 (float64)
\n", " \n", "
\n", "
\n", " \n", " \n", " 1\n", " \n", "
\n", " 		\n", "
\n", " \n", " \n", " 1\n", " \n", "
\n", " 		\n", "
\n", " \n", " \n", " nan\n", " \n", "
\n", "
\n", "
\n", " \n", " \n", " 1\n", " \n", "
\n", " 		\n", "
\n", " \n", " \n", " 2\n", " \n", "
\n", " 		\n", "
\n", " \n", " \n", " 5.0\n", " \n", "
\n", "
\n", "
\n", " \n", " \n", " 1\n", " \n", "
\n", " 		\n", "
\n", " \n", " \n", " 3\n", " \n", "
\n", " 		\n", "
\n", " \n", " \n", " nan\n", " \n", "
\n", "
\n", "
\n", " \n", " \n", " 1\n", " \n", "
\n", " 		\n", "
\n", " \n", " \n", " 4\n", " \n", "
\n", " 		\n", "
\n", " \n", " \n", " nan\n", " \n", "
\n", "
\n", "
\n", " \n", " \n", " 1\n", " \n", "
\n", " 		\n", "
\n", " \n", " \n", " 5\n", " \n", "
\n", " 		\n", "
\n", " \n", " \n", " 10.0\n", " \n", "
\n", "
\n", "
\n", " \n", " \n", " 1\n", " \n", "
\n", " 		\n", "
\n", " \n", " \n", " 6\n", " \n", "
\n", " 		\n", "
\n", " \n", " \n", " nan\n", " \n", "
\n", "
\n", "
\n", " \n", " \n", " 1\n", " \n", "
\n", " 		\n", "
\n", " \n", " \n", " 6\n", " \n", "
\n", " 		\n", "
\n", " \n", " \n", " nan\n", " \n", "
\n", "
\n", "
\n", "\n", "\n", "
Viewing 7 of 7 rows / 3 columns
\n", "
1 partition(s) <class 'optimus.engines.pandas.dataframe.PandasDataFrame'>
\n", "\n" ] }, "metadata": {}, "execution_count": 41 } ], "metadata": {} }, { "cell_type": "code", "execution_count": 42, "source": [ "df_null.cols.count_nulls(\"id\")" ], "outputs": [ { "output_type": "execute_result", "data": { "text/plain": [ "5" ] }, "metadata": {}, "execution_count": 42 } ], "metadata": {} }, { "cell_type": "code", "execution_count": 43, "source": [ "df_null.cols.count_nulls(\"*\")" ], "outputs": [ { "output_type": "execute_result", "data": { "text/plain": [ "{'session': 0, 'timestamp': 0, 'id': 5}" ] }, "metadata": {}, "execution_count": 43 } ], "metadata": {} }, { "cell_type": "markdown", "source": [ "## Count uniques\n" ], "metadata": {} }, { "cell_type": "code", "execution_count": 44, "source": [ "df.cols.count_uniques(\"*\")" ], "outputs": [ { "output_type": "execute_result", "data": { "text/plain": [ "{'words': 4,\n", " 'num': 3,\n", " 'animals': 4,\n", " 'thing': 4,\n", " 'two strings': 4,\n", " 'filter': 4,\n", " 'num 2': 4,\n", " 'col_array': 4,\n", " 'col_int': 4,\n", " 'new_col_1': 1,\n", " 'NEW COLUMN': 4}" ] }, "metadata": {}, "execution_count": 44 } ], "metadata": {} }, { "cell_type": "markdown", "source": [ "## Unique" ], "metadata": {} }, { "cell_type": "code", "execution_count": 45, "source": [ "df.display()" ], "outputs": [ { "output_type": "display_data", "data": { "text/plain": [ "" ], "text/html": [ "\n", "\n", "\n", "\n", "\n", "
Viewing 4 of 4 rows / 11 columns
\n", "
1 partition(s)
\n", "\n", "\n", "\n", " \n", " \n", " \n", " \n", " \n", " \n", " \n", " \n", " \n", " \n", " \n", " \n", " \n", " \n", " \n", " \n", " \n", " \n", " \n", " \n", " \n", " \n", " \n", " \n", " \n", " \n", " \n", "\n", " \n", " \n", " \n", " \n", " \n", " \n", " \n", " \n", " \n", " \n", " \n", " \n", " \n", " \n", " \n", " \n", " \n", " \n", " \n", " \n", " \n", " \n", " \n", " \n", " \n", " \n", " \n", " \n", " \n", " \n", " \n", " \n", " \n", " \n", " \n", " \n", " \n", " \n", " \n", " \n", " \n", " \n", " \n", " \n", " \n", " \n", " \n", " \n", " \n", " \n", " \n", " \n", " \n", " \n", " \n", " \n", " \n", " \n", " \n", " \n", " \n", " \n", " \n", " \n", " \n", " \n", " \n", " \n", " \n", " \n", " \n", " \n", " \n", " \n", " \n", " \n", " \n", " \n", " \n", " \n", " \n", " \n", " \n", " \n", " \n", " \n", " \n", " \n", " \n", " \n", " \n", " \n", " \n", " \n", " \n", " \n", " \n", " \n", " \n", " \n", " \n", " \n", " \n", " \n", " \n", " \n", " \n", " \n", "
\n", "
words
\n", "
1 (object)
\n", " \n", " 		\n", "
num
\n", "
2 (int32)
\n", " \n", " 		\n", "
animals
\n", "
3 (object)
\n", " \n", " 		\n", "
thing
\n", "
4 (object)
\n", " \n", " 		\n", "
two strings
\n", "
5 (object)
\n", " \n", " 		\n", "
filter
\n", "
6 (object)
\n", " \n", " 		\n", "
num 2
\n", "
7 (string)
\n", " \n", " 		\n", "
col_array
\n", "
8 (object)
\n", " \n", " 		\n", "
col_int
\n", "
9 (object)
\n", " \n", " 		\n", "
new_col_1
\n", "
10 (int64)
\n", " \n", " 		\n", "
NEW COLUMN
\n", "
11 (object)
\n", " \n", "
\n", "
\n", " \n", " \n", " ⋅⋅I⋅like⋅⋅⋅⋅⋅fish⋅⋅\n", " \n", "
\n", " 		\n", "
\n", " \n", " \n", " 1\n", " \n", "
\n", " 		\n", "
\n", " \n", " \n", " dog\n", " \n", "
\n", " 		\n", "
\n", " \n", " \n", " housé\n", " \n", "
\n", " 		\n", "
\n", " \n", " \n", " cat-car\n", " \n", "
\n", " 		\n", "
\n", " \n", " \n", " a\n", " \n", "
\n", " 		\n", "
\n", " \n", " \n", " 1\n", " \n", "
\n", " 		\n", "
\n", " \n", " \n", " ['baby',⋅'sorry']\n", " \n", "
\n", " 		\n", "
\n", " \n", " \n", " [1,⋅2,⋅3]\n", " \n", "
\n", " 		\n", "
\n", " \n", " \n", " 1\n", " \n", "
\n", " 		\n", "
\n", " \n", " \n", " q\n", " \n", "
\n", "
\n", "
\n", " \n", " \n", " ⋅⋅⋅⋅zombies\n", " \n", "
\n", " 		\n", "
\n", " \n", " \n", " 2\n", " \n", "
\n", " 		\n", "
\n", " \n", " \n", " cat\n", " \n", "
\n", " 		\n", "
\n", " \n", " \n", " tv\n", " \n", "
\n", " 		\n", "
\n", " \n", " \n", " dog-tv\n", " \n", "
\n", " 		\n", "
\n", " \n", " \n", " b\n", " \n", "
\n", " 		\n", "
\n", " \n", " \n", " 2\n", " \n", "
\n", " 		\n", "
\n", " \n", " \n", " ['baby⋅1',⋅'sorry⋅1']\n", " \n", "
\n", " 		\n", "
\n", " \n", " \n", " [3,⋅4]\n", " \n", "
\n", " 		\n", "
\n", " \n", " \n", " 1\n", " \n", "
\n", " 		\n", "
\n", " \n", " \n", " w\n", " \n", "
\n", "
\n", "
\n", " \n", " \n", " simpsons⋅⋅⋅cat⋅lady\n", " \n", "
\n", " 		\n", "
\n", " \n", " \n", " 2\n", " \n", "
\n", " 		\n", "
\n", " \n", " \n", " frog\n", " \n", "
\n", " 		\n", "
\n", " \n", " \n", " table\n", " \n", "
\n", " 		\n", "
\n", " \n", " \n", " eagle-tv-plus\n", " \n", "
\n", " 		\n", "
\n", " \n", " \n", " 1\n", " \n", "
\n", " 		\n", "
\n", " \n", " \n", " 3\n", " \n", "
\n", " 		\n", "
\n", " \n", " \n", " ['baby⋅2',⋅'sorry⋅2']\n", " \n", "
\n", " 		\n", "
\n", " \n", " \n", " [5,⋅6,⋅7]\n", " \n", "
\n", " 		\n", "
\n", " \n", " \n", " 1\n", " \n", "
\n", " 		\n", "
\n", " \n", " \n", " e\n", " \n", "
\n", "
\n", "
\n", " \n", " \n", " None\n", " \n", "
\n", " 		\n", "
\n", " \n", " \n", " 3\n", " \n", "
\n", " 		\n", "
\n", " \n", " \n", " eagle\n", " \n", "
\n", " 		\n", "
\n", " \n", " \n", " glass\n", " \n", "
\n", " 		\n", "
\n", " \n", " \n", " lion-pc\n", " \n", "
\n", " 		\n", "
\n", " \n", " \n", " c\n", " \n", "
\n", " 		\n", "
\n", " \n", " \n", " 4\n", " \n", "
\n", " 		\n", "
\n", " \n", " \n", " ['baby⋅3',⋅'sorry⋅3']\n", " \n", "
\n", " 		\n", "
\n", " \n", " \n", " [7,⋅8]\n", " \n", "
\n", " 		\n", "
\n", " \n", " \n", " 1\n", " \n", "
\n", " 		\n", "
\n", " \n", " \n", " r\n", " \n", "
\n", "
\n", "
\n", "\n", "\n", "
Viewing 4 of 4 rows / 11 columns
\n", "
1 partition(s) <class 'optimus.engines.pandas.dataframe.PandasDataFrame'>
\n", "\n" ] }, "metadata": {} } ], "metadata": {} }, { "cell_type": "code", "execution_count": 46, "source": [ "df_distinct = op.create.dataframe({\n", " (\"words\", \"str\"): [\" I like fish \", \" zombies\", \"simpsons cat lady\", None, None],\n", " (\"num\", \"int\"): [1,2,2,3,0],\n", "})\n", "df_distinct" ], "outputs": [ { "output_type": "execute_result", "data": { "text/plain": [ "words num\n", "(object) (int32)\n", "------------------- ---------\n", "I like fish 1\n", "zombies 2\n", "simpsons cat lady 2\n", " 3\n", " 0" ], "text/html": [ "\n", "\n", "\n", "\n", "\n", "
Viewing 5 of 5 rows / 2 columns
\n", "
1 partition(s)
\n", "\n", "\n", "\n", " \n", " \n", " \n", " \n", " \n", " \n", " \n", " \n", " \n", "\n", " \n", " \n", " \n", " \n", " \n", " \n", " \n", " \n", " \n", " \n", " \n", " \n", " \n", " \n", " \n", " \n", " \n", " \n", " \n", " \n", " \n", " \n", " \n", " \n", " \n", " \n", " \n", " \n", " \n", " \n", " \n", " \n", " \n", " \n", " \n", " \n", " \n", " \n", " \n", " \n", " \n", " \n", " \n", " \n", "
\n", "
words
\n", "
1 (object)
\n", " \n", " 		\n", "
num
\n", "
2 (int32)
\n", " \n", "
\n", "
\n", " \n", " \n", " ⋅⋅I⋅like⋅⋅⋅⋅fish⋅⋅\n", " \n", "
\n", " 		\n", "
\n", " \n", " \n", " 1\n", " \n", "
\n", "
\n", "
\n", " \n", " \n", " ⋅⋅⋅⋅zombies\n", " \n", "
\n", " 		\n", "
\n", " \n", " \n", " 2\n", " \n", "
\n", "
\n", "
\n", " \n", " \n", " simpsons⋅⋅⋅cat⋅lady\n", " \n", "
\n", " 		\n", "
\n", " \n", " \n", " 2\n", " \n", "
\n", "
\n", "
\n", " \n", " \n", " None\n", " \n", "
\n", " 		\n", "
\n", " \n", " \n", " 3\n", " \n", "
\n", "
\n", "
\n", " \n", " \n", " None\n", " \n", "
\n", " 		\n", "
\n", " \n", " \n", " 0\n", " \n", "
\n", "
\n", "
\n", "\n", "\n", "
Viewing 5 of 5 rows / 2 columns
\n", "
1 partition(s) <class 'optimus.engines.pandas.dataframe.PandasDataFrame'>
\n", "\n" ] }, "metadata": {}, "execution_count": 46 } ], "metadata": {} }, { "cell_type": "code", "execution_count": 47, "source": [ "df_distinct.rows.unique(\"num\").print()" ], "outputs": [ { "output_type": "stream", "name": "stdout", "text": [ "words num\n", "(object) (int32)\n", "-------------- ---------\n", "I like fish 1\n", "zombies 2\n", " 3\n", " 0\n", "\n" ] } ], "metadata": {} }, { "cell_type": "markdown", "source": [ "## Count Zeros" ], "metadata": {} }, { "cell_type": "code", "execution_count": 48, "source": [ "df_zeros = df_distinct\n", "df_zeros.cols.count_zeros(\"*\")" ], "outputs": [ { "output_type": "execute_result", "data": { "text/plain": [ "{'words': 0, 'num': 1}" ] }, "metadata": {}, "execution_count": 48 } ], "metadata": {} }, { "cell_type": "markdown", "source": [ "## Column Data Types" ], "metadata": {} }, { "cell_type": "code", "execution_count": 49, "source": [ "df.cols.dtypes('*')" ], "outputs": [ { "output_type": "execute_result", "data": { "text/plain": [ "{'words': 'object',\n", " 'num': 'int32',\n", " 'animals': 'object',\n", " 'thing': 'object',\n", " 'two strings': 'object',\n", " 'filter': 'object',\n", " 'num 2': 'string',\n", " 'col_array': 'object',\n", " 'col_int': 'object',\n", " 'new_col_1': 'int64',\n", " 'NEW COLUMN': 'object'}" ] }, "metadata": {}, "execution_count": 49 } ], "metadata": {} }, { "cell_type": "markdown", "source": [ "## Replace" ], "metadata": {} }, { "cell_type": "code", "execution_count": 50, "source": [ "df.display(highlight=\"animals\")" ], "outputs": [ { "output_type": "display_data", "data": { "text/plain": [ "" ], "text/html": [ "\n", "\n", "\n", "\n", "\n", "
Viewing 4 of 4 rows / 11 columns
\n", "
1 partition(s)
\n", "\n", "\n", "\n", " \n", " \n", " \n", " \n", " \n", " \n", " \n", " \n", " \n", " \n", " \n", " \n", " \n", " \n", " \n", " \n", " \n", " \n", " \n", " \n", " \n", " \n", " \n", " \n", " \n", " \n", " \n", "\n", " \n", " \n", " \n", " \n", " \n", " \n", " \n", " \n", " \n", " \n", " \n", " \n", " \n", " \n", " \n", " \n", " \n", " \n", " \n", " \n", " \n", " \n", " \n", " \n", " \n", " \n", " \n", " \n", " \n", " \n", " \n", " \n", " \n", " \n", " \n", " \n", " \n", " \n", " \n", " \n", " \n", " \n", " \n", " \n", " \n", " \n", " \n", " \n", " \n", " \n", " \n", " \n", " \n", " \n", " \n", " \n", " \n", " \n", " \n", " \n", " \n", " \n", " \n", " \n", " \n", " \n", " \n", " \n", " \n", " \n", " \n", " \n", " \n", " \n", " \n", " \n", " \n", " \n", " \n", " \n", " \n", " \n", " \n", " \n", " \n", " \n", " \n", " \n", " \n", " \n", " \n", " \n", " \n", " \n", " \n", " \n", " \n", " \n", " \n", " \n", " \n", " \n", " \n", " \n", " \n", " \n", " \n", " \n", "
\n", "
words
\n", "
1 (object)
\n", " \n", " 		\n", "
num
\n", "
2 (int32)
\n", " \n", " 		\n", "
animals
\n", "
3 (object)
\n", " \n", " 		\n", "
thing
\n", "
4 (object)
\n", " \n", " 		\n", "
two strings
\n", "
5 (object)
\n", " \n", " 		\n", "
filter
\n", "
6 (object)
\n", " \n", " 		\n", "
num 2
\n", "
7 (string)
\n", " \n", " 		\n", "
col_array
\n", "
8 (object)
\n", " \n", " 		\n", "
col_int
\n", "
9 (object)
\n", " \n", " 		\n", "
new_col_1
\n", "
10 (int64)
\n", " \n", " 		\n", "
NEW COLUMN
\n", "
11 (object)
\n", " \n", "
\n", "
\n", " \n", " \n", " ⋅⋅I⋅like⋅⋅⋅⋅⋅fish⋅⋅\n", " \n", "
\n", " 		\n", "
\n", " \n", " \n", " 1\n", " \n", "
\n", " 		\n", "
\n", " \n", " \n", " dog\n", " \n", "
\n", " 		\n", "
\n", " \n", " \n", " housé\n", " \n", "
\n", " 		\n", "
\n", " \n", " \n", " cat-car\n", " \n", "
\n", " 		\n", "
\n", " \n", " \n", " a\n", " \n", "
\n", " 		\n", "
\n", " \n", " \n", " 1\n", " \n", "
\n", " 		\n", "
\n", " \n", " \n", " ['baby',⋅'sorry']\n", " \n", "
\n", " 		\n", "
\n", " \n", " \n", " [1,⋅2,⋅3]\n", " \n", "
\n", " 		\n", "
\n", " \n", " \n", " 1\n", " \n", "
\n", " 		\n", "
\n", " \n", " \n", " q\n", " \n", "
\n", "
\n", "
\n", " \n", " \n", " ⋅⋅⋅⋅zombies\n", " \n", "
\n", " 		\n", "
\n", " \n", " \n", " 2\n", " \n", "
\n", " 		\n", "
\n", " \n", " \n", " cat\n", " \n", "
\n", " 		\n", "
\n", " \n", " \n", " tv\n", " \n", "
\n", " 		\n", "
\n", " \n", " \n", " dog-tv\n", " \n", "
\n", " 		\n", "
\n", " \n", " \n", " b\n", " \n", "
\n", " 		\n", "
\n", " \n", " \n", " 2\n", " \n", "
\n", " 		\n", "
\n", " \n", " \n", " ['baby⋅1',⋅'sorry⋅1']\n", " \n", "
\n", " 		\n", "
\n", " \n", " \n", " [3,⋅4]\n", " \n", "
\n", " 		\n", "
\n", " \n", " \n", " 1\n", " \n", "
\n", " 		\n", "
\n", " \n", " \n", " w\n", " \n", "
\n", "
\n", "
\n", " \n", " \n", " simpsons⋅⋅⋅cat⋅lady\n", " \n", "
\n", " 		\n", "
\n", " \n", " \n", " 2\n", " \n", "
\n", " 		\n", "
\n", " \n", " \n", " frog\n", " \n", "
\n", " 		\n", "
\n", " \n", " \n", " table\n", " \n", "
\n", " 		\n", "
\n", " \n", " \n", " eagle-tv-plus\n", " \n", "
\n", " 		\n", "
\n", " \n", " \n", " 1\n", " \n", "
\n", " 		\n", "
\n", " \n", " \n", " 3\n", " \n", "
\n", " 		\n", "
\n", " \n", " \n", " ['baby⋅2',⋅'sorry⋅2']\n", " \n", "
\n", " 		\n", "
\n", " \n", " \n", " [5,⋅6,⋅7]\n", " \n", "
\n", " 		\n", "
\n", " \n", " \n", " 1\n", " \n", "
\n", " 		\n", "
\n", " \n", " \n", " e\n", " \n", "
\n", "
\n", "
\n", " \n", " \n", " None\n", " \n", "
\n", " 		\n", "
\n", " \n", " \n", " 3\n", " \n", "
\n", " 		\n", "
\n", " \n", " \n", " eagle\n", " \n", "
\n", " 		\n", "
\n", " \n", " \n", " glass\n", " \n", "
\n", " 		\n", "
\n", " \n", " \n", " lion-pc\n", " \n", "
\n", " 		\n", "
\n", " \n", " \n", " c\n", " \n", "
\n", " 		\n", "
\n", " \n", " \n", " 4\n", " \n", "
\n", " 		\n", "
\n", " \n", " \n", " ['baby⋅3',⋅'sorry⋅3']\n", " \n", "
\n", " 		\n", "
\n", " \n", " \n", " [7,⋅8]\n", " \n", "
\n", " 		\n", "
\n", " \n", " \n", " 1\n", " \n", "
\n", " 		\n", "
\n", " \n", " \n", " r\n", " \n", "
\n", "
\n", "
\n", "\n", "\n", "
Viewing 4 of 4 rows / 11 columns
\n", "
1 partition(s) <class 'optimus.engines.pandas.dataframe.PandasDataFrame'>
\n", "\n" ] }, "metadata": {} } ], "metadata": {} }, { "cell_type": "markdown", "source": [ "### Replace `\"dog\"` and `\"cat\"` in `animals` by the string `\"animals\"`" ], "metadata": {} }, { "cell_type": "code", "execution_count": 51, "source": [ "df.cols.replace(\"animals\", [\"dog\", \"cat\"], \"animals\").display(highlight=\"animals\")" ], "outputs": [ { "output_type": "display_data", "data": { "text/plain": [ "" ], "text/html": [ "\n", "\n", "\n", "\n", "\n", "
Viewing 4 of 4 rows / 11 columns
\n", "
1 partition(s)
\n", "\n", "\n", "\n", " \n", " \n", " \n", " \n", " \n", " \n", " \n", " \n", " \n", " \n", " \n", " \n", " \n", " \n", " \n", " \n", " \n", " \n", " \n", " \n", " \n", " \n", " \n", " \n", " \n", " \n", " \n", "\n", " \n", " \n", " \n", " \n", " \n", " \n", " \n", " \n", " \n", " \n", " \n", " \n", " \n", " \n", " \n", " \n", " \n", " \n", " \n", " \n", " \n", " \n", " \n", " \n", " \n", " \n", " \n", " \n", " \n", " \n", " \n", " \n", " \n", " \n", " \n", " \n", " \n", " \n", " \n", " \n", " \n", " \n", " \n", " \n", " \n", " \n", " \n", " \n", " \n", " \n", " \n", " \n", " \n", " \n", " \n", " \n", " \n", " \n", " \n", " \n", " \n", " \n", " \n", " \n", " \n", " \n", " \n", " \n", " \n", " \n", " \n", " \n", " \n", " \n", " \n", " \n", " \n", " \n", " \n", " \n", " \n", " \n", " \n", " \n", " \n", " \n", " \n", " \n", " \n", " \n", " \n", " \n", " \n", " \n", " \n", " \n", " \n", " \n", " \n", " \n", " \n", " \n", " \n", " \n", " \n", " \n", " \n", " \n", "
\n", "
words
\n", "
1 (object)
\n", " \n", " 		\n", "
num
\n", "
2 (int32)
\n", " \n", " 		\n", "
animals
\n", "
3 (object)
\n", " \n", " 		\n", "
thing
\n", "
4 (object)
\n", " \n", " 		\n", "
two strings
\n", "
5 (object)
\n", " \n", " 		\n", "
filter
\n", "
6 (object)
\n", " \n", " 		\n", "
num 2
\n", "
7 (string)
\n", " \n", " 		\n", "
col_array
\n", "
8 (object)
\n", " \n", " 		\n", "
col_int
\n", "
9 (object)
\n", " \n", " 		\n", "
new_col_1
\n", "
10 (int64)
\n", " \n", " 		\n", "
NEW COLUMN
\n", "
11 (object)
\n", " \n", "
\n", "
\n", " \n", " \n", " ⋅⋅I⋅like⋅⋅⋅⋅⋅fish⋅⋅\n", " \n", "
\n", " 		\n", "
\n", " \n", " \n", " 1\n", " \n", "
\n", " 		\n", "
\n", " \n", " \n", " animals\n", " \n", "
\n", " 		\n", "
\n", " \n", " \n", " housé\n", " \n", "
\n", " 		\n", "
\n", " \n", " \n", " cat-car\n", " \n", "
\n", " 		\n", "
\n", " \n", " \n", " a\n", " \n", "
\n", " 		\n", "
\n", " \n", " \n", " 1\n", " \n", "
\n", " 		\n", "
\n", " \n", " \n", " ['baby',⋅'sorry']\n", " \n", "
\n", " 		\n", "
\n", " \n", " \n", " [1,⋅2,⋅3]\n", " \n", "
\n", " 		\n", "
\n", " \n", " \n", " 1\n", " \n", "
\n", " 		\n", "
\n", " \n", " \n", " q\n", " \n", "
\n", "
\n", "
\n", " \n", " \n", " ⋅⋅⋅⋅zombies\n", " \n", "
\n", " 		\n", "
\n", " \n", " \n", " 2\n", " \n", "
\n", " 		\n", "
\n", " \n", " \n", " animals\n", " \n", "
\n", " 		\n", "
\n", " \n", " \n", " tv\n", " \n", "
\n", " 		\n", "
\n", " \n", " \n", " dog-tv\n", " \n", "
\n", " 		\n", "
\n", " \n", " \n", " b\n", " \n", "
\n", " 		\n", "
\n", " \n", " \n", " 2\n", " \n", "
\n", " 		\n", "
\n", " \n", " \n", " ['baby⋅1',⋅'sorry⋅1']\n", " \n", "
\n", " 		\n", "
\n", " \n", " \n", " [3,⋅4]\n", " \n", "
\n", " 		\n", "
\n", " \n", " \n", " 1\n", " \n", "
\n", " 		\n", "
\n", " \n", " \n", " w\n", " \n", "
\n", "
\n", "
\n", " \n", " \n", " simpsons⋅⋅⋅cat⋅lady\n", " \n", "
\n", " 		\n", "
\n", " \n", " \n", " 2\n", " \n", "
\n", " 		\n", "
\n", " \n", " \n", " frog\n", " \n", "
\n", " 		\n", "
\n", " \n", " \n", " table\n", " \n", "
\n", " 		\n", "
\n", " \n", " \n", " eagle-tv-plus\n", " \n", "
\n", " 		\n", "
\n", " \n", " \n", " 1\n", " \n", "
\n", " 		\n", "
\n", " \n", " \n", " 3\n", " \n", "
\n", " 		\n", "
\n", " \n", " \n", " ['baby⋅2',⋅'sorry⋅2']\n", " \n", "
\n", " 		\n", "
\n", " \n", " \n", " [5,⋅6,⋅7]\n", " \n", "
\n", " 		\n", "
\n", " \n", " \n", " 1\n", " \n", "
\n", " 		\n", "
\n", " \n", " \n", " e\n", " \n", "
\n", "
\n", "
\n", " \n", " \n", " None\n", " \n", "
\n", " 		\n", "
\n", " \n", " \n", " 3\n", " \n", "
\n", " 		\n", "
\n", " \n", " \n", " eagle\n", " \n", "
\n", " 		\n", "
\n", " \n", " \n", " glass\n", " \n", "
\n", " 		\n", "
\n", " \n", " \n", " lion-pc\n", " \n", "
\n", " 		\n", "
\n", " \n", " \n", " c\n", " \n", "
\n", " 		\n", "
\n", " \n", " \n", " 4\n", " \n", "
\n", " 		\n", "
\n", " \n", " \n", " ['baby⋅3',⋅'sorry⋅3']\n", " \n", "
\n", " 		\n", "
\n", " \n", " \n", " [7,⋅8]\n", " \n", "
\n", " 		\n", "
\n", " \n", " \n", " 1\n", " \n", "
\n", " 		\n", "
\n", " \n", " \n", " r\n", " \n", "
\n", "
\n", "
\n", "\n", "\n", "
Viewing 4 of 4 rows / 11 columns
\n", "
1 partition(s) <class 'optimus.engines.pandas.dataframe.PandasDataFrame'>
\n", "\n" ] }, "metadata": {} } ], "metadata": {} }, { "cell_type": "markdown", "source": [ "### Replace `\"dog-tv\"`, `\"cat\"`, `\"eagle\"` and `\"fish\"` in columns `two strings` and `animals` by the string `\"animals\"`" ], "metadata": {} }, { "cell_type": "code", "execution_count": 52, "source": [ "df.cols.replace([\"two strings\", \"animals\"], [\"dog-tv\", \"cat\", \"eagle\", \"fish\"], \"animals\").display(highlight=[\"animals\", \"two strings\"])" ], "outputs": [ { "output_type": "display_data", "data": { "text/plain": [ "" ], "text/html": [ "\n", "\n", "\n", "\n", "\n", "
Viewing 4 of 4 rows / 11 columns
\n", "
1 partition(s)
\n", "\n", "\n", "\n", " \n", " \n", " \n", " \n", " \n", " \n", " \n", " \n", " \n", " \n", " \n", " \n", " \n", " \n", " \n", " \n", " \n", " \n", " \n", " \n", " \n", " \n", " \n", " \n", " \n", " \n", " \n", "\n", " \n", " \n", " \n", " \n", " \n", " \n", " \n", " \n", " \n", " \n", " \n", " \n", " \n", " \n", " \n", " \n", " \n", " \n", " \n", " \n", " \n", " \n", " \n", " \n", " \n", " \n", " \n", " \n", " \n", " \n", " \n", " \n", " \n", " \n", " \n", " \n", " \n", " \n", " \n", " \n", " \n", " \n", " \n", " \n", " \n", " \n", " \n", " \n", " \n", " \n", " \n", " \n", " \n", " \n", " \n", " \n", " \n", " \n", " \n", " \n", " \n", " \n", " \n", " \n", " \n", " \n", " \n", " \n", " \n", " \n", " \n", " \n", " \n", " \n", " \n", " \n", " \n", " \n", " \n", " \n", " \n", " \n", " \n", " \n", " \n", " \n", " \n", " \n", " \n", " \n", " \n", " \n", " \n", " \n", " \n", " \n", " \n", " \n", " \n", " \n", " \n", " \n", " \n", " \n", " \n", " \n", " \n", " \n", "
\n", "
words
\n", "
1 (object)
\n", " \n", " 		\n", "
num
\n", "
2 (int32)
\n", " \n", " 		\n", "
animals
\n", "
3 (object)
\n", " \n", " 		\n", "
thing
\n", "
4 (object)
\n", " \n", " 		\n", "
two strings
\n", "
5 (object)
\n", " \n", " 		\n", "
filter
\n", "
6 (object)
\n", " \n", " 		\n", "
num 2
\n", "
7 (string)
\n", " \n", " 		\n", "
col_array
\n", "
8 (object)
\n", " \n", " 		\n", "
col_int
\n", "
9 (object)
\n", " \n", " 		\n", "
new_col_1
\n", "
10 (int64)
\n", " \n", " 		\n", "
NEW COLUMN
\n", "
11 (object)
\n", " \n", "
\n", "
\n", " \n", " \n", " ⋅⋅I⋅like⋅⋅⋅⋅⋅fish⋅⋅\n", " \n", "
\n", " 		\n", "
\n", " \n", " \n", " 1\n", " \n", "
\n", " 		\n", "
\n", " \n", " \n", " dog\n", " \n", "
\n", " 		\n", "
\n", " \n", " \n", " housé\n", " \n", "
\n", " 		\n", "
\n", " \n", " \n", " animals-car\n", " \n", "
\n", " 		\n", "
\n", " \n", " \n", " a\n", " \n", "
\n", " 		\n", "
\n", " \n", " \n", " 1\n", " \n", "
\n", " 		\n", "
\n", " \n", " \n", " ['baby',⋅'sorry']\n", " \n", "
\n", " 		\n", "
\n", " \n", " \n", " [1,⋅2,⋅3]\n", " \n", "
\n", " 		\n", "
\n", " \n", " \n", " 1\n", " \n", "
\n", " 		\n", "
\n", " \n", " \n", " q\n", " \n", "
\n", "
\n", "
\n", " \n", " \n", " ⋅⋅⋅⋅zombies\n", " \n", "
\n", " 		\n", "
\n", " \n", " \n", " 2\n", " \n", "
\n", " 		\n", "
\n", " \n", " \n", " animals\n", " \n", "
\n", " 		\n", "
\n", " \n", " \n", " tv\n", " \n", "
\n", " 		\n", "
\n", " \n", " \n", " animals\n", " \n", "
\n", " 		\n", "
\n", " \n", " \n", " b\n", " \n", "
\n", " 		\n", "
\n", " \n", " \n", " 2\n", " \n", "
\n", " 		\n", "
\n", " \n", " \n", " ['baby⋅1',⋅'sorry⋅1']\n", " \n", "
\n", " 		\n", "
\n", " \n", " \n", " [3,⋅4]\n", " \n", "
\n", " 		\n", "
\n", " \n", " \n", " 1\n", " \n", "
\n", " 		\n", "
\n", " \n", " \n", " w\n", " \n", "
\n", "
\n", "
\n", " \n", " \n", " simpsons⋅⋅⋅cat⋅lady\n", " \n", "
\n", " 		\n", "
\n", " \n", " \n", " 2\n", " \n", "
\n", " 		\n", "
\n", " \n", " \n", " frog\n", " \n", "
\n", " 		\n", "
\n", " \n", " \n", " table\n", " \n", "
\n", " 		\n", "
\n", " \n", " \n", " animals-tv-plus\n", " \n", "
\n", " 		\n", "
\n", " \n", " \n", " 1\n", " \n", "
\n", " 		\n", "
\n", " \n", " \n", " 3\n", " \n", "
\n", " 		\n", "
\n", " \n", " \n", " ['baby⋅2',⋅'sorry⋅2']\n", " \n", "
\n", " 		\n", "
\n", " \n", " \n", " [5,⋅6,⋅7]\n", " \n", "
\n", " 		\n", "
\n", " \n", " \n", " 1\n", " \n", "
\n", " 		\n", "
\n", " \n", " \n", " e\n", " \n", "
\n", "
\n", "
\n", " \n", " \n", " None\n", " \n", "
\n", " 		\n", "
\n", " \n", " \n", " 3\n", " \n", "
\n", " 		\n", "
\n", " \n", " \n", " animals\n", " \n", "
\n", " 		\n", "
\n", " \n", " \n", " glass\n", " \n", "
\n", " 		\n", "
\n", " \n", " \n", " lion-pc\n", " \n", "
\n", " 		\n", "
\n", " \n", " \n", " c\n", " \n", "
\n", " 		\n", "
\n", " \n", " \n", " 4\n", " \n", "
\n", " 		\n", "
\n", " \n", " \n", " ['baby⋅3',⋅'sorry⋅3']\n", " \n", "
\n", " 		\n", "
\n", " \n", " \n", " [7,⋅8]\n", " \n", "
\n", " 		\n", "
\n", " \n", " \n", " 1\n", " \n", "
\n", " 		\n", "
\n", " \n", " \n", " r\n", " \n", "
\n", "
\n", "
\n", "\n", "\n", "
Viewing 4 of 4 rows / 11 columns
\n", "
1 partition(s) <class 'optimus.engines.pandas.dataframe.PandasDataFrame'>
\n", "\n" ] }, "metadata": {} } ], "metadata": {} }, { "cell_type": "markdown", "source": [ "### Replace `\"dog\"` by `\"dog_1\"` and `\"cat\"` by `\"cat_1\"` in `animals`" ], "metadata": {} }, { "cell_type": "code", "execution_count": 53, "source": [ "df.cols.replace(\"animals\", [(\"dog\", \"dog_1\"), (\"cat\", \"cat_1\")]).display(highlight=\"animals\")" ], "outputs": [ { "output_type": "display_data", "data": { "text/plain": [ "" ], "text/html": [ "\n", "\n", "\n", "\n", "\n", "
Viewing 4 of 4 rows / 11 columns
\n", "
1 partition(s)
\n", "\n", "\n", "\n", " \n", " \n", " \n", " \n", " \n", " \n", " \n", " \n", " \n", " \n", " \n", " \n", " \n", " \n", " \n", " \n", " \n", " \n", " \n", " \n", " \n", " \n", " \n", " \n", " \n", " \n", " \n", "\n", " \n", " \n", " \n", " \n", " \n", " \n", " \n", " \n", " \n", " \n", " \n", " \n", " \n", " \n", " \n", " \n", " \n", " \n", " \n", " \n", " \n", " \n", " \n", " \n", " \n", " \n", " \n", " \n", " \n", " \n", " \n", " \n", " \n", " \n", " \n", " \n", " \n", " \n", " \n", " \n", " \n", " \n", " \n", " \n", " \n", " \n", " \n", " \n", " \n", " \n", " \n", " \n", " \n", " \n", " \n", " \n", " \n", " \n", " \n", " \n", " \n", " \n", " \n", " \n", " \n", " \n", " \n", " \n", " \n", " \n", " \n", " \n", " \n", " \n", " \n", " \n", " \n", " \n", " \n", " \n", " \n", " \n", " \n", " \n", " \n", " \n", " \n", " \n", " \n", " \n", " \n", " \n", " \n", " \n", " \n", " \n", " \n", " \n", " \n", " \n", " \n", " \n", " \n", " \n", " \n", " \n", " \n", " \n", "
\n", "
words
\n", "
1 (object)
\n", " \n", " 		\n", "
num
\n", "
2 (int32)
\n", " \n", " 		\n", "
animals
\n", "
3 (object)
\n", " \n", " 		\n", "
thing
\n", "
4 (object)
\n", " \n", " 		\n", "
two strings
\n", "
5 (object)
\n", " \n", " 		\n", "
filter
\n", "
6 (object)
\n", " \n", " 		\n", "
num 2
\n", "
7 (string)
\n", " \n", " 		\n", "
col_array
\n", "
8 (object)
\n", " \n", " 		\n", "
col_int
\n", "
9 (object)
\n", " \n", " 		\n", "
new_col_1
\n", "
10 (int64)
\n", " \n", " 		\n", "
NEW COLUMN
\n", "
11 (object)
\n", " \n", "
\n", "
\n", " \n", " \n", " ⋅⋅I⋅like⋅⋅⋅⋅⋅fish⋅⋅\n", " \n", "
\n", " 		\n", "
\n", " \n", " \n", " 1\n", " \n", "
\n", " 		\n", "
\n", " \n", " \n", " dog_1\n", " \n", "
\n", " 		\n", "
\n", " \n", " \n", " housé\n", " \n", "
\n", " 		\n", "
\n", " \n", " \n", " cat-car\n", " \n", "
\n", " 		\n", "
\n", " \n", " \n", " a\n", " \n", "
\n", " 		\n", "
\n", " \n", " \n", " 1\n", " \n", "
\n", " 		\n", "
\n", " \n", " \n", " ['baby',⋅'sorry']\n", " \n", "
\n", " 		\n", "
\n", " \n", " \n", " [1,⋅2,⋅3]\n", " \n", "
\n", " 		\n", "
\n", " \n", " \n", " 1\n", " \n", "
\n", " 		\n", "
\n", " \n", " \n", " q\n", " \n", "
\n", "
\n", "
\n", " \n", " \n", " ⋅⋅⋅⋅zombies\n", " \n", "
\n", " 		\n", "
\n", " \n", " \n", " 2\n", " \n", "
\n", " 		\n", "
\n", " \n", " \n", " cat_1\n", " \n", "
\n", " 		\n", "
\n", " \n", " \n", " tv\n", " \n", "
\n", " 		\n", "
\n", " \n", " \n", " dog-tv\n", " \n", "
\n", " 		\n", "
\n", " \n", " \n", " b\n", " \n", "
\n", " 		\n", "
\n", " \n", " \n", " 2\n", " \n", "
\n", " 		\n", "
\n", " \n", " \n", " ['baby⋅1',⋅'sorry⋅1']\n", " \n", "
\n", " 		\n", "
\n", " \n", " \n", " [3,⋅4]\n", " \n", "
\n", " 		\n", "
\n", " \n", " \n", " 1\n", " \n", "
\n", " 		\n", "
\n", " \n", " \n", " w\n", " \n", "
\n", "
\n", "
\n", " \n", " \n", " simpsons⋅⋅⋅cat⋅lady\n", " \n", "
\n", " 		\n", "
\n", " \n", " \n", " 2\n", " \n", "
\n", " 		\n", "
\n", " \n", " \n", " frog\n", " \n", "
\n", " 		\n", "
\n", " \n", " \n", " table\n", " \n", "
\n", " 		\n", "
\n", " \n", " \n", " eagle-tv-plus\n", " \n", "
\n", " 		\n", "
\n", " \n", " \n", " 1\n", " \n", "
\n", " 		\n", "
\n", " \n", " \n", " 3\n", " \n", "
\n", " 		\n", "
\n", " \n", " \n", " ['baby⋅2',⋅'sorry⋅2']\n", " \n", "
\n", " 		\n", "
\n", " \n", " \n", " [5,⋅6,⋅7]\n", " \n", "
\n", " 		\n", "
\n", " \n", " \n", " 1\n", " \n", "
\n", " 		\n", "
\n", " \n", " \n", " e\n", " \n", "
\n", "
\n", "
\n", " \n", " \n", " None\n", " \n", "
\n", " 		\n", "
\n", " \n", " \n", " 3\n", " \n", "
\n", " 		\n", "
\n", " \n", " \n", " eagle\n", " \n", "
\n", " 		\n", "
\n", " \n", " \n", " glass\n", " \n", "
\n", " 		\n", "
\n", " \n", " \n", " lion-pc\n", " \n", "
\n", " 		\n", "
\n", " \n", " \n", " c\n", " \n", "
\n", " 		\n", "
\n", " \n", " \n", " 4\n", " \n", "
\n", " 		\n", "
\n", " \n", " \n", " ['baby⋅3',⋅'sorry⋅3']\n", " \n", "
\n", " 		\n", "
\n", " \n", " \n", " [7,⋅8]\n", " \n", "
\n", " 		\n", "
\n", " \n", " \n", " 1\n", " \n", "
\n", " 		\n", "
\n", " \n", " \n", " r\n", " \n", "
\n", "
\n", "
\n", "\n", "\n", "
Viewing 4 of 4 rows / 11 columns
\n", "
1 partition(s) <class 'optimus.engines.pandas.dataframe.PandasDataFrame'>
\n", "\n" ] }, "metadata": {} } ], "metadata": {} }, { "cell_type": "markdown", "source": [ "### Replace `\"dog\"` by `\"pet\"` in `animals` " ], "metadata": {} }, { "cell_type": "code", "execution_count": 54, "source": [ "df.cols.replace(\"animals\", \"dog\", \"pet\").display(highlight=\"animals\")" ], "outputs": [ { "output_type": "display_data", "data": { "text/plain": [ "" ], "text/html": [ "\n", "\n", "\n", "\n", "\n", "
Viewing 4 of 4 rows / 11 columns
\n", "
1 partition(s)
\n", "\n", "\n", "\n", " \n", " \n", " \n", " \n", " \n", " \n", " \n", " \n", " \n", " \n", " \n", " \n", " \n", " \n", " \n", " \n", " \n", " \n", " \n", " \n", " \n", " \n", " \n", " \n", " \n", " \n", " \n", "\n", " \n", " \n", " \n", " \n", " \n", " \n", " \n", " \n", " \n", " \n", " \n", " \n", " \n", " \n", " \n", " \n", " \n", " \n", " \n", " \n", " \n", " \n", " \n", " \n", " \n", " \n", " \n", " \n", " \n", " \n", " \n", " \n", " \n", " \n", " \n", " \n", " \n", " \n", " \n", " \n", " \n", " \n", " \n", " \n", " \n", " \n", " \n", " \n", " \n", " \n", " \n", " \n", " \n", " \n", " \n", " \n", " \n", " \n", " \n", " \n", " \n", " \n", " \n", " \n", " \n", " \n", " \n", " \n", " \n", " \n", " \n", " \n", " \n", " \n", " \n", " \n", " \n", " \n", " \n", " \n", " \n", " \n", " \n", " \n", " \n", " \n", " \n", " \n", " \n", " \n", " \n", " \n", " \n", " \n", " \n", " \n", " \n", " \n", " \n", " \n", " \n", " \n", " \n", " \n", " \n", " \n", " \n", " \n", "
\n", "
words
\n", "
1 (object)
\n", " \n", " 		\n", "
num
\n", "
2 (int32)
\n", " \n", " 		\n", "
animals
\n", "
3 (object)
\n", " \n", " 		\n", "
thing
\n", "
4 (object)
\n", " \n", " 		\n", "
two strings
\n", "
5 (object)
\n", " \n", " 		\n", "
filter
\n", "
6 (object)
\n", " \n", " 		\n", "
num 2
\n", "
7 (string)
\n", " \n", " 		\n", "
col_array
\n", "
8 (object)
\n", " \n", " 		\n", "
col_int
\n", "
9 (object)
\n", " \n", " 		\n", "
new_col_1
\n", "
10 (int64)
\n", " \n", " 		\n", "
NEW COLUMN
\n", "
11 (object)
\n", " \n", "
\n", "
\n", " \n", " \n", " ⋅⋅I⋅like⋅⋅⋅⋅⋅fish⋅⋅\n", " \n", "
\n", " 		\n", "
\n", " \n", " \n", " 1\n", " \n", "
\n", " 		\n", "
\n", " \n", " \n", " pet\n", " \n", "
\n", " 		\n", "
\n", " \n", " \n", " housé\n", " \n", "
\n", " 		\n", "
\n", " \n", " \n", " cat-car\n", " \n", "
\n", " 		\n", "
\n", " \n", " \n", " a\n", " \n", "
\n", " 		\n", "
\n", " \n", " \n", " 1\n", " \n", "
\n", " 		\n", "
\n", " \n", " \n", " ['baby',⋅'sorry']\n", " \n", "
\n", " 		\n", "
\n", " \n", " \n", " [1,⋅2,⋅3]\n", " \n", "
\n", " 		\n", "
\n", " \n", " \n", " 1\n", " \n", "
\n", " 		\n", "
\n", " \n", " \n", " q\n", " \n", "
\n", "
\n", "
\n", " \n", " \n", " ⋅⋅⋅⋅zombies\n", " \n", "
\n", " 		\n", "
\n", " \n", " \n", " 2\n", " \n", "
\n", " 		\n", "
\n", " \n", " \n", " cat\n", " \n", "
\n", " 		\n", "
\n", " \n", " \n", " tv\n", " \n", "
\n", " 		\n", "
\n", " \n", " \n", " dog-tv\n", " \n", "
\n", " 		\n", "
\n", " \n", " \n", " b\n", " \n", "
\n", " 		\n", "
\n", " \n", " \n", " 2\n", " \n", "
\n", " 		\n", "
\n", " \n", " \n", " ['baby⋅1',⋅'sorry⋅1']\n", " \n", "
\n", " 		\n", "
\n", " \n", " \n", " [3,⋅4]\n", " \n", "
\n", " 		\n", "
\n", " \n", " \n", " 1\n", " \n", "
\n", " 		\n", "
\n", " \n", " \n", " w\n", " \n", "
\n", "
\n", "
\n", " \n", " \n", " simpsons⋅⋅⋅cat⋅lady\n", " \n", "
\n", " 		\n", "
\n", " \n", " \n", " 2\n", " \n", "
\n", " 		\n", "
\n", " \n", " \n", " frog\n", " \n", "
\n", " 		\n", "
\n", " \n", " \n", " table\n", " \n", "
\n", " 		\n", "
\n", " \n", " \n", " eagle-tv-plus\n", " \n", "
\n", " 		\n", "
\n", " \n", " \n", " 1\n", " \n", "
\n", " 		\n", "
\n", " \n", " \n", " 3\n", " \n", "
\n", " 		\n", "
\n", " \n", " \n", " ['baby⋅2',⋅'sorry⋅2']\n", " \n", "
\n", " 		\n", "
\n", " \n", " \n", " [5,⋅6,⋅7]\n", " \n", "
\n", " 		\n", "
\n", " \n", " \n", " 1\n", " \n", "
\n", " 		\n", "
\n", " \n", " \n", " e\n", " \n", "
\n", "
\n", "
\n", " \n", " \n", " None\n", " \n", "
\n", " 		\n", "
\n", " \n", " \n", " 3\n", " \n", "
\n", " 		\n", "
\n", " \n", " \n", " eagle\n", " \n", "
\n", " 		\n", "
\n", " \n", " \n", " glass\n", " \n", "
\n", " 		\n", "
\n", " \n", " \n", " lion-pc\n", " \n", "
\n", " 		\n", "
\n", " \n", " \n", " c\n", " \n", "
\n", " 		\n", "
\n", " \n", " \n", " 4\n", " \n", "
\n", " 		\n", "
\n", " \n", " \n", " ['baby⋅3',⋅'sorry⋅3']\n", " \n", "
\n", " 		\n", "
\n", " \n", " \n", " [7,⋅8]\n", " \n", "
\n", " 		\n", "
\n", " \n", " \n", " 1\n", " \n", "
\n", " 		\n", "
\n", " \n", " \n", " r\n", " \n", "
\n", "
\n", "
\n", "\n", "\n", "
Viewing 4 of 4 rows / 11 columns
\n", "
1 partition(s) <class 'optimus.engines.pandas.dataframe.PandasDataFrame'>
\n", "\n" ] }, "metadata": {} } ], "metadata": {} }, { "cell_type": "markdown", "source": [ "### Replace `\"a\"`, `\"b\"` and `\"c\"` by `\"%\"` in all columns" ], "metadata": {} }, { "cell_type": "code", "execution_count": 55, "source": [ "df.cols.replace(\"*\", [\"a\", \"b\", \"c\"], \"%\")" ], "outputs": [ { "output_type": "execute_result", "data": { "text/plain": [ "words num animals thing two strings filter num 2 col_array col_int new_col_1 NEW COLUMN\n", "(object) (object) (object) (object) (object) (object) (object) (object) (object) (object) (object)\n", "------------------- ---------- ---------- ---------- ------------- ---------- ---------- --------------------- ---------- ----------- ------------\n", "I like fish 1 dog housé %%t-%%r % 1 ['%%%y', 'sorry'] [1, 2, 3] 1 q\n", "zom%ies 2 %%t tv dog-tv % 2 ['%%%y 1', 'sorry 1'] [3, 4] 1 w\n", "simpsons %%t l%dy 2 frog t%%le e%gle-tv-plus 1 3 ['%%%y 2', 'sorry 2'] [5, 6, 7] 1 e\n", "None 3 e%gle gl%ss lion-p% % 4 ['%%%y 3', 'sorry 3'] [7, 8] 1 r" ], "text/html": [ "\n", "\n", "\n", "\n", "\n", "
Viewing 4 of 4 rows / 11 columns
\n", "
1 partition(s)
\n", "\n", "\n", "\n", " \n", " \n", " \n", " \n", " \n", " \n", " \n", " \n", " \n", " \n", " \n", " \n", " \n", " \n", " \n", " \n", " \n", " \n", " \n", " \n", " \n", " \n", " \n", " \n", " \n", " \n", " \n", "\n", " \n", " \n", " \n", " \n", " \n", " \n", " \n", " \n", " \n", " \n", " \n", " \n", " \n", " \n", " \n", " \n", " \n", " \n", " \n", " \n", " \n", " \n", " \n", " \n", " \n", " \n", " \n", " \n", " \n", " \n", " \n", " \n", " \n", " \n", " \n", " \n", " \n", " \n", " \n", " \n", " \n", " \n", " \n", " \n", " \n", " \n", " \n", " \n", " \n", " \n", " \n", " \n", " \n", " \n", " \n", " \n", " \n", " \n", " \n", " \n", " \n", " \n", " \n", " \n", " \n", " \n", " \n", " \n", " \n", " \n", " \n", " \n", " \n", " \n", " \n", " \n", " \n", " \n", " \n", " \n", " \n", " \n", " \n", " \n", " \n", " \n", " \n", " \n", " \n", " \n", " \n", " \n", " \n", " \n", " \n", " \n", " \n", " \n", " \n", " \n", " \n", " \n", " \n", " \n", " \n", " \n", " \n", " \n", "
\n", "
words
\n", "
1 (object)
\n", " \n", " 		\n", "
num
\n", "
2 (object)
\n", " \n", " 		\n", "
animals
\n", "
3 (object)
\n", " \n", " 		\n", "
thing
\n", "
4 (object)
\n", " \n", " 		\n", "
two strings
\n", "
5 (object)
\n", " \n", " 		\n", "
filter
\n", "
6 (object)
\n", " \n", " 		\n", "
num 2
\n", "
7 (object)
\n", " \n", " 		\n", "
col_array
\n", "
8 (object)
\n", " \n", " 		\n", "
col_int
\n", "
9 (object)
\n", " \n", " 		\n", "
new_col_1
\n", "
10 (object)
\n", " \n", " 		\n", "
NEW COLUMN
\n", "
11 (object)
\n", " \n", "
\n", "
\n", " \n", " \n", " ⋅⋅I⋅like⋅⋅⋅⋅⋅fish⋅⋅\n", " \n", "
\n", " 		\n", "
\n", " \n", " \n", " 1\n", " \n", "
\n", " 		\n", "
\n", " \n", " \n", " dog\n", " \n", "
\n", " 		\n", "
\n", " \n", " \n", " housé\n", " \n", "
\n", " 		\n", "
\n", " \n", " \n", " %%t-%%r\n", " \n", "
\n", " 		\n", "
\n", " \n", " \n", " %\n", " \n", "
\n", " 		\n", "
\n", " \n", " \n", " 1\n", " \n", "
\n", " 		\n", "
\n", " \n", " \n", " ['%%%y',⋅'sorry']\n", " \n", "
\n", " 		\n", "
\n", " \n", " \n", " [1,⋅2,⋅3]\n", " \n", "
\n", " 		\n", "
\n", " \n", " \n", " 1\n", " \n", "
\n", " 		\n", "
\n", " \n", " \n", " q\n", " \n", "
\n", "
\n", "
\n", " \n", " \n", " ⋅⋅⋅⋅zom%ies\n", " \n", "
\n", " 		\n", "
\n", " \n", " \n", " 2\n", " \n", "
\n", " 		\n", "
\n", " \n", " \n", " %%t\n", " \n", "
\n", " 		\n", "
\n", " \n", " \n", " tv\n", " \n", "
\n", " 		\n", "
\n", " \n", " \n", " dog-tv\n", " \n", "
\n", " 		\n", "
\n", " \n", " \n", " %\n", " \n", "
\n", " 		\n", "
\n", " \n", " \n", " 2\n", " \n", "
\n", " 		\n", "
\n", " \n", " \n", " ['%%%y⋅1',⋅'sorry⋅1']\n", " \n", "
\n", " 		\n", "
\n", " \n", " \n", " [3,⋅4]\n", " \n", "
\n", " 		\n", "
\n", " \n", " \n", " 1\n", " \n", "
\n", " 		\n", "
\n", " \n", " \n", " w\n", " \n", "
\n", "
\n", "
\n", " \n", " \n", " simpsons⋅⋅⋅%%t⋅l%dy\n", " \n", "
\n", " 		\n", "
\n", " \n", " \n", " 2\n", " \n", "
\n", " 		\n", "
\n", " \n", " \n", " frog\n", " \n", "
\n", " 		\n", "
\n", " \n", " \n", " t%%le\n", " \n", "
\n", " 		\n", "
\n", " \n", " \n", " e%gle-tv-plus\n", " \n", "
\n", " 		\n", "
\n", " \n", " \n", " 1\n", " \n", "
\n", " 		\n", "
\n", " \n", " \n", " 3\n", " \n", "
\n", " 		\n", "
\n", " \n", " \n", " ['%%%y⋅2',⋅'sorry⋅2']\n", " \n", "
\n", " 		\n", "
\n", " \n", " \n", " [5,⋅6,⋅7]\n", " \n", "
\n", " 		\n", "
\n", " \n", " \n", " 1\n", " \n", "
\n", " 		\n", "
\n", " \n", " \n", " e\n", " \n", "
\n", "
\n", "
\n", " \n", " \n", " None\n", " \n", "
\n", " 		\n", "
\n", " \n", " \n", " 3\n", " \n", "
\n", " 		\n", "
\n", " \n", " \n", " e%gle\n", " \n", "
\n", " 		\n", "
\n", " \n", " \n", " gl%ss\n", " \n", "
\n", " 		\n", "
\n", " \n", " \n", " lion-p%\n", " \n", "
\n", " 		\n", "
\n", " \n", " \n", " %\n", " \n", "
\n", " 		\n", "
\n", " \n", " \n", " 4\n", " \n", "
\n", " 		\n", "
\n", " \n", " \n", " ['%%%y⋅3',⋅'sorry⋅3']\n", " \n", "
\n", " 		\n", "
\n", " \n", " \n", " [7,⋅8]\n", " \n", "
\n", " 		\n", "
\n", " \n", " \n", " 1\n", " \n", "
\n", " 		\n", "
\n", " \n", " \n", " r\n", " \n", "
\n", "
\n", "
\n", "\n", "\n", "
Viewing 4 of 4 rows / 11 columns
\n", "
1 partition(s) <class 'optimus.engines.pandas.dataframe.PandasDataFrame'>
\n", "\n" ] }, "metadata": {}, "execution_count": 55 } ], "metadata": {} }, { "cell_type": "markdown", "source": [ "### Replace `3` and `2` by `10` in a numeric column" ], "metadata": {} }, { "cell_type": "code", "execution_count": 56, "source": [ "df.cols.replace('num', [3, 2], 10, search_by=\"values\").display(highlight=\"num\")" ], "outputs": [ { "output_type": "display_data", "data": { "text/plain": [ "" ], "text/html": [ "\n", "\n", "\n", "\n", "\n", "
Viewing 4 of 4 rows / 11 columns
\n", "
1 partition(s)
\n", "\n", "\n", "\n", " \n", " \n", " \n", " \n", " \n", " \n", " \n", " \n", " \n", " \n", " \n", " \n", " \n", " \n", " \n", " \n", " \n", " \n", " \n", " \n", " \n", " \n", " \n", " \n", " \n", " \n", " \n", "\n", " \n", " \n", " \n", " \n", " \n", " \n", " \n", " \n", " \n", " \n", " \n", " \n", " \n", " \n", " \n", " \n", " \n", " \n", " \n", " \n", " \n", " \n", " \n", " \n", " \n", " \n", " \n", " \n", " \n", " \n", " \n", " \n", " \n", " \n", " \n", " \n", " \n", " \n", " \n", " \n", " \n", " \n", " \n", " \n", " \n", " \n", " \n", " \n", " \n", " \n", " \n", " \n", " \n", " \n", " \n", " \n", " \n", " \n", " \n", " \n", " \n", " \n", " \n", " \n", " \n", " \n", " \n", " \n", " \n", " \n", " \n", " \n", " \n", " \n", " \n", " \n", " \n", " \n", " \n", " \n", " \n", " \n", " \n", " \n", " \n", " \n", " \n", " \n", " \n", " \n", " \n", " \n", " \n", " \n", " \n", " \n", " \n", " \n", " \n", " \n", " \n", " \n", " \n", " \n", " \n", " \n", " \n", " \n", "
\n", "
words
\n", "
1 (object)
\n", " \n", " 		\n", "
num
\n", "
2 (int64)
\n", " \n", " 		\n", "
animals
\n", "
3 (object)
\n", " \n", " 		\n", "
thing
\n", "
4 (object)
\n", " \n", " 		\n", "
two strings
\n", "
5 (object)
\n", " \n", " 		\n", "
filter
\n", "
6 (object)
\n", " \n", " 		\n", "
num 2
\n", "
7 (string)
\n", " \n", " 		\n", "
col_array
\n", "
8 (object)
\n", " \n", " 		\n", "
col_int
\n", "
9 (object)
\n", " \n", " 		\n", "
new_col_1
\n", "
10 (int64)
\n", " \n", " 		\n", "
NEW COLUMN
\n", "
11 (object)
\n", " \n", "
\n", "
\n", " \n", " \n", " ⋅⋅I⋅like⋅⋅⋅⋅⋅fish⋅⋅\n", " \n", "
\n", " 		\n", "
\n", " \n", " \n", " 1\n", " \n", "
\n", " 		\n", "
\n", " \n", " \n", " dog\n", " \n", "
\n", " 		\n", "
\n", " \n", " \n", " housé\n", " \n", "
\n", " 		\n", "
\n", " \n", " \n", " cat-car\n", " \n", "
\n", " 		\n", "
\n", " \n", " \n", " a\n", " \n", "
\n", " 		\n", "
\n", " \n", " \n", " 1\n", " \n", "
\n", " 		\n", "
\n", " \n", " \n", " ['baby',⋅'sorry']\n", " \n", "
\n", " 		\n", "
\n", " \n", " \n", " [1,⋅2,⋅3]\n", " \n", "
\n", " 		\n", "
\n", " \n", " \n", " 1\n", " \n", "
\n", " 		\n", "
\n", " \n", " \n", " q\n", " \n", "
\n", "
\n", "
\n", " \n", " \n", " ⋅⋅⋅⋅zombies\n", " \n", "
\n", " 		\n", "
\n", " \n", " \n", " 10\n", " \n", "
\n", " 		\n", "
\n", " \n", " \n", " cat\n", " \n", "
\n", " 		\n", "
\n", " \n", " \n", " tv\n", " \n", "
\n", " 		\n", "
\n", " \n", " \n", " dog-tv\n", " \n", "
\n", " 		\n", "
\n", " \n", " \n", " b\n", " \n", "
\n", " 		\n", "
\n", " \n", " \n", " 2\n", " \n", "
\n", " 		\n", "
\n", " \n", " \n", " ['baby⋅1',⋅'sorry⋅1']\n", " \n", "
\n", " 		\n", "
\n", " \n", " \n", " [3,⋅4]\n", " \n", "
\n", " 		\n", "
\n", " \n", " \n", " 1\n", " \n", "
\n", " 		\n", "
\n", " \n", " \n", " w\n", " \n", "
\n", "
\n", "
\n", " \n", " \n", " simpsons⋅⋅⋅cat⋅lady\n", " \n", "
\n", " 		\n", "
\n", " \n", " \n", " 10\n", " \n", "
\n", " 		\n", "
\n", " \n", " \n", " frog\n", " \n", "
\n", " 		\n", "
\n", " \n", " \n", " table\n", " \n", "
\n", " 		\n", "
\n", " \n", " \n", " eagle-tv-plus\n", " \n", "
\n", " 		\n", "
\n", " \n", " \n", " 1\n", " \n", "
\n", " 		\n", "
\n", " \n", " \n", " 3\n", " \n", "
\n", " 		\n", "
\n", " \n", " \n", " ['baby⋅2',⋅'sorry⋅2']\n", " \n", "
\n", " 		\n", "
\n", " \n", " \n", " [5,⋅6,⋅7]\n", " \n", "
\n", " 		\n", "
\n", " \n", " \n", " 1\n", " \n", "
\n", " 		\n", "
\n", " \n", " \n", " e\n", " \n", "
\n", "
\n", "
\n", " \n", " \n", " None\n", " \n", "
\n", " 		\n", "
\n", " \n", " \n", " 10\n", " \n", "
\n", " 		\n", "
\n", " \n", " \n", " eagle\n", " \n", "
\n", " 		\n", "
\n", " \n", " \n", " glass\n", " \n", "
\n", " 		\n", "
\n", " \n", " \n", " lion-pc\n", " \n", "
\n", " 		\n", "
\n", " \n", " \n", " c\n", " \n", "
\n", " 		\n", "
\n", " \n", " \n", " 4\n", " \n", "
\n", " 		\n", "
\n", " \n", " \n", " ['baby⋅3',⋅'sorry⋅3']\n", " \n", "
\n", " 		\n", "
\n", " \n", " \n", " [7,⋅8]\n", " \n", "
\n", " 		\n", "
\n", " \n", " \n", " 1\n", " \n", "
\n", " 		\n", "
\n", " \n", " \n", " r\n", " \n", "
\n", "
\n", "
\n", "\n", "\n", "
Viewing 4 of 4 rows / 11 columns
\n", "
1 partition(s) <class 'optimus.engines.pandas.dataframe.PandasDataFrame'>
\n", "\n" ] }, "metadata": {} } ], "metadata": {} }, { "cell_type": "markdown", "source": [ "### Replace `3` by `6` and `2` by `12` in a numeric column" ], "metadata": {} }, { "cell_type": "code", "execution_count": 57, "source": [ "df.cols.replace('num', [(3, 6), (2, 12)], search_by=\"values\").display(highlight=\"num\")" ], "outputs": [ { "output_type": "display_data", "data": { "text/plain": [ "" ], "text/html": [ "\n", "\n", "\n", "\n", "\n", "
Viewing 4 of 4 rows / 11 columns
\n", "
1 partition(s)
\n", "\n", "\n", "\n", " \n", " \n", " \n", " \n", " \n", " \n", " \n", " \n", " \n", " \n", " \n", " \n", " \n", " \n", " \n", " \n", " \n", " \n", " \n", " \n", " \n", " \n", " \n", " \n", " \n", " \n", " \n", "\n", " \n", " \n", " \n", " \n", " \n", " \n", " \n", " \n", " \n", " \n", " \n", " \n", " \n", " \n", " \n", " \n", " \n", " \n", " \n", " \n", " \n", " \n", " \n", " \n", " \n", " \n", " \n", " \n", " \n", " \n", " \n", " \n", " \n", " \n", " \n", " \n", " \n", " \n", " \n", " \n", " \n", " \n", " \n", " \n", " \n", " \n", " \n", " \n", " \n", " \n", " \n", " \n", " \n", " \n", " \n", " \n", " \n", " \n", " \n", " \n", " \n", " \n", " \n", " \n", " \n", " \n", " \n", " \n", " \n", " \n", " \n", " \n", " \n", " \n", " \n", " \n", " \n", " \n", " \n", " \n", " \n", " \n", " \n", " \n", " \n", " \n", " \n", " \n", " \n", " \n", " \n", " \n", " \n", " \n", " \n", " \n", " \n", " \n", " \n", " \n", " \n", " \n", " \n", " \n", " \n", " \n", " \n", " \n", "
\n", "
words
\n", "
1 (object)
\n", " \n", " 		\n", "
num
\n", "
2 (int64)
\n", " \n", " 		\n", "
animals
\n", "
3 (object)
\n", " \n", " 		\n", "
thing
\n", "
4 (object)
\n", " \n", " 		\n", "
two strings
\n", "
5 (object)
\n", " \n", " 		\n", "
filter
\n", "
6 (object)
\n", " \n", " 		\n", "
num 2
\n", "
7 (string)
\n", " \n", " 		\n", "
col_array
\n", "
8 (object)
\n", " \n", " 		\n", "
col_int
\n", "
9 (object)
\n", " \n", " 		\n", "
new_col_1
\n", "
10 (int64)
\n", " \n", " 		\n", "
NEW COLUMN
\n", "
11 (object)
\n", " \n", "
\n", "
\n", " \n", " \n", " ⋅⋅I⋅like⋅⋅⋅⋅⋅fish⋅⋅\n", " \n", "
\n", " 		\n", "
\n", " \n", " \n", " 1\n", " \n", "
\n", " 		\n", "
\n", " \n", " \n", " dog\n", " \n", "
\n", " 		\n", "
\n", " \n", " \n", " housé\n", " \n", "
\n", " 		\n", "
\n", " \n", " \n", " cat-car\n", " \n", "
\n", " 		\n", "
\n", " \n", " \n", " a\n", " \n", "
\n", " 		\n", "
\n", " \n", " \n", " 1\n", " \n", "
\n", " 		\n", "
\n", " \n", " \n", " ['baby',⋅'sorry']\n", " \n", "
\n", " 		\n", "
\n", " \n", " \n", " [1,⋅2,⋅3]\n", " \n", "
\n", " 		\n", "
\n", " \n", " \n", " 1\n", " \n", "
\n", " 		\n", "
\n", " \n", " \n", " q\n", " \n", "
\n", "
\n", "
\n", " \n", " \n", " ⋅⋅⋅⋅zombies\n", " \n", "
\n", " 		\n", "
\n", " \n", " \n", " 12\n", " \n", "
\n", " 		\n", "
\n", " \n", " \n", " cat\n", " \n", "
\n", " 		\n", "
\n", " \n", " \n", " tv\n", " \n", "
\n", " 		\n", "
\n", " \n", " \n", " dog-tv\n", " \n", "
\n", " 		\n", "
\n", " \n", " \n", " b\n", " \n", "
\n", " 		\n", "
\n", " \n", " \n", " 2\n", " \n", "
\n", " 		\n", "
\n", " \n", " \n", " ['baby⋅1',⋅'sorry⋅1']\n", " \n", "
\n", " 		\n", "
\n", " \n", " \n", " [3,⋅4]\n", " \n", "
\n", " 		\n", "
\n", " \n", " \n", " 1\n", " \n", "
\n", " 		\n", "
\n", " \n", " \n", " w\n", " \n", "
\n", "
\n", "
\n", " \n", " \n", " simpsons⋅⋅⋅cat⋅lady\n", " \n", "
\n", " 		\n", "
\n", " \n", " \n", " 12\n", " \n", "
\n", " 		\n", "
\n", " \n", " \n", " frog\n", " \n", "
\n", " 		\n", "
\n", " \n", " \n", " table\n", " \n", "
\n", " 		\n", "
\n", " \n", " \n", " eagle-tv-plus\n", " \n", "
\n", " 		\n", "
\n", " \n", " \n", " 1\n", " \n", "
\n", " 		\n", "
\n", " \n", " \n", " 3\n", " \n", "
\n", " 		\n", "
\n", " \n", " \n", " ['baby⋅2',⋅'sorry⋅2']\n", " \n", "
\n", " 		\n", "
\n", " \n", " \n", " [5,⋅6,⋅7]\n", " \n", "
\n", " 		\n", "
\n", " \n", " \n", " 1\n", " \n", "
\n", " 		\n", "
\n", " \n", " \n", " e\n", " \n", "
\n", "
\n", "
\n", " \n", " \n", " None\n", " \n", "
\n", " 		\n", "
\n", " \n", " \n", " 6\n", " \n", "
\n", " 		\n", "
\n", " \n", " \n", " eagle\n", " \n", "
\n", " 		\n", "
\n", " \n", " \n", " glass\n", " \n", "
\n", " 		\n", "
\n", " \n", " \n", " lion-pc\n", " \n", "
\n", " 		\n", "
\n", " \n", " \n", " c\n", " \n", "
\n", " 		\n", "
\n", " \n", " \n", " 4\n", " \n", "
\n", " 		\n", "
\n", " \n", " \n", " ['baby⋅3',⋅'sorry⋅3']\n", " \n", "
\n", " 		\n", "
\n", " \n", " \n", " [7,⋅8]\n", " \n", "
\n", " 		\n", "
\n", " \n", " \n", " 1\n", " \n", "
\n", " 		\n", "
\n", " \n", " \n", " r\n", " \n", "
\n", "
\n", "
\n", "\n", "\n", "
Viewing 4 of 4 rows / 11 columns
\n", "
1 partition(s) <class 'optimus.engines.pandas.dataframe.PandasDataFrame'>
\n", "\n" ] }, "metadata": {} } ], "metadata": {} }, { "cell_type": "markdown", "source": [ "### Replace as words" ], "metadata": {} }, { "cell_type": "code", "execution_count": 58, "source": [ "df.cols.replace(\"animals\", \"dog\", \"animal\", search_by=\"words\").display(highlight=\"animals\")" ], "outputs": [ { "output_type": "display_data", "data": { "text/plain": [ "" ], "text/html": [ "\n", "\n", "\n", "\n", "\n", "
Viewing 4 of 4 rows / 11 columns
\n", "
1 partition(s)
\n", "\n", "\n", "\n", " \n", " \n", " \n", " \n", " \n", " \n", " \n", " \n", " \n", " \n", " \n", " \n", " \n", " \n", " \n", " \n", " \n", " \n", " \n", " \n", " \n", " \n", " \n", " \n", " \n", " \n", " \n", "\n", " \n", " \n", " \n", " \n", " \n", " \n", " \n", " \n", " \n", " \n", " \n", " \n", " \n", " \n", " \n", " \n", " \n", " \n", " \n", " \n", " \n", " \n", " \n", " \n", " \n", " \n", " \n", " \n", " \n", " \n", " \n", " \n", " \n", " \n", " \n", " \n", " \n", " \n", " \n", " \n", " \n", " \n", " \n", " \n", " \n", " \n", " \n", " \n", " \n", " \n", " \n", " \n", " \n", " \n", " \n", " \n", " \n", " \n", " \n", " \n", " \n", " \n", " \n", " \n", " \n", " \n", " \n", " \n", " \n", " \n", " \n", " \n", " \n", " \n", " \n", " \n", " \n", " \n", " \n", " \n", " \n", " \n", " \n", " \n", " \n", " \n", " \n", " \n", " \n", " \n", " \n", " \n", " \n", " \n", " \n", " \n", " \n", " \n", " \n", " \n", " \n", " \n", " \n", " \n", " \n", " \n", " \n", " \n", "
\n", "
words
\n", "
1 (object)
\n", " \n", " 		\n", "
num
\n", "
2 (int32)
\n", " \n", " 		\n", "
animals
\n", "
3 (object)
\n", " \n", " 		\n", "
thing
\n", "
4 (object)
\n", " \n", " 		\n", "
two strings
\n", "
5 (object)
\n", " \n", " 		\n", "
filter
\n", "
6 (object)
\n", " \n", " 		\n", "
num 2
\n", "
7 (string)
\n", " \n", " 		\n", "
col_array
\n", "
8 (object)
\n", " \n", " 		\n", "
col_int
\n", "
9 (object)
\n", " \n", " 		\n", "
new_col_1
\n", "
10 (int64)
\n", " \n", " 		\n", "
NEW COLUMN
\n", "
11 (object)
\n", " \n", "
\n", "
\n", " \n", " \n", " ⋅⋅I⋅like⋅⋅⋅⋅⋅fish⋅⋅\n", " \n", "
\n", " 		\n", "
\n", " \n", " \n", " 1\n", " \n", "
\n", " 		\n", "
\n", " \n", " \n", " animal\n", " \n", "
\n", " 		\n", "
\n", " \n", " \n", " housé\n", " \n", "
\n", " 		\n", "
\n", " \n", " \n", " cat-car\n", " \n", "
\n", " 		\n", "
\n", " \n", " \n", " a\n", " \n", "
\n", " 		\n", "
\n", " \n", " \n", " 1\n", " \n", "
\n", " 		\n", "
\n", " \n", " \n", " ['baby',⋅'sorry']\n", " \n", "
\n", " 		\n", "
\n", " \n", " \n", " [1,⋅2,⋅3]\n", " \n", "
\n", " 		\n", "
\n", " \n", " \n", " 1\n", " \n", "
\n", " 		\n", "
\n", " \n", " \n", " q\n", " \n", "
\n", "
\n", "
\n", " \n", " \n", " ⋅⋅⋅⋅zombies\n", " \n", "
\n", " 		\n", "
\n", " \n", " \n", " 2\n", " \n", "
\n", " 		\n", "
\n", " \n", " \n", " cat\n", " \n", "
\n", " 		\n", "
\n", " \n", " \n", " tv\n", " \n", "
\n", " 		\n", "
\n", " \n", " \n", " dog-tv\n", " \n", "
\n", " 		\n", "
\n", " \n", " \n", " b\n", " \n", "
\n", " 		\n", "
\n", " \n", " \n", " 2\n", " \n", "
\n", " 		\n", "
\n", " \n", " \n", " ['baby⋅1',⋅'sorry⋅1']\n", " \n", "
\n", " 		\n", "
\n", " \n", " \n", " [3,⋅4]\n", " \n", "
\n", " 		\n", "
\n", " \n", " \n", " 1\n", " \n", "
\n", " 		\n", "
\n", " \n", " \n", " w\n", " \n", "
\n", "
\n", "
\n", " \n", " \n", " simpsons⋅⋅⋅cat⋅lady\n", " \n", "
\n", " 		\n", "
\n", " \n", " \n", " 2\n", " \n", "
\n", " 		\n", "
\n", " \n", " \n", " frog\n", " \n", "
\n", " 		\n", "
\n", " \n", " \n", " table\n", " \n", "
\n", " 		\n", "
\n", " \n", " \n", " eagle-tv-plus\n", " \n", "
\n", " 		\n", "
\n", " \n", " \n", " 1\n", " \n", "
\n", " 		\n", "
\n", " \n", " \n", " 3\n", " \n", "
\n", " 		\n", "
\n", " \n", " \n", " ['baby⋅2',⋅'sorry⋅2']\n", " \n", "
\n", " 		\n", "
\n", " \n", " \n", " [5,⋅6,⋅7]\n", " \n", "
\n", " 		\n", "
\n", " \n", " \n", " 1\n", " \n", "
\n", " 		\n", "
\n", " \n", " \n", " e\n", " \n", "
\n", "
\n", "
\n", " \n", " \n", " None\n", " \n", "
\n", " 		\n", "
\n", " \n", " \n", " 3\n", " \n", "
\n", " 		\n", "
\n", " \n", " \n", " eagle\n", " \n", "
\n", " 		\n", "
\n", " \n", " \n", " glass\n", " \n", "
\n", " 		\n", "
\n", " \n", " \n", " lion-pc\n", " \n", "
\n", " 		\n", "
\n", " \n", " \n", " c\n", " \n", "
\n", " 		\n", "
\n", " \n", " \n", " 4\n", " \n", "
\n", " 		\n", "
\n", " \n", " \n", " ['baby⋅3',⋅'sorry⋅3']\n", " \n", "
\n", " 		\n", "
\n", " \n", " \n", " [7,⋅8]\n", " \n", "
\n", " 		\n", "
\n", " \n", " \n", " 1\n", " \n", "
\n", " 		\n", "
\n", " \n", " \n", " r\n", " \n", "
\n", "
\n", "
\n", "\n", "\n", "
Viewing 4 of 4 rows / 11 columns
\n", "
1 partition(s) <class 'optimus.engines.pandas.dataframe.PandasDataFrame'>
\n", "\n" ] }, "metadata": {} } ], "metadata": {} }, { "cell_type": "code", "execution_count": 59, "source": [ "df.cols.replace(\"animals\", \"dog\", \"animal\", search_by=\"words\", output_cols=\"friends\").display(highlight=[\"animals\", \"friends\"])" ], "outputs": [ { "output_type": "display_data", "data": { "text/plain": [ "" ], "text/html": [ "\n", "\n", "\n", "\n", "\n", "
Viewing 4 of 4 rows / 12 columns
\n", "
1 partition(s)
\n", "\n", "\n", "\n", " \n", " \n", " \n", " \n", " \n", " \n", " \n", " \n", " \n", " \n", " \n", " \n", " \n", " \n", " \n", " \n", " \n", " \n", " \n", " \n", " \n", " \n", " \n", " \n", " \n", " \n", " \n", " \n", " \n", "\n", " \n", " \n", " \n", " \n", " \n", " \n", " \n", " \n", " \n", " \n", " \n", " \n", " \n", " \n", " \n", " \n", " \n", " \n", " \n", " \n", " \n", " \n", " \n", " \n", " \n", " \n", " \n", " \n", " \n", " \n", " \n", " \n", " \n", " \n", " \n", " \n", " \n", " \n", " \n", " \n", " \n", " \n", " \n", " \n", " \n", " \n", " \n", " \n", " \n", " \n", " \n", " \n", " \n", " \n", " \n", " \n", " \n", " \n", " \n", " \n", " \n", " \n", " \n", " \n", " \n", " \n", " \n", " \n", " \n", " \n", " \n", " \n", " \n", " \n", " \n", " \n", " \n", " \n", " \n", " \n", " \n", " \n", " \n", " \n", " \n", " \n", " \n", " \n", " \n", " \n", " \n", " \n", " \n", " \n", " \n", " \n", " \n", " \n", " \n", " \n", " \n", " \n", " \n", " \n", " \n", " \n", " \n", " \n", " \n", " \n", " \n", " \n", " \n", " \n", " \n", " \n", "
\n", "
words
\n", "
1 (object)
\n", " \n", " 		\n", "
num
\n", "
2 (int32)
\n", " \n", " 		\n", "
animals
\n", "
3 (object)
\n", " \n", " 		\n", "
friends
\n", "
4 (object)
\n", " \n", " 		\n", "
thing
\n", "
5 (object)
\n", " \n", " 		\n", "
two strings
\n", "
6 (object)
\n", " \n", " 		\n", "
filter
\n", "
7 (object)
\n", " \n", " 		\n", "
num 2
\n", "
8 (string)
\n", " \n", " 		\n", "
col_array
\n", "
9 (object)
\n", " \n", " 		\n", "
col_int
\n", "
10 (object)
\n", " \n", " 		\n", "
new_col_1
\n", "
11 (int64)
\n", " \n", " 		\n", "
NEW COLUMN
\n", "
12 (object)
\n", " \n", "
\n", "
\n", " \n", " \n", " ⋅⋅I⋅like⋅⋅⋅⋅⋅fish⋅⋅\n", " \n", "
\n", " 		\n", "
\n", " \n", " \n", " 1\n", " \n", "
\n", " 		\n", "
\n", " \n", " \n", " dog\n", " \n", "
\n", " 		\n", "
\n", " \n", " \n", " animal\n", " \n", "
\n", " 		\n", "
\n", " \n", " \n", " housé\n", " \n", "
\n", " 		\n", "
\n", " \n", " \n", " cat-car\n", " \n", "
\n", " 		\n", "
\n", " \n", " \n", " a\n", " \n", "
\n", " 		\n", "
\n", " \n", " \n", " 1\n", " \n", "
\n", " 		\n", "
\n", " \n", " \n", " ['baby',⋅'sorry']\n", " \n", "
\n", " 		\n", "
\n", " \n", " \n", " [1,⋅2,⋅3]\n", " \n", "
\n", " 		\n", "
\n", " \n", " \n", " 1\n", " \n", "
\n", " 		\n", "
\n", " \n", " \n", " q\n", " \n", "
\n", "
\n", "
\n", " \n", " \n", " ⋅⋅⋅⋅zombies\n", " \n", "
\n", " 		\n", "
\n", " \n", " \n", " 2\n", " \n", "
\n", " 		\n", "
\n", " \n", " \n", " cat\n", " \n", "
\n", " 		\n", "
\n", " \n", " \n", " cat\n", " \n", "
\n", " 		\n", "
\n", " \n", " \n", " tv\n", " \n", "
\n", " 		\n", "
\n", " \n", " \n", " dog-tv\n", " \n", "
\n", " 		\n", "
\n", " \n", " \n", " b\n", " \n", "
\n", " 		\n", "
\n", " \n", " \n", " 2\n", " \n", "
\n", " 		\n", "
\n", " \n", " \n", " ['baby⋅1',⋅'sorry⋅1']\n", " \n", "
\n", " 		\n", "
\n", " \n", " \n", " [3,⋅4]\n", " \n", "
\n", " 		\n", "
\n", " \n", " \n", " 1\n", " \n", "
\n", " 		\n", "
\n", " \n", " \n", " w\n", " \n", "
\n", "
\n", "
\n", " \n", " \n", " simpsons⋅⋅⋅cat⋅lady\n", " \n", "
\n", " 		\n", "
\n", " \n", " \n", " 2\n", " \n", "
\n", " 		\n", "
\n", " \n", " \n", " frog\n", " \n", "
\n", " 		\n", "
\n", " \n", " \n", " frog\n", " \n", "
\n", " 		\n", "
\n", " \n", " \n", " table\n", " \n", "
\n", " 		\n", "
\n", " \n", " \n", " eagle-tv-plus\n", " \n", "
\n", " 		\n", "
\n", " \n", " \n", " 1\n", " \n", "
\n", " 		\n", "
\n", " \n", " \n", " 3\n", " \n", "
\n", " 		\n", "
\n", " \n", " \n", " ['baby⋅2',⋅'sorry⋅2']\n", " \n", "
\n", " 		\n", "
\n", " \n", " \n", " [5,⋅6,⋅7]\n", " \n", "
\n", " 		\n", "
\n", " \n", " \n", " 1\n", " \n", "
\n", " 		\n", "
\n", " \n", " \n", " e\n", " \n", "
\n", "
\n", "
\n", " \n", " \n", " None\n", " \n", "
\n", " 		\n", "
\n", " \n", " \n", " 3\n", " \n", "
\n", " 		\n", "
\n", " \n", " \n", " eagle\n", " \n", "
\n", " 		\n", "
\n", " \n", " \n", " eagle\n", " \n", "
\n", " 		\n", "
\n", " \n", " \n", " glass\n", " \n", "
\n", " 		\n", "
\n", " \n", " \n", " lion-pc\n", " \n", "
\n", " 		\n", "
\n", " \n", " \n", " c\n", " \n", "
\n", " 		\n", "
\n", " \n", " \n", " 4\n", " \n", "
\n", " 		\n", "
\n", " \n", " \n", " ['baby⋅3',⋅'sorry⋅3']\n", " \n", "
\n", " 		\n", "
\n", " \n", " \n", " [7,⋅8]\n", " \n", "
\n", " 		\n", "
\n", " \n", " \n", " 1\n", " \n", "
\n", " 		\n", "
\n", " \n", " \n", " r\n", " \n", "
\n", "
\n", "
\n", "\n", "\n", "
Viewing 4 of 4 rows / 12 columns
\n", "
1 partition(s) <class 'optimus.engines.pandas.dataframe.PandasDataFrame'>
\n", "\n" ] }, "metadata": {} } ], "metadata": {} }, { "cell_type": "code", "execution_count": 60, "source": [ "df.cols.replace(\"*\", \"1\", \"11\", search_by=\"chars\")" ], "outputs": [ { "output_type": "execute_result", "data": { "text/plain": [ "words num animals thing two strings filter num 2 col_array col_int new_col_1 NEW COLUMN\n", "(object) (object) (object) (object) (object) (object) (object) (object) (object) (object) (object)\n", "------------------- ---------- ---------- ---------- ------------- ---------- ---------- ----------------------- ---------- ----------- ------------\n", "I like fish 11 dog housé cat-car a 11 ['baby', 'sorry'] [11, 2, 3] 11 q\n", "zombies 2 cat tv dog-tv b 2 ['baby 11', 'sorry 11'] [3, 4] 11 w\n", "simpsons cat lady 2 frog table eagle-tv-plus 11 3 ['baby 2', 'sorry 2'] [5, 6, 7] 11 e\n", "None 3 eagle glass lion-pc c 4 ['baby 3', 'sorry 3'] [7, 8] 11 r" ], "text/html": [ "\n", "\n", "\n", "\n", "\n", "
Viewing 4 of 4 rows / 11 columns
\n", "
1 partition(s)
\n", "\n", "\n", "\n", " \n", " \n", " \n", " \n", " \n", " \n", " \n", " \n", " \n", " \n", " \n", " \n", " \n", " \n", " \n", " \n", " \n", " \n", " \n", " \n", " \n", " \n", " \n", " \n", " \n", " \n", " \n", "\n", " \n", " \n", " \n", " \n", " \n", " \n", " \n", " \n", " \n", " \n", " \n", " \n", " \n", " \n", " \n", " \n", " \n", " \n", " \n", " \n", " \n", " \n", " \n", " \n", " \n", " \n", " \n", " \n", " \n", " \n", " \n", " \n", " \n", " \n", " \n", " \n", " \n", " \n", " \n", " \n", " \n", " \n", " \n", " \n", " \n", " \n", " \n", " \n", " \n", " \n", " \n", " \n", " \n", " \n", " \n", " \n", " \n", " \n", " \n", " \n", " \n", " \n", " \n", " \n", " \n", " \n", " \n", " \n", " \n", " \n", " \n", " \n", " \n", " \n", " \n", " \n", " \n", " \n", " \n", " \n", " \n", " \n", " \n", " \n", " \n", " \n", " \n", " \n", " \n", " \n", " \n", " \n", " \n", " \n", " \n", " \n", " \n", " \n", " \n", " \n", " \n", " \n", " \n", " \n", " \n", " \n", " \n", " \n", "
\n", "
words
\n", "
1 (object)
\n", " \n", " 		\n", "
num
\n", "
2 (object)
\n", " \n", " 		\n", "
animals
\n", "
3 (object)
\n", " \n", " 		\n", "
thing
\n", "
4 (object)
\n", " \n", " 		\n", "
two strings
\n", "
5 (object)
\n", " \n", " 		\n", "
filter
\n", "
6 (object)
\n", " \n", " 		\n", "
num 2
\n", "
7 (object)
\n", " \n", " 		\n", "
col_array
\n", "
8 (object)
\n", " \n", " 		\n", "
col_int
\n", "
9 (object)
\n", " \n", " 		\n", "
new_col_1
\n", "
10 (object)
\n", " \n", " 		\n", "
NEW COLUMN
\n", "
11 (object)
\n", " \n", "
\n", "
\n", " \n", " \n", " ⋅⋅I⋅like⋅⋅⋅⋅⋅fish⋅⋅\n", " \n", "
\n", " 		\n", "
\n", " \n", " \n", " 11\n", " \n", "
\n", " 		\n", "
\n", " \n", " \n", " dog\n", " \n", "
\n", " 		\n", "
\n", " \n", " \n", " housé\n", " \n", "
\n", " 		\n", "
\n", " \n", " \n", " cat-car\n", " \n", "
\n", " 		\n", "
\n", " \n", " \n", " a\n", " \n", "
\n", " 		\n", "
\n", " \n", " \n", " 11\n", " \n", "
\n", " 		\n", "
\n", " \n", " \n", " ['baby',⋅'sorry']\n", " \n", "
\n", " 		\n", "
\n", " \n", " \n", " [11,⋅2,⋅3]\n", " \n", "
\n", " 		\n", "
\n", " \n", " \n", " 11\n", " \n", "
\n", " 		\n", "
\n", " \n", " \n", " q\n", " \n", "
\n", "
\n", "
\n", " \n", " \n", " ⋅⋅⋅⋅zombies\n", " \n", "
\n", " 		\n", "
\n", " \n", " \n", " 2\n", " \n", "
\n", " 		\n", "
\n", " \n", " \n", " cat\n", " \n", "
\n", " 		\n", "
\n", " \n", " \n", " tv\n", " \n", "
\n", " 		\n", "
\n", " \n", " \n", " dog-tv\n", " \n", "
\n", " 		\n", "
\n", " \n", " \n", " b\n", " \n", "
\n", " 		\n", "
\n", " \n", " \n", " 2\n", " \n", "
\n", " 		\n", "
\n", " \n", " \n", " ['baby⋅11',⋅'sorry⋅11']\n", " \n", "
\n", " 		\n", "
\n", " \n", " \n", " [3,⋅4]\n", " \n", "
\n", " 		\n", "
\n", " \n", " \n", " 11\n", " \n", "
\n", " 		\n", "
\n", " \n", " \n", " w\n", " \n", "
\n", "
\n", "
\n", " \n", " \n", " simpsons⋅⋅⋅cat⋅lady\n", " \n", "
\n", " 		\n", "
\n", " \n", " \n", " 2\n", " \n", "
\n", " 		\n", "
\n", " \n", " \n", " frog\n", " \n", "
\n", " 		\n", "
\n", " \n", " \n", " table\n", " \n", "
\n", " 		\n", "
\n", " \n", " \n", " eagle-tv-plus\n", " \n", "
\n", " 		\n", "
\n", " \n", " \n", " 11\n", " \n", "
\n", " 		\n", "
\n", " \n", " \n", " 3\n", " \n", "
\n", " 		\n", "
\n", " \n", " \n", " ['baby⋅2',⋅'sorry⋅2']\n", " \n", "
\n", " 		\n", "
\n", " \n", " \n", " [5,⋅6,⋅7]\n", " \n", "
\n", " 		\n", "
\n", " \n", " \n", " 11\n", " \n", "
\n", " 		\n", "
\n", " \n", " \n", " e\n", " \n", "
\n", "
\n", "
\n", " \n", " \n", " None\n", " \n", "
\n", " 		\n", "
\n", " \n", " \n", " 3\n", " \n", "
\n", " 		\n", "
\n", " \n", " \n", " eagle\n", " \n", "
\n", " 		\n", "
\n", " \n", " \n", " glass\n", " \n", "
\n", " 		\n", "
\n", " \n", " \n", " lion-pc\n", " \n", "
\n", " 		\n", "
\n", " \n", " \n", " c\n", " \n", "
\n", " 		\n", "
\n", " \n", " \n", " 4\n", " \n", "
\n", " 		\n", "
\n", " \n", " \n", " ['baby⋅3',⋅'sorry⋅3']\n", " \n", "
\n", " 		\n", "
\n", " \n", " \n", " [7,⋅8]\n", " \n", "
\n", " 		\n", "
\n", " \n", " \n", " 11\n", " \n", "
\n", " 		\n", "
\n", " \n", " \n", " r\n", " \n", "
\n", "
\n", "
\n", "\n", "\n", "
Viewing 4 of 4 rows / 11 columns
\n", "
1 partition(s) <class 'optimus.engines.pandas.dataframe.PandasDataFrame'>
\n", "\n" ] }, "metadata": {}, "execution_count": 60 } ], "metadata": {} }, { "cell_type": "code", "execution_count": 61, "source": [ "df.cols.replace(\"animals\", [(\"dog\", \"dog_1\"), (\"cat\", \"cat_1\")], search_by=\"words\").display(highlight=\"animals\")" ], "outputs": [ { "output_type": "display_data", "data": { "text/plain": [ "" ], "text/html": [ "\n", "\n", "\n", "\n", "\n", "
Viewing 4 of 4 rows / 11 columns
\n", "
1 partition(s)
\n", "\n", "\n", "\n", " \n", " \n", " \n", " \n", " \n", " \n", " \n", " \n", " \n", " \n", " \n", " \n", " \n", " \n", " \n", " \n", " \n", " \n", " \n", " \n", " \n", " \n", " \n", " \n", " \n", " \n", " \n", "\n", " \n", " \n", " \n", " \n", " \n", " \n", " \n", " \n", " \n", " \n", " \n", " \n", " \n", " \n", " \n", " \n", " \n", " \n", " \n", " \n", " \n", " \n", " \n", " \n", " \n", " \n", " \n", " \n", " \n", " \n", " \n", " \n", " \n", " \n", " \n", " \n", " \n", " \n", " \n", " \n", " \n", " \n", " \n", " \n", " \n", " \n", " \n", " \n", " \n", " \n", " \n", " \n", " \n", " \n", " \n", " \n", " \n", " \n", " \n", " \n", " \n", " \n", " \n", " \n", " \n", " \n", " \n", " \n", " \n", " \n", " \n", " \n", " \n", " \n", " \n", " \n", " \n", " \n", " \n", " \n", " \n", " \n", " \n", " \n", " \n", " \n", " \n", " \n", " \n", " \n", " \n", " \n", " \n", " \n", " \n", " \n", " \n", " \n", " \n", " \n", " \n", " \n", " \n", " \n", " \n", " \n", " \n", " \n", "
\n", "
words
\n", "
1 (object)
\n", " \n", " 		\n", "
num
\n", "
2 (int32)
\n", " \n", " 		\n", "
animals
\n", "
3 (object)
\n", " \n", " 		\n", "
thing
\n", "
4 (object)
\n", " \n", " 		\n", "
two strings
\n", "
5 (object)
\n", " \n", " 		\n", "
filter
\n", "
6 (object)
\n", " \n", " 		\n", "
num 2
\n", "
7 (string)
\n", " \n", " 		\n", "
col_array
\n", "
8 (object)
\n", " \n", " 		\n", "
col_int
\n", "
9 (object)
\n", " \n", " 		\n", "
new_col_1
\n", "
10 (int64)
\n", " \n", " 		\n", "
NEW COLUMN
\n", "
11 (object)
\n", " \n", "
\n", "
\n", " \n", " \n", " ⋅⋅I⋅like⋅⋅⋅⋅⋅fish⋅⋅\n", " \n", "
\n", " 		\n", "
\n", " \n", " \n", " 1\n", " \n", "
\n", " 		\n", "
\n", " \n", " \n", " dog_1\n", " \n", "
\n", " 		\n", "
\n", " \n", " \n", " housé\n", " \n", "
\n", " 		\n", "
\n", " \n", " \n", " cat-car\n", " \n", "
\n", " 		\n", "
\n", " \n", " \n", " a\n", " \n", "
\n", " 		\n", "
\n", " \n", " \n", " 1\n", " \n", "
\n", " 		\n", "
\n", " \n", " \n", " ['baby',⋅'sorry']\n", " \n", "
\n", " 		\n", "
\n", " \n", " \n", " [1,⋅2,⋅3]\n", " \n", "
\n", " 		\n", "
\n", " \n", " \n", " 1\n", " \n", "
\n", " 		\n", "
\n", " \n", " \n", " q\n", " \n", "
\n", "
\n", "
\n", " \n", " \n", " ⋅⋅⋅⋅zombies\n", " \n", "
\n", " 		\n", "
\n", " \n", " \n", " 2\n", " \n", "
\n", " 		\n", "
\n", " \n", " \n", " cat_1\n", " \n", "
\n", " 		\n", "
\n", " \n", " \n", " tv\n", " \n", "
\n", " 		\n", "
\n", " \n", " \n", " dog-tv\n", " \n", "
\n", " 		\n", "
\n", " \n", " \n", " b\n", " \n", "
\n", " 		\n", "
\n", " \n", " \n", " 2\n", " \n", "
\n", " 		\n", "
\n", " \n", " \n", " ['baby⋅1',⋅'sorry⋅1']\n", " \n", "
\n", " 		\n", "
\n", " \n", " \n", " [3,⋅4]\n", " \n", "
\n", " 		\n", "
\n", " \n", " \n", " 1\n", " \n", "
\n", " 		\n", "
\n", " \n", " \n", " w\n", " \n", "
\n", "
\n", "
\n", " \n", " \n", " simpsons⋅⋅⋅cat⋅lady\n", " \n", "
\n", " 		\n", "
\n", " \n", " \n", " 2\n", " \n", "
\n", " 		\n", "
\n", " \n", " \n", " frog\n", " \n", "
\n", " 		\n", "
\n", " \n", " \n", " table\n", " \n", "
\n", " 		\n", "
\n", " \n", " \n", " eagle-tv-plus\n", " \n", "
\n", " 		\n", "
\n", " \n", " \n", " 1\n", " \n", "
\n", " 		\n", "
\n", " \n", " \n", " 3\n", " \n", "
\n", " 		\n", "
\n", " \n", " \n", " ['baby⋅2',⋅'sorry⋅2']\n", " \n", "
\n", " 		\n", "
\n", " \n", " \n", " [5,⋅6,⋅7]\n", " \n", "
\n", " 		\n", "
\n", " \n", " \n", " 1\n", " \n", "
\n", " 		\n", "
\n", " \n", " \n", " e\n", " \n", "
\n", "
\n", "
\n", " \n", " \n", " None\n", " \n", "
\n", " 		\n", "
\n", " \n", " \n", " 3\n", " \n", "
\n", " 		\n", "
\n", " \n", " \n", " eagle\n", " \n", "
\n", " 		\n", "
\n", " \n", " \n", " glass\n", " \n", "
\n", " 		\n", "
\n", " \n", " \n", " lion-pc\n", " \n", "
\n", " 		\n", "
\n", " \n", " \n", " c\n", " \n", "
\n", " 		\n", "
\n", " \n", " \n", " 4\n", " \n", "
\n", " 		\n", "
\n", " \n", " \n", " ['baby⋅3',⋅'sorry⋅3']\n", " \n", "
\n", " 		\n", "
\n", " \n", " \n", " [7,⋅8]\n", " \n", "
\n", " 		\n", "
\n", " \n", " \n", " 1\n", " \n", "
\n", " 		\n", "
\n", " \n", " \n", " r\n", " \n", "
\n", "
\n", "
\n", "\n", "\n", "
Viewing 4 of 4 rows / 11 columns
\n", "
1 partition(s) <class 'optimus.engines.pandas.dataframe.PandasDataFrame'>
\n", "\n" ] }, "metadata": {} } ], "metadata": {} }, { "cell_type": "code", "execution_count": 62, "source": [ "df.cols.replace(\"animals\", [\"dog\", \"cat\"], \"animals\", \"words\").display(highlight=\"animals\")" ], "outputs": [ { "output_type": "display_data", "data": { "text/plain": [ "" ], "text/html": [ "\n", "\n", "\n", "\n", "\n", "
Viewing 4 of 4 rows / 11 columns
\n", "
1 partition(s)
\n", "\n", "\n", "\n", " \n", " \n", " \n", " \n", " \n", " \n", " \n", " \n", " \n", " \n", " \n", " \n", " \n", " \n", " \n", " \n", " \n", " \n", " \n", " \n", " \n", " \n", " \n", " \n", " \n", " \n", " \n", "\n", " \n", " \n", " \n", " \n", " \n", " \n", " \n", " \n", " \n", " \n", " \n", " \n", " \n", " \n", " \n", " \n", " \n", " \n", " \n", " \n", " \n", " \n", " \n", " \n", " \n", " \n", " \n", " \n", " \n", " \n", " \n", " \n", " \n", " \n", " \n", " \n", " \n", " \n", " \n", " \n", " \n", " \n", " \n", " \n", " \n", " \n", " \n", " \n", " \n", " \n", " \n", " \n", " \n", " \n", " \n", " \n", " \n", " \n", " \n", " \n", " \n", " \n", " \n", " \n", " \n", " \n", " \n", " \n", " \n", " \n", " \n", " \n", " \n", " \n", " \n", " \n", " \n", " \n", " \n", " \n", " \n", " \n", " \n", " \n", " \n", " \n", " \n", " \n", " \n", " \n", " \n", " \n", " \n", " \n", " \n", " \n", " \n", " \n", " \n", " \n", " \n", " \n", " \n", " \n", " \n", " \n", " \n", " \n", "
\n", "
words
\n", "
1 (object)
\n", " \n", " 		\n", "
num
\n", "
2 (int32)
\n", " \n", " 		\n", "
animals
\n", "
3 (object)
\n", " \n", " 		\n", "
thing
\n", "
4 (object)
\n", " \n", " 		\n", "
two strings
\n", "
5 (object)
\n", " \n", " 		\n", "
filter
\n", "
6 (object)
\n", " \n", " 		\n", "
num 2
\n", "
7 (string)
\n", " \n", " 		\n", "
col_array
\n", "
8 (object)
\n", " \n", " 		\n", "
col_int
\n", "
9 (object)
\n", " \n", " 		\n", "
new_col_1
\n", "
10 (int64)
\n", " \n", " 		\n", "
NEW COLUMN
\n", "
11 (object)
\n", " \n", "
\n", "
\n", " \n", " \n", " ⋅⋅I⋅like⋅⋅⋅⋅⋅fish⋅⋅\n", " \n", "
\n", " 		\n", "
\n", " \n", " \n", " 1\n", " \n", "
\n", " 		\n", "
\n", " \n", " \n", " animals\n", " \n", "
\n", " 		\n", "
\n", " \n", " \n", " housé\n", " \n", "
\n", " 		\n", "
\n", " \n", " \n", " cat-car\n", " \n", "
\n", " 		\n", "
\n", " \n", " \n", " a\n", " \n", "
\n", " 		\n", "
\n", " \n", " \n", " 1\n", " \n", "
\n", " 		\n", "
\n", " \n", " \n", " ['baby',⋅'sorry']\n", " \n", "
\n", " 		\n", "
\n", " \n", " \n", " [1,⋅2,⋅3]\n", " \n", "
\n", " 		\n", "
\n", " \n", " \n", " 1\n", " \n", "
\n", " 		\n", "
\n", " \n", " \n", " q\n", " \n", "
\n", "
\n", "
\n", " \n", " \n", " ⋅⋅⋅⋅zombies\n", " \n", "
\n", " 		\n", "
\n", " \n", " \n", " 2\n", " \n", "
\n", " 		\n", "
\n", " \n", " \n", " animals\n", " \n", "
\n", " 		\n", "
\n", " \n", " \n", " tv\n", " \n", "
\n", " 		\n", "
\n", " \n", " \n", " dog-tv\n", " \n", "
\n", " 		\n", "
\n", " \n", " \n", " b\n", " \n", "
\n", " 		\n", "
\n", " \n", " \n", " 2\n", " \n", "
\n", " 		\n", "
\n", " \n", " \n", " ['baby⋅1',⋅'sorry⋅1']\n", " \n", "
\n", " 		\n", "
\n", " \n", " \n", " [3,⋅4]\n", " \n", "
\n", " 		\n", "
\n", " \n", " \n", " 1\n", " \n", "
\n", " 		\n", "
\n", " \n", " \n", " w\n", " \n", "
\n", "
\n", "
\n", " \n", " \n", " simpsons⋅⋅⋅cat⋅lady\n", " \n", "
\n", " 		\n", "
\n", " \n", " \n", " 2\n", " \n", "
\n", " 		\n", "
\n", " \n", " \n", " frog\n", " \n", "
\n", " 		\n", "
\n", " \n", " \n", " table\n", " \n", "
\n", " 		\n", "
\n", " \n", " \n", " eagle-tv-plus\n", " \n", "
\n", " 		\n", "
\n", " \n", " \n", " 1\n", " \n", "
\n", " 		\n", "
\n", " \n", " \n", " 3\n", " \n", "
\n", " 		\n", "
\n", " \n", " \n", " ['baby⋅2',⋅'sorry⋅2']\n", " \n", "
\n", " 		\n", "
\n", " \n", " \n", " [5,⋅6,⋅7]\n", " \n", "
\n", " 		\n", "
\n", " \n", " \n", " 1\n", " \n", "
\n", " 		\n", "
\n", " \n", " \n", " e\n", " \n", "
\n", "
\n", "
\n", " \n", " \n", " None\n", " \n", "
\n", " 		\n", "
\n", " \n", " \n", " 3\n", " \n", "
\n", " 		\n", "
\n", " \n", " \n", " eagle\n", " \n", "
\n", " 		\n", "
\n", " \n", " \n", " glass\n", " \n", "
\n", " 		\n", "
\n", " \n", " \n", " lion-pc\n", " \n", "
\n", " 		\n", "
\n", " \n", " \n", " c\n", " \n", "
\n", " 		\n", "
\n", " \n", " \n", " 4\n", " \n", "
\n", " 		\n", "
\n", " \n", " \n", " ['baby⋅3',⋅'sorry⋅3']\n", " \n", "
\n", " 		\n", "
\n", " \n", " \n", " [7,⋅8]\n", " \n", "
\n", " 		\n", "
\n", " \n", " \n", " 1\n", " \n", "
\n", " 		\n", "
\n", " \n", " \n", " r\n", " \n", "
\n", "
\n", "
\n", "\n", "\n", "
Viewing 4 of 4 rows / 11 columns
\n", "
1 partition(s) <class 'optimus.engines.pandas.dataframe.PandasDataFrame'>
\n", "\n" ] }, "metadata": {} } ], "metadata": {} }, { "cell_type": "markdown", "source": [ "### Replace using a regular expression" ], "metadata": {} }, { "cell_type": "code", "execution_count": 63, "source": [ "df.cols.replace_regex('*', '.*[Cc]at.*', 'contains cat')" ], "outputs": [ { "output_type": "execute_result", "data": { "text/plain": [ "words num animals thing two strings filter num 2 col_array col_int new_col_1 NEW COLUMN\n", "(object) (int32) (object) (object) (object) (object) (string) (object) (object) (int64) (object)\n", "--------------- --------- ------------ ---------- ------------- ---------- ---------- --------------------- ---------- ----------- ------------\n", "I like fish 1 dog housé contains cat a 1 ['baby', 'sorry'] [1, 2, 3] 1 q\n", "zombies 2 contains cat tv dog-tv b 2 ['baby 1', 'sorry 1'] [3, 4] 1 w\n", "contains cat 2 frog table eagle-tv-plus 1 3 ['baby 2', 'sorry 2'] [5, 6, 7] 1 e\n", " 3 eagle glass lion-pc c 4 ['baby 3', 'sorry 3'] [7, 8] 1 r" ], "text/html": [ "\n", "\n", "\n", "\n", "\n", "
Viewing 4 of 4 rows / 11 columns
\n", "
1 partition(s)
\n", "\n", "\n", "\n", " \n", " \n", " \n", " \n", " \n", " \n", " \n", " \n", " \n", " \n", " \n", " \n", " \n", " \n", " \n", " \n", " \n", " \n", " \n", " \n", " \n", " \n", " \n", " \n", " \n", " \n", " \n", "\n", " \n", " \n", " \n", " \n", " \n", " \n", " \n", " \n", " \n", " \n", " \n", " \n", " \n", " \n", " \n", " \n", " \n", " \n", " \n", " \n", " \n", " \n", " \n", " \n", " \n", " \n", " \n", " \n", " \n", " \n", " \n", " \n", " \n", " \n", " \n", " \n", " \n", " \n", " \n", " \n", " \n", " \n", " \n", " \n", " \n", " \n", " \n", " \n", " \n", " \n", " \n", " \n", " \n", " \n", " \n", " \n", " \n", " \n", " \n", " \n", " \n", " \n", " \n", " \n", " \n", " \n", " \n", " \n", " \n", " \n", " \n", " \n", " \n", " \n", " \n", " \n", " \n", " \n", " \n", " \n", " \n", " \n", " \n", " \n", " \n", " \n", " \n", " \n", " \n", " \n", " \n", " \n", " \n", " \n", " \n", " \n", " \n", " \n", " \n", " \n", " \n", " \n", " \n", " \n", " \n", " \n", " \n", " \n", "
\n", "
words
\n", "
1 (object)
\n", " \n", " 		\n", "
num
\n", "
2 (int32)
\n", " \n", " 		\n", "
animals
\n", "
3 (object)
\n", " \n", " 		\n", "
thing
\n", "
4 (object)
\n", " \n", " 		\n", "
two strings
\n", "
5 (object)
\n", " \n", " 		\n", "
filter
\n", "
6 (object)
\n", " \n", " 		\n", "
num 2
\n", "
7 (string)
\n", " \n", " 		\n", "
col_array
\n", "
8 (object)
\n", " \n", " 		\n", "
col_int
\n", "
9 (object)
\n", " \n", " 		\n", "
new_col_1
\n", "
10 (int64)
\n", " \n", " 		\n", "
NEW COLUMN
\n", "
11 (object)
\n", " \n", "
\n", "
\n", " \n", " \n", " ⋅⋅I⋅like⋅⋅⋅⋅⋅fish⋅⋅\n", " \n", "
\n", " 		\n", "
\n", " \n", " \n", " 1\n", " \n", "
\n", " 		\n", "
\n", " \n", " \n", " dog\n", " \n", "
\n", " 		\n", "
\n", " \n", " \n", " housé\n", " \n", "
\n", " 		\n", "
\n", " \n", " \n", " contains⋅cat\n", " \n", "
\n", " 		\n", "
\n", " \n", " \n", " a\n", " \n", "
\n", " 		\n", "
\n", " \n", " \n", " 1\n", " \n", "
\n", " 		\n", "
\n", " \n", " \n", " ['baby',⋅'sorry']\n", " \n", "
\n", " 		\n", "
\n", " \n", " \n", " [1,⋅2,⋅3]\n", " \n", "
\n", " 		\n", "
\n", " \n", " \n", " 1\n", " \n", "
\n", " 		\n", "
\n", " \n", " \n", " q\n", " \n", "
\n", "
\n", "
\n", " \n", " \n", " ⋅⋅⋅⋅zombies\n", " \n", "
\n", " 		\n", "
\n", " \n", " \n", " 2\n", " \n", "
\n", " 		\n", "
\n", " \n", " \n", " contains⋅cat\n", " \n", "
\n", " 		\n", "
\n", " \n", " \n", " tv\n", " \n", "
\n", " 		\n", "
\n", " \n", " \n", " dog-tv\n", " \n", "
\n", " 		\n", "
\n", " \n", " \n", " b\n", " \n", "
\n", " 		\n", "
\n", " \n", " \n", " 2\n", " \n", "
\n", " 		\n", "
\n", " \n", " \n", " ['baby⋅1',⋅'sorry⋅1']\n", " \n", "
\n", " 		\n", "
\n", " \n", " \n", " [3,⋅4]\n", " \n", "
\n", " 		\n", "
\n", " \n", " \n", " 1\n", " \n", "
\n", " 		\n", "
\n", " \n", " \n", " w\n", " \n", "
\n", "
\n", "
\n", " \n", " \n", " contains⋅cat\n", " \n", "
\n", " 		\n", "
\n", " \n", " \n", " 2\n", " \n", "
\n", " 		\n", "
\n", " \n", " \n", " frog\n", " \n", "
\n", " 		\n", "
\n", " \n", " \n", " table\n", " \n", "
\n", " 		\n", "
\n", " \n", " \n", " eagle-tv-plus\n", " \n", "
\n", " 		\n", "
\n", " \n", " \n", " 1\n", " \n", "
\n", " 		\n", "
\n", " \n", " \n", " 3\n", " \n", "
\n", " 		\n", "
\n", " \n", " \n", " ['baby⋅2',⋅'sorry⋅2']\n", " \n", "
\n", " 		\n", "
\n", " \n", " \n", " [5,⋅6,⋅7]\n", " \n", "
\n", " 		\n", "
\n", " \n", " \n", " 1\n", " \n", "
\n", " 		\n", "
\n", " \n", " \n", " e\n", " \n", "
\n", "
\n", "
\n", " \n", " \n", " None\n", " \n", "
\n", " 		\n", "
\n", " \n", " \n", " 3\n", " \n", "
\n", " 		\n", "
\n", " \n", " \n", " eagle\n", " \n", "
\n", " 		\n", "
\n", " \n", " \n", " glass\n", " \n", "
\n", " 		\n", "
\n", " \n", " \n", " lion-pc\n", " \n", "
\n", " 		\n", "
\n", " \n", " \n", " c\n", " \n", "
\n", " 		\n", "
\n", " \n", " \n", " 4\n", " \n", "
\n", " 		\n", "
\n", " \n", " \n", " ['baby⋅3',⋅'sorry⋅3']\n", " \n", "
\n", " 		\n", "
\n", " \n", " \n", " [7,⋅8]\n", " \n", "
\n", " 		\n", "
\n", " \n", " \n", " 1\n", " \n", "
\n", " 		\n", "
\n", " \n", " \n", " r\n", " \n", "
\n", "
\n", "
\n", "\n", "\n", "
Viewing 4 of 4 rows / 11 columns
\n", "
1 partition(s) <class 'optimus.engines.pandas.dataframe.PandasDataFrame'>
\n", "\n" ] }, "metadata": {}, "execution_count": 63 } ], "metadata": {} }, { "cell_type": "markdown", "source": [ "## Nest" ], "metadata": {} }, { "cell_type": "markdown", "source": [ "### Merge two columns in a string column" ], "metadata": {} }, { "cell_type": "code", "execution_count": 64, "source": [ "df.cols.nest([\"animals\", \"two strings\"], output_col=\"col_nested\", separator=\"---\").display(highlight=[\"animals\", \"two strings\", \"col_nested\"])" ], "outputs": [ { "output_type": "display_data", "data": { "text/plain": [ "" ], "text/html": [ "\n", "\n", "\n", "\n", "\n", "
Viewing 4 of 4 rows / 12 columns
\n", "
1 partition(s)
\n", "\n", "\n", "\n", " \n", " \n", " \n", " \n", " \n", " \n", " \n", " \n", " \n", " \n", " \n", " \n", " \n", " \n", " \n", " \n", " \n", " \n", " \n", " \n", " \n", " \n", " \n", " \n", " \n", " \n", " \n", " \n", " \n", "\n", " \n", " \n", " \n", " \n", " \n", " \n", " \n", " \n", " \n", " \n", " \n", " \n", " \n", " \n", " \n", " \n", " \n", " \n", " \n", " \n", " \n", " \n", " \n", " \n", " \n", " \n", " \n", " \n", " \n", " \n", " \n", " \n", " \n", " \n", " \n", " \n", " \n", " \n", " \n", " \n", " \n", " \n", " \n", " \n", " \n", " \n", " \n", " \n", " \n", " \n", " \n", " \n", " \n", " \n", " \n", " \n", " \n", " \n", " \n", " \n", " \n", " \n", " \n", " \n", " \n", " \n", " \n", " \n", " \n", " \n", " \n", " \n", " \n", " \n", " \n", " \n", " \n", " \n", " \n", " \n", " \n", " \n", " \n", " \n", " \n", " \n", " \n", " \n", " \n", " \n", " \n", " \n", " \n", " \n", " \n", " \n", " \n", " \n", " \n", " \n", " \n", " \n", " \n", " \n", " \n", " \n", " \n", " \n", " \n", " \n", " \n", " \n", " \n", " \n", " \n", " \n", "
\n", "
words
\n", "
1 (object)
\n", " \n", " 		\n", "
num
\n", "
2 (int32)
\n", " \n", " 		\n", "
animals
\n", "
3 (object)
\n", " \n", " 		\n", "
thing
\n", "
4 (object)
\n", " \n", " 		\n", "
two strings
\n", "
5 (object)
\n", " \n", " 		\n", "
col_nested
\n", "
6 (object)
\n", " \n", " 		\n", "
filter
\n", "
7 (object)
\n", " \n", " 		\n", "
num 2
\n", "
8 (string)
\n", " \n", " 		\n", "
col_array
\n", "
9 (object)
\n", " \n", " 		\n", "
col_int
\n", "
10 (object)
\n", " \n", " 		\n", "
new_col_1
\n", "
11 (int64)
\n", " \n", " 		\n", "
NEW COLUMN
\n", "
12 (object)
\n", " \n", "
\n", "
\n", " \n", " \n", " ⋅⋅I⋅like⋅⋅⋅⋅⋅fish⋅⋅\n", " \n", "
\n", " 		\n", "
\n", " \n", " \n", " 1\n", " \n", "
\n", " 		\n", "
\n", " \n", " \n", " dog\n", " \n", "
\n", " 		\n", "
\n", " \n", " \n", " housé\n", " \n", "
\n", " 		\n", "
\n", " \n", " \n", " cat-car\n", " \n", "
\n", " 		\n", "
\n", " \n", " \n", " dog---cat-car\n", " \n", "
\n", " 		\n", "
\n", " \n", " \n", " a\n", " \n", "
\n", " 		\n", "
\n", " \n", " \n", " 1\n", " \n", "
\n", " 		\n", "
\n", " \n", " \n", " ['baby',⋅'sorry']\n", " \n", "
\n", " 		\n", "
\n", " \n", " \n", " [1,⋅2,⋅3]\n", " \n", "
\n", " 		\n", "
\n", " \n", " \n", " 1\n", " \n", "
\n", " 		\n", "
\n", " \n", " \n", " q\n", " \n", "
\n", "
\n", "
\n", " \n", " \n", " ⋅⋅⋅⋅zombies\n", " \n", "
\n", " 		\n", "
\n", " \n", " \n", " 2\n", " \n", "
\n", " 		\n", "
\n", " \n", " \n", " cat\n", " \n", "
\n", " 		\n", "
\n", " \n", " \n", " tv\n", " \n", "
\n", " 		\n", "
\n", " \n", " \n", " dog-tv\n", " \n", "
\n", " 		\n", "
\n", " \n", " \n", " cat---dog-tv\n", " \n", "
\n", " 		\n", "
\n", " \n", " \n", " b\n", " \n", "
\n", " 		\n", "
\n", " \n", " \n", " 2\n", " \n", "
\n", " 		\n", "
\n", " \n", " \n", " ['baby⋅1',⋅'sorry⋅1']\n", " \n", "
\n", " 		\n", "
\n", " \n", " \n", " [3,⋅4]\n", " \n", "
\n", " 		\n", "
\n", " \n", " \n", " 1\n", " \n", "
\n", " 		\n", "
\n", " \n", " \n", " w\n", " \n", "
\n", "
\n", "
\n", " \n", " \n", " simpsons⋅⋅⋅cat⋅lady\n", " \n", "
\n", " 		\n", "
\n", " \n", " \n", " 2\n", " \n", "
\n", " 		\n", "
\n", " \n", " \n", " frog\n", " \n", "
\n", " 		\n", "
\n", " \n", " \n", " table\n", " \n", "
\n", " 		\n", "
\n", " \n", " \n", " eagle-tv-plus\n", " \n", "
\n", " 		\n", "
\n", " \n", " \n", " frog---eagle-tv-plus\n", " \n", "
\n", " 		\n", "
\n", " \n", " \n", " 1\n", " \n", "
\n", " 		\n", "
\n", " \n", " \n", " 3\n", " \n", "
\n", " 		\n", "
\n", " \n", " \n", " ['baby⋅2',⋅'sorry⋅2']\n", " \n", "
\n", " 		\n", "
\n", " \n", " \n", " [5,⋅6,⋅7]\n", " \n", "
\n", " 		\n", "
\n", " \n", " \n", " 1\n", " \n", "
\n", " 		\n", "
\n", " \n", " \n", " e\n", " \n", "
\n", "
\n", "
\n", " \n", " \n", " None\n", " \n", "
\n", " 		\n", "
\n", " \n", " \n", " 3\n", " \n", "
\n", " 		\n", "
\n", " \n", " \n", " eagle\n", " \n", "
\n", " 		\n", "
\n", " \n", " \n", " glass\n", " \n", "
\n", " 		\n", "
\n", " \n", " \n", " lion-pc\n", " \n", "
\n", " 		\n", "
\n", " \n", " \n", " eagle---lion-pc\n", " \n", "
\n", " 		\n", "
\n", " \n", " \n", " c\n", " \n", "
\n", " 		\n", "
\n", " \n", " \n", " 4\n", " \n", "
\n", " 		\n", "
\n", " \n", " \n", " ['baby⋅3',⋅'sorry⋅3']\n", " \n", "
\n", " 		\n", "
\n", " \n", " \n", " [7,⋅8]\n", " \n", "
\n", " 		\n", "
\n", " \n", " \n", " 1\n", " \n", "
\n", " 		\n", "
\n", " \n", " \n", " r\n", " \n", "
\n", "
\n", "
\n", "\n", "\n", "
Viewing 4 of 4 rows / 12 columns
\n", "
1 partition(s) <class 'optimus.engines.pandas.dataframe.PandasDataFrame'>
\n", "\n" ] }, "metadata": {} } ], "metadata": {} }, { "cell_type": "markdown", "source": [ "### Merge two columns in a column vector" ], "metadata": {} }, { "cell_type": "code", "execution_count": 65, "source": [ "df.cols.copy(\"num\", \"num_1\").cols.nest([\"num\", \"num_1\"], output_col=\"col_nested\", shape=\"vector\").display(highlight=[\"num\", \"num_1\", \"col_nested\"])" ], "outputs": [ { "output_type": "display_data", "data": { "text/plain": [ "" ], "text/html": [ "\n", "\n", "\n", "\n", "\n", "
Viewing 4 of 4 rows / 13 columns
\n", "
1 partition(s)
\n", "\n", "\n", "\n", " \n", " \n", " \n", " \n", " \n", " \n", " \n", " \n", " \n", " \n", " \n", " \n", " \n", " \n", " \n", " \n", " \n", " \n", " \n", " \n", " \n", " \n", " \n", " \n", " \n", " \n", " \n", " \n", " \n", " \n", " \n", "\n", " \n", " \n", " \n", " \n", " \n", " \n", " \n", " \n", " \n", " \n", " \n", " \n", " \n", " \n", " \n", " \n", " \n", " \n", " \n", " \n", " \n", " \n", " \n", " \n", " \n", " \n", " \n", " \n", " \n", " \n", " \n", " \n", " \n", " \n", " \n", " \n", " \n", " \n", " \n", " \n", " \n", " \n", " \n", " \n", " \n", " \n", " \n", " \n", " \n", " \n", " \n", " \n", " \n", " \n", " \n", " \n", " \n", " \n", " \n", " \n", " \n", " \n", " \n", " \n", " \n", " \n", " \n", " \n", " \n", " \n", " \n", " \n", " \n", " \n", " \n", " \n", " \n", " \n", " \n", " \n", " \n", " \n", " \n", " \n", " \n", " \n", " \n", " \n", " \n", " \n", " \n", " \n", " \n", " \n", " \n", " \n", " \n", " \n", " \n", " \n", " \n", " \n", " \n", " \n", " \n", " \n", " \n", " \n", " \n", " \n", " \n", " \n", " \n", " \n", " \n", " \n", " \n", " \n", " \n", " \n", " \n", " \n", " \n", " \n", "
\n", "
words
\n", "
1 (object)
\n", " \n", " 		\n", "
num
\n", "
2 (int32)
\n", " \n", " 		\n", "
num_1
\n", "
3 (int32)
\n", " \n", " 		\n", "
col_nested
\n", "
4 (object)
\n", " \n", " 		\n", "
animals
\n", "
5 (object)
\n", " \n", " 		\n", "
thing
\n", "
6 (object)
\n", " \n", " 		\n", "
two strings
\n", "
7 (object)
\n", " \n", " 		\n", "
filter
\n", "
8 (object)
\n", " \n", " 		\n", "
num 2
\n", "
9 (string)
\n", " \n", " 		\n", "
col_array
\n", "
10 (object)
\n", " \n", " 		\n", "
col_int
\n", "
11 (object)
\n", " \n", " 		\n", "
new_col_1
\n", "
12 (int64)
\n", " \n", " 		\n", "
NEW COLUMN
\n", "
13 (object)
\n", " \n", "
\n", "
\n", " \n", " \n", " ⋅⋅I⋅like⋅⋅⋅⋅⋅fish⋅⋅\n", " \n", "
\n", " 		\n", "
\n", " \n", " \n", " 1\n", " \n", "
\n", " 		\n", "
\n", " \n", " \n", " 1\n", " \n", "
\n", " 		\n", "
\n", " \n", " \n", " [1,⋅1]\n", " \n", "
\n", " 		\n", "
\n", " \n", " \n", " dog\n", " \n", "
\n", " 		\n", "
\n", " \n", " \n", " housé\n", " \n", "
\n", " 		\n", "
\n", " \n", " \n", " cat-car\n", " \n", "
\n", " 		\n", "
\n", " \n", " \n", " a\n", " \n", "
\n", " 		\n", "
\n", " \n", " \n", " 1\n", " \n", "
\n", " 		\n", "
\n", " \n", " \n", " ['baby',⋅'sorry']\n", " \n", "
\n", " 		\n", "
\n", " \n", " \n", " [1,⋅2,⋅3]\n", " \n", "
\n", " 		\n", "
\n", " \n", " \n", " 1\n", " \n", "
\n", " 		\n", "
\n", " \n", " \n", " q\n", " \n", "
\n", "
\n", "
\n", " \n", " \n", " ⋅⋅⋅⋅zombies\n", " \n", "
\n", " 		\n", "
\n", " \n", " \n", " 2\n", " \n", "
\n", " 		\n", "
\n", " \n", " \n", " 2\n", " \n", "
\n", " 		\n", "
\n", " \n", " \n", " [2,⋅2]\n", " \n", "
\n", " 		\n", "
\n", " \n", " \n", " cat\n", " \n", "
\n", " 		\n", "
\n", " \n", " \n", " tv\n", " \n", "
\n", " 		\n", "
\n", " \n", " \n", " dog-tv\n", " \n", "
\n", " 		\n", "
\n", " \n", " \n", " b\n", " \n", "
\n", " 		\n", "
\n", " \n", " \n", " 2\n", " \n", "
\n", " 		\n", "
\n", " \n", " \n", " ['baby⋅1',⋅'sorry⋅1']\n", " \n", "
\n", " 		\n", "
\n", " \n", " \n", " [3,⋅4]\n", " \n", "
\n", " 		\n", "
\n", " \n", " \n", " 1\n", " \n", "
\n", " 		\n", "
\n", " \n", " \n", " w\n", " \n", "
\n", "
\n", "
\n", " \n", " \n", " simpsons⋅⋅⋅cat⋅lady\n", " \n", "
\n", " 		\n", "
\n", " \n", " \n", " 2\n", " \n", "
\n", " 		\n", "
\n", " \n", " \n", " 2\n", " \n", "
\n", " 		\n", "
\n", " \n", " \n", " [2,⋅2]\n", " \n", "
\n", " 		\n", "
\n", " \n", " \n", " frog\n", " \n", "
\n", " 		\n", "
\n", " \n", " \n", " table\n", " \n", "
\n", " 		\n", "
\n", " \n", " \n", " eagle-tv-plus\n", " \n", "
\n", " 		\n", "
\n", " \n", " \n", " 1\n", " \n", "
\n", " 		\n", "
\n", " \n", " \n", " 3\n", " \n", "
\n", " 		\n", "
\n", " \n", " \n", " ['baby⋅2',⋅'sorry⋅2']\n", " \n", "
\n", " 		\n", "
\n", " \n", " \n", " [5,⋅6,⋅7]\n", " \n", "
\n", " 		\n", "
\n", " \n", " \n", " 1\n", " \n", "
\n", " 		\n", "
\n", " \n", " \n", " e\n", " \n", "
\n", "
\n", "
\n", " \n", " \n", " None\n", " \n", "
\n", " 		\n", "
\n", " \n", " \n", " 3\n", " \n", "
\n", " 		\n", "
\n", " \n", " \n", " 3\n", " \n", "
\n", " 		\n", "
\n", " \n", " \n", " [3,⋅3]\n", " \n", "
\n", " 		\n", "
\n", " \n", " \n", " eagle\n", " \n", "
\n", " 		\n", "
\n", " \n", " \n", " glass\n", " \n", "
\n", " 		\n", "
\n", " \n", " \n", " lion-pc\n", " \n", "
\n", " 		\n", "
\n", " \n", " \n", " c\n", " \n", "
\n", " 		\n", "
\n", " \n", " \n", " 4\n", " \n", "
\n", " 		\n", "
\n", " \n", " \n", " ['baby⋅3',⋅'sorry⋅3']\n", " \n", "
\n", " 		\n", "
\n", " \n", " \n", " [7,⋅8]\n", " \n", "
\n", " 		\n", "
\n", " \n", " \n", " 1\n", " \n", "
\n", " 		\n", "
\n", " \n", " \n", " r\n", " \n", "
\n", "
\n", "
\n", "\n", "\n", "
Viewing 4 of 4 rows / 13 columns
\n", "
1 partition(s) <class 'optimus.engines.pandas.dataframe.PandasDataFrame'>
\n", "\n" ] }, "metadata": {} } ], "metadata": { "tags": [] } }, { "cell_type": "markdown", "source": [ "### Merge three columns in an array" ], "metadata": {} }, { "cell_type": "code", "execution_count": 66, "source": [ "df.cols.nest([\"animals\", \"two strings\", \"num 2\"], output_col=\"col_nested\", shape=\"array\").display(highlight=[\"animals\", \"two strings\", \"num 2\", \"col_nested\"])" ], "outputs": [ { "output_type": "display_data", "data": { "text/plain": [ "" ], "text/html": [ "\n", "\n", "\n", "\n", "\n", "
Viewing 4 of 4 rows / 12 columns
\n", "
1 partition(s)
\n", "\n", "\n", "\n", " \n", " \n", " \n", " \n", " \n", " \n", " \n", " \n", " \n", " \n", " \n", " \n", " \n", " \n", " \n", " \n", " \n", " \n", " \n", " \n", " \n", " \n", " \n", " \n", " \n", " \n", " \n", " \n", " \n", "\n", " \n", " \n", " \n", " \n", " \n", " \n", " \n", " \n", " \n", " \n", " \n", " \n", " \n", " \n", " \n", " \n", " \n", " \n", " \n", " \n", " \n", " \n", " \n", " \n", " \n", " \n", " \n", " \n", " \n", " \n", " \n", " \n", " \n", " \n", " \n", " \n", " \n", " \n", " \n", " \n", " \n", " \n", " \n", " \n", " \n", " \n", " \n", " \n", " \n", " \n", " \n", " \n", " \n", " \n", " \n", " \n", " \n", " \n", " \n", " \n", " \n", " \n", " \n", " \n", " \n", " \n", " \n", " \n", " \n", " \n", " \n", " \n", " \n", " \n", " \n", " \n", " \n", " \n", " \n", " \n", " \n", " \n", " \n", " \n", " \n", " \n", " \n", " \n", " \n", " \n", " \n", " \n", " \n", " \n", " \n", " \n", " \n", " \n", " \n", " \n", " \n", " \n", " \n", " \n", " \n", " \n", " \n", " \n", " \n", " \n", " \n", " \n", " \n", " \n", " \n", " \n", "
\n", "
words
\n", "
1 (object)
\n", " \n", " 		\n", "
num
\n", "
2 (int32)
\n", " \n", " 		\n", "
animals
\n", "
3 (object)
\n", " \n", " 		\n", "
thing
\n", "
4 (object)
\n", " \n", " 		\n", "
two strings
\n", "
5 (object)
\n", " \n", " 		\n", "
filter
\n", "
6 (object)
\n", " \n", " 		\n", "
num 2
\n", "
7 (string)
\n", " \n", " 		\n", "
col_nested
\n", "
8 (object)
\n", " \n", " 		\n", "
col_array
\n", "
9 (object)
\n", " \n", " 		\n", "
col_int
\n", "
10 (object)
\n", " \n", " 		\n", "
new_col_1
\n", "
11 (int64)
\n", " \n", " 		\n", "
NEW COLUMN
\n", "
12 (object)
\n", " \n", "
\n", "
\n", " \n", " \n", " ⋅⋅I⋅like⋅⋅⋅⋅⋅fish⋅⋅\n", " \n", "
\n", " 		\n", "
\n", " \n", " \n", " 1\n", " \n", "
\n", " 		\n", "
\n", " \n", " \n", " dog\n", " \n", "
\n", " 		\n", "
\n", " \n", " \n", " housé\n", " \n", "
\n", " 		\n", "
\n", " \n", " \n", " cat-car\n", " \n", "
\n", " 		\n", "
\n", " \n", " \n", " a\n", " \n", "
\n", " 		\n", "
\n", " \n", " \n", " 1\n", " \n", "
\n", " 		\n", "
\n", " \n", " \n", " ['dog',⋅'cat-car',⋅'1']\n", " \n", "
\n", " 		\n", "
\n", " \n", " \n", " ['baby',⋅'sorry']\n", " \n", "
\n", " 		\n", "
\n", " \n", " \n", " [1,⋅2,⋅3]\n", " \n", "
\n", " 		\n", "
\n", " \n", " \n", " 1\n", " \n", "
\n", " 		\n", "
\n", " \n", " \n", " q\n", " \n", "
\n", "
\n", "
\n", " \n", " \n", " ⋅⋅⋅⋅zombies\n", " \n", "
\n", " 		\n", "
\n", " \n", " \n", " 2\n", " \n", "
\n", " 		\n", "
\n", " \n", " \n", " cat\n", " \n", "
\n", " 		\n", "
\n", " \n", " \n", " tv\n", " \n", "
\n", " 		\n", "
\n", " \n", " \n", " dog-tv\n", " \n", "
\n", " 		\n", "
\n", " \n", " \n", " b\n", " \n", "
\n", " 		\n", "
\n", " \n", " \n", " 2\n", " \n", "
\n", " 		\n", "
\n", " \n", " \n", " ['cat',⋅'dog-tv',⋅'2']\n", " \n", "
\n", " 		\n", "
\n", " \n", " \n", " ['baby⋅1',⋅'sorry⋅1']\n", " \n", "
\n", " 		\n", "
\n", " \n", " \n", " [3,⋅4]\n", " \n", "
\n", " 		\n", "
\n", " \n", " \n", " 1\n", " \n", "
\n", " 		\n", "
\n", " \n", " \n", " w\n", " \n", "
\n", "
\n", "
\n", " \n", " \n", " simpsons⋅⋅⋅cat⋅lady\n", " \n", "
\n", " 		\n", "
\n", " \n", " \n", " 2\n", " \n", "
\n", " 		\n", "
\n", " \n", " \n", " frog\n", " \n", "
\n", " 		\n", "
\n", " \n", " \n", " table\n", " \n", "
\n", " 		\n", "
\n", " \n", " \n", " eagle-tv-plus\n", " \n", "
\n", " 		\n", "
\n", " \n", " \n", " 1\n", " \n", "
\n", " 		\n", "
\n", " \n", " \n", " 3\n", " \n", "
\n", " 		\n", "
\n", " \n", " \n", " ['frog',⋅'eagle-tv-plus',⋅'3']\n", " \n", "
\n", " 		\n", "
\n", " \n", " \n", " ['baby⋅2',⋅'sorry⋅2']\n", " \n", "
\n", " 		\n", "
\n", " \n", " \n", " [5,⋅6,⋅7]\n", " \n", "
\n", " 		\n", "
\n", " \n", " \n", " 1\n", " \n", "
\n", " 		\n", "
\n", " \n", " \n", " e\n", " \n", "
\n", "
\n", "
\n", " \n", " \n", " None\n", " \n", "
\n", " 		\n", "
\n", " \n", " \n", " 3\n", " \n", "
\n", " 		\n", "
\n", " \n", " \n", " eagle\n", " \n", "
\n", " 		\n", "
\n", " \n", " \n", " glass\n", " \n", "
\n", " 		\n", "
\n", " \n", " \n", " lion-pc\n", " \n", "
\n", " 		\n", "
\n", " \n", " \n", " c\n", " \n", "
\n", " 		\n", "
\n", " \n", " \n", " 4\n", " \n", "
\n", " 		\n", "
\n", " \n", " \n", " ['eagle',⋅'lion-pc',⋅'4']\n", " \n", "
\n", " 		\n", "
\n", " \n", " \n", " ['baby⋅3',⋅'sorry⋅3']\n", " \n", "
\n", " 		\n", "
\n", " \n", " \n", " [7,⋅8]\n", " \n", "
\n", " 		\n", "
\n", " \n", " \n", " 1\n", " \n", "
\n", " 		\n", "
\n", " \n", " \n", " r\n", " \n", "
\n", "
\n", "
\n", "\n", "\n", "
Viewing 4 of 4 rows / 12 columns
\n", "
1 partition(s) <class 'optimus.engines.pandas.dataframe.PandasDataFrame'>
\n", "\n" ] }, "metadata": {} } ], "metadata": {} }, { "cell_type": "markdown", "source": [ "## Histograms" ], "metadata": {} }, { "cell_type": "code", "execution_count": 67, "source": [ "df = op.load.csv(\"https://raw.githubusercontent.com/ironmussa/Optimus/master/examples/data/foo.csv\")" ], "outputs": [], "metadata": {} }, { "cell_type": "code", "execution_count": 68, "source": [ "df" ], "outputs": [ { "output_type": "execute_result", "data": { "text/plain": [ " id firstName lastName billingId product price birth dummyCol\n", " (int64) (object) (object) (int64) (object) (int64) (object) (object)\n", "--------- ----------- ----------- ----------- ---------- --------- ---------- ----------\n", " 1 Luis Alvarez$$%! 123 Cake 10 1980/07/07 never\n", " 2 André Ampère 423 piza 8 1950/07/08 gonna\n", " 3 NiELS Böhr//((%% 551 pizza 8 1990/07/09 give\n", " 4 PAUL dirac$ 521 pizza 8 1954/07/10 you\n", " 5 Albert Einstein 634 pizza 8 1990/07/11 up\n", " 6 Galileo GALiLEI 672 arepa 5 1930/08/12 never\n", " 7 CaRL Ga%%%uss 323 taco 3 1970/07/13 gonna\n", " 8 David H$$$ilbert 624 taaaccoo 3 1950/07/14 let\n", " 9 Johannes KEPLER 735 taco 3 1920/04/22 you\n", " 10 JaMES M$$ax%%well 875 taco 3 1923/03/12 down\n", " 11 Isaac Newton 992 pasta 9 1999/02/15 never" ], "text/html": [ "\n", "\n", "\n", "\n", "\n", "
Viewing 10 of 19 rows / 8 columns
\n", "
1 partition(s)
\n", "\n", "\n", "\n", " \n", " \n", " \n", " \n", " \n", " \n", " \n", " \n", " \n", " \n", " \n", " \n", " \n", " \n", " \n", " \n", " \n", " \n", " \n", " \n", " \n", "\n", " \n", " \n", " \n", " \n", " \n", " \n", " \n", " \n", " \n", " \n", " \n", " \n", " \n", " \n", " \n", " \n", " \n", " \n", " \n", " \n", " \n", " \n", " \n", " \n", " \n", " \n", " \n", " \n", " \n", " \n", " \n", " \n", " \n", " \n", " \n", " \n", " \n", " \n", " \n", " \n", " \n", " \n", " \n", " \n", " \n", " \n", " \n", " \n", " \n", " \n", " \n", " \n", " \n", " \n", " \n", " \n", " \n", " \n", " \n", " \n", " \n", " \n", " \n", " \n", " \n", " \n", " \n", " \n", " \n", " \n", " \n", " \n", " \n", " \n", " \n", " \n", " \n", " \n", " \n", " \n", " \n", " \n", " \n", " \n", " \n", " \n", " \n", " \n", " \n", " \n", " \n", " \n", " \n", " \n", " \n", " \n", " \n", " \n", " \n", " \n", " \n", " \n", " \n", " \n", " \n", " \n", " \n", " \n", " \n", " \n", " \n", " \n", " \n", " \n", " \n", " \n", " \n", " \n", " \n", " \n", " \n", " \n", " \n", " \n", " \n", " \n", " \n", " \n", " \n", " \n", " \n", " \n", " \n", " \n", " \n", " \n", " \n", " \n", " \n", " \n", " \n", " \n", " \n", " \n", " \n", " \n", " \n", " \n", " \n", " \n", " \n", " \n", " \n", " \n", " \n", " \n", " \n", " \n", " \n", " \n", " \n", " \n", " \n", " \n", " \n", " \n", " \n", " \n", " \n", " \n", " \n", " \n", " \n", " \n", " \n", " \n", " \n", " \n", " \n", " \n", " \n", " \n", " \n", " \n", " \n", " \n", " \n", " \n", " \n", " \n", " \n", " \n", " \n", " \n", " \n", " \n", " \n", " \n", " \n", " \n", " \n", " \n", " \n", " \n", " \n", " \n", " \n", " \n", " \n", " \n", " \n", " \n", " \n", " \n", " \n", " \n", " \n", " \n", " \n", " \n", " \n", " \n", " \n", " \n", "
\n", "
id
\n", "
1 (int64)
\n", " \n", " 		\n", "
firstName
\n", "
2 (object)
\n", " \n", " 		\n", "
lastName
\n", "
3 (object)
\n", " \n", " 		\n", "
billingId
\n", "
4 (int64)
\n", " \n", " 		\n", "
product
\n", "
5 (object)
\n", " \n", " 		\n", "
price
\n", "
6 (int64)
\n", " \n", " 		\n", "
birth
\n", "
7 (object)
\n", " \n", " 		\n", "
dummyCol
\n", "
8 (object)
\n", " \n", "
\n", "
\n", " \n", " \n", " 1\n", " \n", "
\n", " 		\n", "
\n", " \n", " \n", " Luis\n", " \n", "
\n", " 		\n", "
\n", " \n", " \n", " Alvarez$$%!\n", " \n", "
\n", " 		\n", "
\n", " \n", " \n", " 123\n", " \n", "
\n", " 		\n", "
\n", " \n", " \n", " Cake\n", " \n", "
\n", " 		\n", "
\n", " \n", " \n", " 10\n", " \n", "
\n", " 		\n", "
\n", " \n", " \n", " 1980/07/07\n", " \n", "
\n", " 		\n", "
\n", " \n", " \n", " never\n", " \n", "
\n", "
\n", "
\n", " \n", " \n", " 2\n", " \n", "
\n", " 		\n", "
\n", " \n", " \n", " André\n", " \n", "
\n", " 		\n", "
\n", " \n", " \n", " Ampère\n", " \n", "
\n", " 		\n", "
\n", " \n", " \n", " 423\n", " \n", "
\n", " 		\n", "
\n", " \n", " \n", " piza\n", " \n", "
\n", " 		\n", "
\n", " \n", " \n", " 8\n", " \n", "
\n", " 		\n", "
\n", " \n", " \n", " 1950/07/08\n", " \n", "
\n", " 		\n", "
\n", " \n", " \n", " gonna\n", " \n", "
\n", "
\n", "
\n", " \n", " \n", " 3\n", " \n", "
\n", " 		\n", "
\n", " \n", " \n", " NiELS\n", " \n", "
\n", " 		\n", "
\n", " \n", " \n", " Böhr//((%%\n", " \n", "
\n", " 		\n", "
\n", " \n", " \n", " 551\n", " \n", "
\n", " 		\n", "
\n", " \n", " \n", " pizza\n", " \n", "
\n", " 		\n", "
\n", " \n", " \n", " 8\n", " \n", "
\n", " 		\n", "
\n", " \n", " \n", " 1990/07/09\n", " \n", "
\n", " 		\n", "
\n", " \n", " \n", " give\n", " \n", "
\n", "
\n", "
\n", " \n", " \n", " 4\n", " \n", "
\n", " 		\n", "
\n", " \n", " \n", " PAUL\n", " \n", "
\n", " 		\n", "
\n", " \n", " \n", " dirac$\n", " \n", "
\n", " 		\n", "
\n", " \n", " \n", " 521\n", " \n", "
\n", " 		\n", "
\n", " \n", " \n", " pizza\n", " \n", "
\n", " 		\n", "
\n", " \n", " \n", " 8\n", " \n", "
\n", " 		\n", "
\n", " \n", " \n", " 1954/07/10\n", " \n", "
\n", " 		\n", "
\n", " \n", " \n", " you\n", " \n", "
\n", "
\n", "
\n", " \n", " \n", " 5\n", " \n", "
\n", " 		\n", "
\n", " \n", " \n", " Albert\n", " \n", "
\n", " 		\n", "
\n", " \n", " \n", " Einstein\n", " \n", "
\n", " 		\n", "
\n", " \n", " \n", " 634\n", " \n", "
\n", " 		\n", "
\n", " \n", " \n", " pizza\n", " \n", "
\n", " 		\n", "
\n", " \n", " \n", " 8\n", " \n", "
\n", " 		\n", "
\n", " \n", " \n", " 1990/07/11\n", " \n", "
\n", " 		\n", "
\n", " \n", " \n", " up\n", " \n", "
\n", "
\n", "
\n", " \n", " \n", " 6\n", " \n", "
\n", " 		\n", "
\n", " \n", " \n", " Galileo\n", " \n", "
\n", " 		\n", "
\n", " \n", " \n", " ⋅⋅⋅⋅⋅⋅⋅⋅⋅⋅⋅⋅⋅GALiLEI\n", " \n", "
\n", " 		\n", "
\n", " \n", " \n", " 672\n", " \n", "
\n", " 		\n", "
\n", " \n", " \n", " arepa\n", " \n", "
\n", " 		\n", "
\n", " \n", " \n", " 5\n", " \n", "
\n", " 		\n", "
\n", " \n", " \n", " 1930/08/12\n", " \n", "
\n", " 		\n", "
\n", " \n", " \n", " never\n", " \n", "
\n", "
\n", "
\n", " \n", " \n", " 7\n", " \n", "
\n", " 		\n", "
\n", " \n", " \n", " CaRL\n", " \n", "
\n", " 		\n", "
\n", " \n", " \n", " Ga%%%uss\n", " \n", "
\n", " 		\n", "
\n", " \n", " \n", " 323\n", " \n", "
\n", " 		\n", "
\n", " \n", " \n", " taco\n", " \n", "
\n", " 		\n", "
\n", " \n", " \n", " 3\n", " \n", "
\n", " 		\n", "
\n", " \n", " \n", " 1970/07/13\n", " \n", "
\n", " 		\n", "
\n", " \n", " \n", " gonna\n", " \n", "
\n", "
\n", "
\n", " \n", " \n", " 8\n", " \n", "
\n", " 		\n", "
\n", " \n", " \n", " David\n", " \n", "
\n", " 		\n", "
\n", " \n", " \n", " H$$$ilbert\n", " \n", "
\n", " 		\n", "
\n", " \n", " \n", " 624\n", " \n", "
\n", " 		\n", "
\n", " \n", " \n", " taaaccoo\n", " \n", "
\n", " 		\n", "
\n", " \n", " \n", " 3\n", " \n", "
\n", " 		\n", "
\n", " \n", " \n", " 1950/07/14\n", " \n", "
\n", " 		\n", "
\n", " \n", " \n", " let\n", " \n", "
\n", "
\n", "
\n", " \n", " \n", " 9\n", " \n", "
\n", " 		\n", "
\n", " \n", " \n", " Johannes\n", " \n", "
\n", " 		\n", "
\n", " \n", " \n", " KEPLER\n", " \n", "
\n", " 		\n", "
\n", " \n", " \n", " 735\n", " \n", "
\n", " 		\n", "
\n", " \n", " \n", " taco\n", " \n", "
\n", " 		\n", "
\n", " \n", " \n", " 3\n", " \n", "
\n", " 		\n", "
\n", " \n", " \n", " 1920/04/22\n", " \n", "
\n", " 		\n", "
\n", " \n", " \n", " you\n", " \n", "
\n", "
\n", "
\n", " \n", " \n", " 10\n", " \n", "
\n", " 		\n", "
\n", " \n", " \n", " JaMES\n", " \n", "
\n", " 		\n", "
\n", " \n", " \n", " M$$ax%%well\n", " \n", "
\n", " 		\n", "
\n", " \n", " \n", " 875\n", " \n", "
\n", " 		\n", "
\n", " \n", " \n", " taco\n", " \n", "
\n", " 		\n", "
\n", " \n", " \n", " 3\n", " \n", "
\n", " 		\n", "
\n", " \n", " \n", " 1923/03/12\n", " \n", "
\n", " 		\n", "
\n", " \n", " \n", " down\n", " \n", "
\n", "
\n", "
\n", " \n", " \n", " 11\n", " \n", "
\n", " 		\n", "
\n", " \n", " \n", " Isaac\n", " \n", "
\n", " 		\n", "
\n", " \n", " \n", " Newton\n", " \n", "
\n", " 		\n", "
\n", " \n", " \n", " 992\n", " \n", "
\n", " 		\n", "
\n", " \n", " \n", " pasta\n", " \n", "
\n", " 		\n", "
\n", " \n", " \n", " 9\n", " \n", "
\n", " 		\n", "
\n", " \n", " \n", " 1999/02/15\n", " \n", "
\n", " 		\n", "
\n", " \n", " \n", " never⋅\n", " \n", "
\n", "
\n", "
\n", "\n", "\n", "
Viewing 10 of 19 rows / 8 columns
\n", "
1 partition(s) <class 'optimus.engines.pandas.dataframe.PandasDataFrame'>
\n", "\n" ] }, "metadata": {}, "execution_count": 68 } ], "metadata": {} }, { "cell_type": "code", "execution_count": 69, "source": [ "df.cols.hist(\"price\", 10)" ], "outputs": [ { "output_type": "execute_result", "data": { "text/plain": [ "{'hist': {'price': [{'lower': 1.0, 'upper': 2.0, 'count': 1},\n", " {'lower': 2.0, 'upper': 3.0, 'count': 1},\n", " {'lower': 3.0, 'upper': 4.0, 'count': 4},\n", " {'lower': 4.0, 'upper': 5.0, 'count': 1},\n", " {'lower': 5.0, 'upper': 6.0, 'count': 2},\n", " {'lower': 6.0, 'upper': 7.0, 'count': 0},\n", " {'lower': 7.0, 'upper': 8.0, 'count': 0},\n", " {'lower': 8.0, 'upper': 9.0, 'count': 6},\n", " {'lower': 9.0, 'upper': 10.0, 'count': 4}]}}" ] }, "metadata": {}, "execution_count": 69 } ], "metadata": {} }, { "cell_type": "code", "execution_count": 70, "source": [ "df.cols.frequency(\"billingId\")" ], "outputs": [ { "output_type": "execute_result", "data": { "text/plain": [ "{'frequency': {'billingId': {'values': [{'value': 672, 'count': 1},\n", " {'value': 323, 'count': 1},\n", " {'value': 912, 'count': 1},\n", " {'value': 423, 'count': 1},\n", " {'value': 521, 'count': 1},\n", " {'value': 234, 'count': 1},\n", " {'value': 875, 'count': 1},\n", " {'value': 812, 'count': 1},\n", " {'value': 111, 'count': 1},\n", " {'value': 624, 'count': 1},\n", " {'value': 467, 'count': 1},\n", " {'value': 634, 'count': 1},\n", " {'value': 992, 'count': 1},\n", " {'value': 553, 'count': 1},\n", " {'value': 116, 'count': 1},\n", " {'value': 551, 'count': 1},\n", " {'value': 123, 'count': 1},\n", " {'value': 886, 'count': 1},\n", " {'value': 735, 'count': 1}]}}}" ] }, "metadata": {}, "execution_count": 70 } ], "metadata": {} }, { "cell_type": "markdown", "source": [ "## Statistics" ], "metadata": {} }, { "cell_type": "markdown", "source": [ "### Quantile Statistics" ], "metadata": {} }, { "cell_type": "code", "execution_count": 71, "source": [ "display(df.cols.min(\"billingId\"))\n", "display(df.cols.percentile(['billingId', 'price'], [0.05, 0.25, 0.5, 0.75, 0.95]))\n", "display(df.cols.max(\"billingId\"))\n", "display(df.cols.median([\"billingId\", \"price\"]))\n", "display(df.cols.range([\"billingId\", \"price\"]))\n", "display(df.cols.std([\"billingId\", \"price\"]))" ], "outputs": [ { "output_type": "display_data", "data": { "text/plain": [ "111" ] }, "metadata": {} }, { "output_type": "display_data", "data": { "text/plain": [ "{'billingId': {0.05: 115.5,\n", " 0.25: 373.0,\n", " 0.5: 553.0,\n", " 0.75: 773.5,\n", " 0.95: 919.9999999999998},\n", " 'price': {0.05: 1.9, 0.25: 3.0, 0.5: 8.0, 0.75: 8.0, 0.95: 10.0}}" ] }, "metadata": {} }, { "output_type": "display_data", "data": { "text/plain": [ "992" ] }, "metadata": {} }, { "output_type": "display_data", "data": { "text/plain": [ "{'billingId': 553.0, 'price': 8.0}" ] }, "metadata": {} }, { "output_type": "display_data", "data": { "text/plain": [ "{'billingId': {'min': 111.0, 'max': 992.0}, 'price': {'min': 1.0, 'max': 10.0}}" ] }, "metadata": {} }, { "output_type": "display_data", "data": { "text/plain": [ "{'billingId': 280.19735108590083, 'price': 2.9528457876452054}" ] }, "metadata": {} } ], "metadata": {} }, { "cell_type": "code", "execution_count": 72, "source": [ "df.cols.min(\"*\")" ], "outputs": [ { "output_type": "execute_result", "data": { "text/plain": [ "{'id': 1,\n", " 'firstName': '((( Heinrich )))))',\n", " 'lastName': ' GALiLEI',\n", " 'billingId': 111,\n", " 'product': '110790',\n", " 'price': 1,\n", " 'birth': '1899/01/01',\n", " 'dummyCol': '#'}" ] }, "metadata": {}, "execution_count": 72 } ], "metadata": {} }, { "cell_type": "markdown", "source": [ "### Descriptive Statistics" ], "metadata": {} }, { "cell_type": "code", "execution_count": 73, "source": [ "display(df.cols.kurtosis(\"billingId\"))\n", "display(df.cols.mean(\"billingId\"))\n", "display(df.cols.skew(\"billingId\"))\n", "display(df.cols.sum(\"billingId\"))\n", "display(df.cols.var(\"billingId\"))\n", "display(df.cols.mad(\"billingId\"))" ], "outputs": [ { "output_type": "display_data", "data": { "text/plain": [ "-0.9809401924348062" ] }, "metadata": {} }, { "output_type": "display_data", "data": { "text/plain": [ "556.0" ] }, "metadata": {} }, { "output_type": "display_data", "data": { "text/plain": [ "-0.23247289799632914" ] }, "metadata": {} }, { "output_type": "display_data", "data": { "text/plain": [ "10564.0" ] }, "metadata": {} }, { "output_type": "display_data", "data": { "text/plain": [ "78510.55555555556" ] }, "metadata": {} }, { "output_type": "display_data", "data": { "text/plain": [ "230.0" ] }, "metadata": {} } ], "metadata": {} }, { "cell_type": "markdown", "source": [ "### Calculate Median Absolute deviation" ], "metadata": {} }, { "cell_type": "code", "execution_count": 74, "source": [ "df.cols.mad(\"price\")" ], "outputs": [ { "output_type": "execute_result", "data": { "text/plain": [ "2.0" ] }, "metadata": {}, "execution_count": 74 } ], "metadata": {} }, { "cell_type": "code", "execution_count": 75, "source": [ "df.cols.mad(\"price\", more=True)" ], "outputs": [ { "output_type": "execute_result", "data": { "text/plain": [ "{'price': {'mad': 2.0, 'median': 8.0}}" ] }, "metadata": {}, "execution_count": 75 } ], "metadata": {} }, { "cell_type": "markdown", "source": [ "### Calculate precentiles" ], "metadata": {} }, { "cell_type": "code", "execution_count": 76, "source": [ "print(df.cols.percentile(['price'], [0.05, 0.25, 0.5, 0.75, 0.95]))" ], "outputs": [ { "output_type": "stream", "name": "stdout", "text": [ "{'price': {0.05: 1.9, 0.25: 3.0, 0.5: 8.0, 0.75: 8.0, 0.95: 10.0}}\n" ] } ], "metadata": {} }, { "cell_type": "markdown", "source": [ "### Calculate Mode" ], "metadata": {} }, { "cell_type": "code", "execution_count": 77, "source": [ "print(df.cols.mode([\"price\", \"billingId\"]))" ], "outputs": [ { "output_type": "stream", "name": "stdout", "text": [ "{'price': 8.0, 'billingId': {0: 111.0, 1: 116.0, 2: 123.0, 3: 234.0, 4: 323.0, 5: 423.0, 6: 467.0, 7: 521.0, 8: 551.0, 9: 553.0, 10: 624.0, 11: 634.0, 12: 672.0, 13: 735.0, 14: 812.0, 15: 875.0, 16: 886.0, 17: 912.0, 18: 992.0}}\n" ] } ], "metadata": {} }, { "cell_type": "markdown", "source": [ "## String Operations" ], "metadata": {} }, { "cell_type": "code", "execution_count": 78, "source": [ "df" ], "outputs": [ { "output_type": "execute_result", "data": { "text/plain": [ " id firstName lastName billingId product price birth dummyCol\n", " (int64) (object) (object) (int64) (object) (int64) (object) (object)\n", "--------- ----------- ----------- ----------- ---------- --------- ---------- ----------\n", " 1 Luis Alvarez$$%! 123 Cake 10 1980/07/07 never\n", " 2 André Ampère 423 piza 8 1950/07/08 gonna\n", " 3 NiELS Böhr//((%% 551 pizza 8 1990/07/09 give\n", " 4 PAUL dirac$ 521 pizza 8 1954/07/10 you\n", " 5 Albert Einstein 634 pizza 8 1990/07/11 up\n", " 6 Galileo GALiLEI 672 arepa 5 1930/08/12 never\n", " 7 CaRL Ga%%%uss 323 taco 3 1970/07/13 gonna\n", " 8 David H$$$ilbert 624 taaaccoo 3 1950/07/14 let\n", " 9 Johannes KEPLER 735 taco 3 1920/04/22 you\n", " 10 JaMES M$$ax%%well 875 taco 3 1923/03/12 down\n", " 11 Isaac Newton 992 pasta 9 1999/02/15 never" ], "text/html": [ "\n", "\n", "\n", "\n", "\n", "
Viewing 10 of 19 rows / 8 columns
\n", "
1 partition(s)
\n", "\n", "\n", "\n", " \n", " \n", " \n", " \n", " \n", " \n", " \n", " \n", " \n", " \n", " \n", " \n", " \n", " \n", " \n", " \n", " \n", " \n", " \n", " \n", " \n", "\n", " \n", " \n", " \n", " \n", " \n", " \n", " \n", " \n", " \n", " \n", " \n", " \n", " \n", " \n", " \n", " \n", " \n", " \n", " \n", " \n", " \n", " \n", " \n", " \n", " \n", " \n", " \n", " \n", " \n", " \n", " \n", " \n", " \n", " \n", " \n", " \n", " \n", " \n", " \n", " \n", " \n", " \n", " \n", " \n", " \n", " \n", " \n", " \n", " \n", " \n", " \n", " \n", " \n", " \n", " \n", " \n", " \n", " \n", " \n", " \n", " \n", " \n", " \n", " \n", " \n", " \n", " \n", " \n", " \n", " \n", " \n", " \n", " \n", " \n", " \n", " \n", " \n", " \n", " \n", " \n", " \n", " \n", " \n", " \n", " \n", " \n", " \n", " \n", " \n", " \n", " \n", " \n", " \n", " \n", " \n", " \n", " \n", " \n", " \n", " \n", " \n", " \n", " \n", " \n", " \n", " \n", " \n", " \n", " \n", " \n", " \n", " \n", " \n", " \n", " \n", " \n", " \n", " \n", " \n", " \n", " \n", " \n", " \n", " \n", " \n", " \n", " \n", " \n", " \n", " \n", " \n", " \n", " \n", " \n", " \n", " \n", " \n", " \n", " \n", " \n", " \n", " \n", " \n", " \n", " \n", " \n", " \n", " \n", " \n", " \n", " \n", " \n", " \n", " \n", " \n", " \n", " \n", " \n", " \n", " \n", " \n", " \n", " \n", " \n", " \n", " \n", " \n", " \n", " \n", " \n", " \n", " \n", " \n", " \n", " \n", " \n", " \n", " \n", " \n", " \n", " \n", " \n", " \n", " \n", " \n", " \n", " \n", " \n", " \n", " \n", " \n", " \n", " \n", " \n", " \n", " \n", " \n", " \n", " \n", " \n", " \n", " \n", " \n", " \n", " \n", " \n", " \n", " \n", " \n", " \n", " \n", " \n", " \n", " \n", " \n", " \n", " \n", " \n", " \n", " \n", " \n", " \n", " \n", " \n", "
\n", "
id
\n", "
1 (int64)
\n", " \n", " 		\n", "
firstName
\n", "
2 (object)
\n", " \n", " 		\n", "
lastName
\n", "
3 (object)
\n", " \n", " 		\n", "
billingId
\n", "
4 (int64)
\n", " \n", " 		\n", "
product
\n", "
5 (object)
\n", " \n", " 		\n", "
price
\n", "
6 (int64)
\n", " \n", " 		\n", "
birth
\n", "
7 (object)
\n", " \n", " 		\n", "
dummyCol
\n", "
8 (object)
\n", " \n", "
\n", "
\n", " \n", " \n", " 1\n", " \n", "
\n", " 		\n", "
\n", " \n", " \n", " Luis\n", " \n", "
\n", " 		\n", "
\n", " \n", " \n", " Alvarez$$%!\n", " \n", "
\n", " 		\n", "
\n", " \n", " \n", " 123\n", " \n", "
\n", " 		\n", "
\n", " \n", " \n", " Cake\n", " \n", "
\n", " 		\n", "
\n", " \n", " \n", " 10\n", " \n", "
\n", " 		\n", "
\n", " \n", " \n", " 1980/07/07\n", " \n", "
\n", " 		\n", "
\n", " \n", " \n", " never\n", " \n", "
\n", "
\n", "
\n", " \n", " \n", " 2\n", " \n", "
\n", " 		\n", "
\n", " \n", " \n", " André\n", " \n", "
\n", " 		\n", "
\n", " \n", " \n", " Ampère\n", " \n", "
\n", " 		\n", "
\n", " \n", " \n", " 423\n", " \n", "
\n", " 		\n", "
\n", " \n", " \n", " piza\n", " \n", "
\n", " 		\n", "
\n", " \n", " \n", " 8\n", " \n", "
\n", " 		\n", "
\n", " \n", " \n", " 1950/07/08\n", " \n", "
\n", " 		\n", "
\n", " \n", " \n", " gonna\n", " \n", "
\n", "
\n", "
\n", " \n", " \n", " 3\n", " \n", "
\n", " 		\n", "
\n", " \n", " \n", " NiELS\n", " \n", "
\n", " 		\n", "
\n", " \n", " \n", " Böhr//((%%\n", " \n", "
\n", " 		\n", "
\n", " \n", " \n", " 551\n", " \n", "
\n", " 		\n", "
\n", " \n", " \n", " pizza\n", " \n", "
\n", " 		\n", "
\n", " \n", " \n", " 8\n", " \n", "
\n", " 		\n", "
\n", " \n", " \n", " 1990/07/09\n", " \n", "
\n", " 		\n", "
\n", " \n", " \n", " give\n", " \n", "
\n", "
\n", "
\n", " \n", " \n", " 4\n", " \n", "
\n", " 		\n", "
\n", " \n", " \n", " PAUL\n", " \n", "
\n", " 		\n", "
\n", " \n", " \n", " dirac$\n", " \n", "
\n", " 		\n", "
\n", " \n", " \n", " 521\n", " \n", "
\n", " 		\n", "
\n", " \n", " \n", " pizza\n", " \n", "
\n", " 		\n", "
\n", " \n", " \n", " 8\n", " \n", "
\n", " 		\n", "
\n", " \n", " \n", " 1954/07/10\n", " \n", "
\n", " 		\n", "
\n", " \n", " \n", " you\n", " \n", "
\n", "
\n", "
\n", " \n", " \n", " 5\n", " \n", "
\n", " 		\n", "
\n", " \n", " \n", " Albert\n", " \n", "
\n", " 		\n", "
\n", " \n", " \n", " Einstein\n", " \n", "
\n", " 		\n", "
\n", " \n", " \n", " 634\n", " \n", "
\n", " 		\n", "
\n", " \n", " \n", " pizza\n", " \n", "
\n", " 		\n", "
\n", " \n", " \n", " 8\n", " \n", "
\n", " 		\n", "
\n", " \n", " \n", " 1990/07/11\n", " \n", "
\n", " 		\n", "
\n", " \n", " \n", " up\n", " \n", "
\n", "
\n", "
\n", " \n", " \n", " 6\n", " \n", "
\n", " 		\n", "
\n", " \n", " \n", " Galileo\n", " \n", "
\n", " 		\n", "
\n", " \n", " \n", " ⋅⋅⋅⋅⋅⋅⋅⋅⋅⋅⋅⋅⋅GALiLEI\n", " \n", "
\n", " 		\n", "
\n", " \n", " \n", " 672\n", " \n", "
\n", " 		\n", "
\n", " \n", " \n", " arepa\n", " \n", "
\n", " 		\n", "
\n", " \n", " \n", " 5\n", " \n", "
\n", " 		\n", "
\n", " \n", " \n", " 1930/08/12\n", " \n", "
\n", " 		\n", "
\n", " \n", " \n", " never\n", " \n", "
\n", "
\n", "
\n", " \n", " \n", " 7\n", " \n", "
\n", " 		\n", "
\n", " \n", " \n", " CaRL\n", " \n", "
\n", " 		\n", "
\n", " \n", " \n", " Ga%%%uss\n", " \n", "
\n", " 		\n", "
\n", " \n", " \n", " 323\n", " \n", "
\n", " 		\n", "
\n", " \n", " \n", " taco\n", " \n", "
\n", " 		\n", "
\n", " \n", " \n", " 3\n", " \n", "
\n", " 		\n", "
\n", " \n", " \n", " 1970/07/13\n", " \n", "
\n", " 		\n", "
\n", " \n", " \n", " gonna\n", " \n", "
\n", "
\n", "
\n", " \n", " \n", " 8\n", " \n", "
\n", " 		\n", "
\n", " \n", " \n", " David\n", " \n", "
\n", " 		\n", "
\n", " \n", " \n", " H$$$ilbert\n", " \n", "
\n", " 		\n", "
\n", " \n", " \n", " 624\n", " \n", "
\n", " 		\n", "
\n", " \n", " \n", " taaaccoo\n", " \n", "
\n", " 		\n", "
\n", " \n", " \n", " 3\n", " \n", "
\n", " 		\n", "
\n", " \n", " \n", " 1950/07/14\n", " \n", "
\n", " 		\n", "
\n", " \n", " \n", " let\n", " \n", "
\n", "
\n", "
\n", " \n", " \n", " 9\n", " \n", "
\n", " 		\n", "
\n", " \n", " \n", " Johannes\n", " \n", "
\n", " 		\n", "
\n", " \n", " \n", " KEPLER\n", " \n", "
\n", " 		\n", "
\n", " \n", " \n", " 735\n", " \n", "
\n", " 		\n", "
\n", " \n", " \n", " taco\n", " \n", "
\n", " 		\n", "
\n", " \n", " \n", " 3\n", " \n", "
\n", " 		\n", "
\n", " \n", " \n", " 1920/04/22\n", " \n", "
\n", " 		\n", "
\n", " \n", " \n", " you\n", " \n", "
\n", "
\n", "
\n", " \n", " \n", " 10\n", " \n", "
\n", " 		\n", "
\n", " \n", " \n", " JaMES\n", " \n", "
\n", " 		\n", "
\n", " \n", " \n", " M$$ax%%well\n", " \n", "
\n", " 		\n", "
\n", " \n", " \n", " 875\n", " \n", "
\n", " 		\n", "
\n", " \n", " \n", " taco\n", " \n", "
\n", " 		\n", "
\n", " \n", " \n", " 3\n", " \n", "
\n", " 		\n", "
\n", " \n", " \n", " 1923/03/12\n", " \n", "
\n", " 		\n", "
\n", " \n", " \n", " down\n", " \n", "
\n", "
\n", "
\n", " \n", " \n", " 11\n", " \n", "
\n", " 		\n", "
\n", " \n", " \n", " Isaac\n", " \n", "
\n", " 		\n", "
\n", " \n", " \n", " Newton\n", " \n", "
\n", " 		\n", "
\n", " \n", " \n", " 992\n", " \n", "
\n", " 		\n", "
\n", " \n", " \n", " pasta\n", " \n", "
\n", " 		\n", "
\n", " \n", " \n", " 9\n", " \n", "
\n", " 		\n", "
\n", " \n", " \n", " 1999/02/15\n", " \n", "
\n", " 		\n", "
\n", " \n", " \n", " never⋅\n", " \n", "
\n", "
\n", "
\n", "\n", "\n", "
Viewing 10 of 19 rows / 8 columns
\n", "
1 partition(s) <class 'optimus.engines.pandas.dataframe.PandasDataFrame'>
\n", "\n" ] }, "metadata": {}, "execution_count": 78 } ], "metadata": {} }, { "cell_type": "code", "execution_count": 79, "source": [ "df \\\n", " .cols.trim(\"lastName\") \\\n", " .cols.lower(\"lastName\") \\\n", " .cols.upper([\"product\", \"firstName\"]) \\\n", " .cols.reverse(\"firstName\") \\\n", " .display()" ], "outputs": [ { "output_type": "display_data", "data": { "text/plain": [ "" ], "text/html": [ "\n", "\n", "\n", "\n", "\n", "
Viewing 10 of 19 rows / 8 columns
\n", "
1 partition(s)
\n", "\n", "\n", "\n", " \n", " \n", " \n", " \n", " \n", " \n", " \n", " \n", " \n", " \n", " \n", " \n", " \n", " \n", " \n", " \n", " \n", " \n", " \n", " \n", " \n", "\n", " \n", " \n", " \n", " \n", " \n", " \n", " \n", " \n", " \n", " \n", " \n", " \n", " \n", " \n", " \n", " \n", " \n", " \n", " \n", " \n", " \n", " \n", " \n", " \n", " \n", " \n", " \n", " \n", " \n", " \n", " \n", " \n", " \n", " \n", " \n", " \n", " \n", " \n", " \n", " \n", " \n", " \n", " \n", " \n", " \n", " \n", " \n", " \n", " \n", " \n", " \n", " \n", " \n", " \n", " \n", " \n", " \n", " \n", " \n", " \n", " \n", " \n", " \n", " \n", " \n", " \n", " \n", " \n", " \n", " \n", " \n", " \n", " \n", " \n", " \n", " \n", " \n", " \n", " \n", " \n", " \n", " \n", " \n", " \n", " \n", " \n", " \n", " \n", " \n", " \n", " \n", " \n", " \n", " \n", " \n", " \n", " \n", " \n", " \n", " \n", " \n", " \n", " \n", " \n", " \n", " \n", " \n", " \n", " \n", " \n", " \n", " \n", " \n", " \n", " \n", " \n", " \n", " \n", " \n", " \n", " \n", " \n", " \n", " \n", " \n", " \n", " \n", " \n", " \n", " \n", " \n", " \n", " \n", " \n", " \n", " \n", " \n", " \n", " \n", " \n", " \n", " \n", " \n", " \n", " \n", " \n", " \n", " \n", " \n", " \n", " \n", " \n", " \n", " \n", " \n", " \n", " \n", " \n", " \n", " \n", " \n", " \n", " \n", " \n", " \n", " \n", " \n", " \n", " \n", " \n", " \n", " \n", " \n", " \n", " \n", " \n", " \n", " \n", " \n", " \n", " \n", " \n", " \n", " \n", " \n", " \n", " \n", " \n", " \n", " \n", " \n", " \n", " \n", " \n", " \n", " \n", " \n", " \n", " \n", " \n", " \n", " \n", " \n", " \n", " \n", " \n", " \n", " \n", " \n", " \n", " \n", " \n", " \n", " \n", " \n", " \n", " \n", " \n", " \n", " \n", " \n", " \n", " \n", " \n", "
\n", "
id
\n", "
1 (int64)
\n", " \n", " 		\n", "
firstName
\n", "
2 (object)
\n", " \n", " 		\n", "
lastName
\n", "
3 (object)
\n", " \n", " 		\n", "
billingId
\n", "
4 (int64)
\n", " \n", " 		\n", "
product
\n", "
5 (object)
\n", " \n", " 		\n", "
price
\n", "
6 (int64)
\n", " \n", " 		\n", "
birth
\n", "
7 (object)
\n", " \n", " 		\n", "
dummyCol
\n", "
8 (object)
\n", " \n", "
\n", "
\n", " \n", " \n", " 1\n", " \n", "
\n", " 		\n", "
\n", " \n", " \n", " SIUL\n", " \n", "
\n", " 		\n", "
\n", " \n", " \n", " alvarez$$%!\n", " \n", "
\n", " 		\n", "
\n", " \n", " \n", " 123\n", " \n", "
\n", " 		\n", "
\n", " \n", " \n", " CAKE\n", " \n", "
\n", " 		\n", "
\n", " \n", " \n", " 10\n", " \n", "
\n", " 		\n", "
\n", " \n", " \n", " 1980/07/07\n", " \n", "
\n", " 		\n", "
\n", " \n", " \n", " never\n", " \n", "
\n", "
\n", "
\n", " \n", " \n", " 2\n", " \n", "
\n", " 		\n", "
\n", " \n", " \n", " ÉRDNA\n", " \n", "
\n", " 		\n", "
\n", " \n", " \n", " ampère\n", " \n", "
\n", " 		\n", "
\n", " \n", " \n", " 423\n", " \n", "
\n", " 		\n", "
\n", " \n", " \n", " PIZA\n", " \n", "
\n", " 		\n", "
\n", " \n", " \n", " 8\n", " \n", "
\n", " 		\n", "
\n", " \n", " \n", " 1950/07/08\n", " \n", "
\n", " 		\n", "
\n", " \n", " \n", " gonna\n", " \n", "
\n", "
\n", "
\n", " \n", " \n", " 3\n", " \n", "
\n", " 		\n", "
\n", " \n", " \n", " SLEIN\n", " \n", "
\n", " 		\n", "
\n", " \n", " \n", " böhr//((%%\n", " \n", "
\n", " 		\n", "
\n", " \n", " \n", " 551\n", " \n", "
\n", " 		\n", "
\n", " \n", " \n", " PIZZA\n", " \n", "
\n", " 		\n", "
\n", " \n", " \n", " 8\n", " \n", "
\n", " 		\n", "
\n", " \n", " \n", " 1990/07/09\n", " \n", "
\n", " 		\n", "
\n", " \n", " \n", " give\n", " \n", "
\n", "
\n", "
\n", " \n", " \n", " 4\n", " \n", "
\n", " 		\n", "
\n", " \n", " \n", " LUAP\n", " \n", "
\n", " 		\n", "
\n", " \n", " \n", " dirac$\n", " \n", "
\n", " 		\n", "
\n", " \n", " \n", " 521\n", " \n", "
\n", " 		\n", "
\n", " \n", " \n", " PIZZA\n", " \n", "
\n", " 		\n", "
\n", " \n", " \n", " 8\n", " \n", "
\n", " 		\n", "
\n", " \n", " \n", " 1954/07/10\n", " \n", "
\n", " 		\n", "
\n", " \n", " \n", " you\n", " \n", "
\n", "
\n", "
\n", " \n", " \n", " 5\n", " \n", "
\n", " 		\n", "
\n", " \n", " \n", " TREBLA\n", " \n", "
\n", " 		\n", "
\n", " \n", " \n", " einstein\n", " \n", "
\n", " 		\n", "
\n", " \n", " \n", " 634\n", " \n", "
\n", " 		\n", "
\n", " \n", " \n", " PIZZA\n", " \n", "
\n", " 		\n", "
\n", " \n", " \n", " 8\n", " \n", "
\n", " 		\n", "
\n", " \n", " \n", " 1990/07/11\n", " \n", "
\n", " 		\n", "
\n", " \n", " \n", " up\n", " \n", "
\n", "
\n", "
\n", " \n", " \n", " 6\n", " \n", "
\n", " 		\n", "
\n", " \n", " \n", " OELILAG\n", " \n", "
\n", " 		\n", "
\n", " \n", " \n", " galilei\n", " \n", "
\n", " 		\n", "
\n", " \n", " \n", " 672\n", " \n", "
\n", " 		\n", "
\n", " \n", " \n", " AREPA\n", " \n", "
\n", " 		\n", "
\n", " \n", " \n", " 5\n", " \n", "
\n", " 		\n", "
\n", " \n", " \n", " 1930/08/12\n", " \n", "
\n", " 		\n", "
\n", " \n", " \n", " never\n", " \n", "
\n", "
\n", "
\n", " \n", " \n", " 7\n", " \n", "
\n", " 		\n", "
\n", " \n", " \n", " LRAC\n", " \n", "
\n", " 		\n", "
\n", " \n", " \n", " ga%%%uss\n", " \n", "
\n", " 		\n", "
\n", " \n", " \n", " 323\n", " \n", "
\n", " 		\n", "
\n", " \n", " \n", " TACO\n", " \n", "
\n", " 		\n", "
\n", " \n", " \n", " 3\n", " \n", "
\n", " 		\n", "
\n", " \n", " \n", " 1970/07/13\n", " \n", "
\n", " 		\n", "
\n", " \n", " \n", " gonna\n", " \n", "
\n", "
\n", "
\n", " \n", " \n", " 8\n", " \n", "
\n", " 		\n", "
\n", " \n", " \n", " DIVAD\n", " \n", "
\n", " 		\n", "
\n", " \n", " \n", " h$$$ilbert\n", " \n", "
\n", " 		\n", "
\n", " \n", " \n", " 624\n", " \n", "
\n", " 		\n", "
\n", " \n", " \n", " TAAACCOO\n", " \n", "
\n", " 		\n", "
\n", " \n", " \n", " 3\n", " \n", "
\n", " 		\n", "
\n", " \n", " \n", " 1950/07/14\n", " \n", "
\n", " 		\n", "
\n", " \n", " \n", " let\n", " \n", "
\n", "
\n", "
\n", " \n", " \n", " 9\n", " \n", "
\n", " 		\n", "
\n", " \n", " \n", " SENNAHOJ\n", " \n", "
\n", " 		\n", "
\n", " \n", " \n", " kepler\n", " \n", "
\n", " 		\n", "
\n", " \n", " \n", " 735\n", " \n", "
\n", " 		\n", "
\n", " \n", " \n", " TACO\n", " \n", "
\n", " 		\n", "
\n", " \n", " \n", " 3\n", " \n", "
\n", " 		\n", "
\n", " \n", " \n", " 1920/04/22\n", " \n", "
\n", " 		\n", "
\n", " \n", " \n", " you\n", " \n", "
\n", "
\n", "
\n", " \n", " \n", " 10\n", " \n", "
\n", " 		\n", "
\n", " \n", " \n", " SEMAJ\n", " \n", "
\n", " 		\n", "
\n", " \n", " \n", " m$$ax%%well\n", " \n", "
\n", " 		\n", "
\n", " \n", " \n", " 875\n", " \n", "
\n", " 		\n", "
\n", " \n", " \n", " TACO\n", " \n", "
\n", " 		\n", "
\n", " \n", " \n", " 3\n", " \n", "
\n", " 		\n", "
\n", " \n", " \n", " 1923/03/12\n", " \n", "
\n", " 		\n", "
\n", " \n", " \n", " down\n", " \n", "
\n", "
\n", "
\n", " \n", " \n", " 11\n", " \n", "
\n", " 		\n", "
\n", " \n", " \n", " CAASI\n", " \n", "
\n", " 		\n", "
\n", " \n", " \n", " newton\n", " \n", "
\n", " 		\n", "
\n", " \n", " \n", " 992\n", " \n", "
\n", " 		\n", "
\n", " \n", " \n", " PASTA\n", " \n", "
\n", " 		\n", "
\n", " \n", " \n", " 9\n", " \n", "
\n", " 		\n", "
\n", " \n", " \n", " 1999/02/15\n", " \n", "
\n", " 		\n", "
\n", " \n", " \n", " never⋅\n", " \n", "
\n", "
\n", "
\n", "\n", "\n", "
Viewing 10 of 19 rows / 8 columns
\n", "
1 partition(s) <class 'optimus.engines.pandas.dataframe.PandasDataFrame'>
\n", "\n" ] }, "metadata": {} } ], "metadata": {} }, { "cell_type": "markdown", "source": [ "### Calculate the interquartile range" ], "metadata": {} }, { "cell_type": "code", "execution_count": 80, "source": [ "df.cols.iqr(\"price\")" ], "outputs": [ { "output_type": "execute_result", "data": { "text/plain": [ "5.0" ] }, "metadata": {}, "execution_count": 80 } ], "metadata": {} }, { "cell_type": "code", "execution_count": 81, "source": [ "df.cols.iqr(\"price\", more=True)" ], "outputs": [ { "output_type": "execute_result", "data": { "text/plain": [ "{'iqr': 5.0, 'q1': 3.0, 'q2': 8.0, 'q3': 8.0}" ] }, "metadata": {}, "execution_count": 81 } ], "metadata": {} }, { "cell_type": "markdown", "source": [ "## Cleaning and Date Operations Operations" ], "metadata": {} }, { "cell_type": "markdown", "source": [ "### Years between a date and today (No other date is passed)" ], "metadata": {} }, { "cell_type": "code", "execution_count": 82, "source": [ "df.cols.years_between(\"birth\", date_format=\"%Y/%m/%d\", round=True).display(highlight=\"birth\")" ], "outputs": [ { "output_type": "display_data", "data": { "text/plain": [ "" ], "text/html": [ "\n", "\n", "\n", "\n", "\n", "
Viewing 10 of 19 rows / 8 columns
\n", "
1 partition(s)
\n", "\n", "\n", "\n", " \n", " \n", " \n", " \n", " \n", " \n", " \n", " \n", " \n", " \n", " \n", " \n", " \n", " \n", " \n", " \n", " \n", " \n", " \n", " \n", " \n", "\n", " \n", " \n", " \n", " \n", " \n", " \n", " \n", " \n", " \n", " \n", " \n", " \n", " \n", " \n", " \n", " \n", " \n", " \n", " \n", " \n", " \n", " \n", " \n", " \n", " \n", " \n", " \n", " \n", " \n", " \n", " \n", " \n", " \n", " \n", " \n", " \n", " \n", " \n", " \n", " \n", " \n", " \n", " \n", " \n", " \n", " \n", " \n", " \n", " \n", " \n", " \n", " \n", " \n", " \n", " \n", " \n", " \n", " \n", " \n", " \n", " \n", " \n", " \n", " \n", " \n", " \n", " \n", " \n", " \n", " \n", " \n", " \n", " \n", " \n", " \n", " \n", " \n", " \n", " \n", " \n", " \n", " \n", " \n", " \n", " \n", " \n", " \n", " \n", " \n", " \n", " \n", " \n", " \n", " \n", " \n", " \n", " \n", " \n", " \n", " \n", " \n", " \n", " \n", " \n", " \n", " \n", " \n", " \n", " \n", " \n", " \n", " \n", " \n", " \n", " \n", " \n", " \n", " \n", " \n", " \n", " \n", " \n", " \n", " \n", " \n", " \n", " \n", " \n", " \n", " \n", " \n", " \n", " \n", " \n", " \n", " \n", " \n", " \n", " \n", " \n", " \n", " \n", " \n", " \n", " \n", " \n", " \n", " \n", " \n", " \n", " \n", " \n", " \n", " \n", " \n", " \n", " \n", " \n", " \n", " \n", " \n", " \n", " \n", " \n", " \n", " \n", " \n", " \n", " \n", " \n", " \n", " \n", " \n", " \n", " \n", " \n", " \n", " \n", " \n", " \n", " \n", " \n", " \n", " \n", " \n", " \n", " \n", " \n", " \n", " \n", " \n", " \n", " \n", " \n", " \n", " \n", " \n", " \n", " \n", " \n", " \n", " \n", " \n", " \n", " \n", " \n", " \n", " \n", " \n", " \n", " \n", " \n", " \n", " \n", " \n", " \n", " \n", " \n", " \n", " \n", " \n", " \n", " \n", " \n", "
\n", "
id
\n", "
1 (int64)
\n", " \n", " 		\n", "
firstName
\n", "
2 (object)
\n", " \n", " 		\n", "
lastName
\n", "
3 (object)
\n", " \n", " 		\n", "
billingId
\n", "
4 (int64)
\n", " \n", " 		\n", "
product
\n", "
5 (object)
\n", " \n", " 		\n", "
price
\n", "
6 (int64)
\n", " \n", " 		\n", "
birth
\n", "
7 (float64)
\n", " \n", " 		\n", "
dummyCol
\n", "
8 (object)
\n", " \n", "
\n", "
\n", " \n", " \n", " 1\n", " \n", "
\n", " 		\n", "
\n", " \n", " \n", " Luis\n", " \n", "
\n", " 		\n", "
\n", " \n", " \n", " Alvarez$$%!\n", " \n", "
\n", " 		\n", "
\n", " \n", " \n", " 123\n", " \n", "
\n", " 		\n", "
\n", " \n", " \n", " Cake\n", " \n", "
\n", " 		\n", "
\n", " \n", " \n", " 10\n", " \n", "
\n", " 		\n", "
\n", " \n", " \n", " 41.0\n", " \n", "
\n", " 		\n", "
\n", " \n", " \n", " never\n", " \n", "
\n", "
\n", "
\n", " \n", " \n", " 2\n", " \n", "
\n", " 		\n", "
\n", " \n", " \n", " André\n", " \n", "
\n", " 		\n", "
\n", " \n", " \n", " Ampère\n", " \n", "
\n", " 		\n", "
\n", " \n", " \n", " 423\n", " \n", "
\n", " 		\n", "
\n", " \n", " \n", " piza\n", " \n", "
\n", " 		\n", "
\n", " \n", " \n", " 8\n", " \n", "
\n", " 		\n", "
\n", " \n", " \n", " 71.0\n", " \n", "
\n", " 		\n", "
\n", " \n", " \n", " gonna\n", " \n", "
\n", "
\n", "
\n", " \n", " \n", " 3\n", " \n", "
\n", " 		\n", "
\n", " \n", " \n", " NiELS\n", " \n", "
\n", " 		\n", "
\n", " \n", " \n", " Böhr//((%%\n", " \n", "
\n", " 		\n", "
\n", " \n", " \n", " 551\n", " \n", "
\n", " 		\n", "
\n", " \n", " \n", " pizza\n", " \n", "
\n", " 		\n", "
\n", " \n", " \n", " 8\n", " \n", "
\n", " 		\n", "
\n", " \n", " \n", " 31.0\n", " \n", "
\n", " 		\n", "
\n", " \n", " \n", " give\n", " \n", "
\n", "
\n", "
\n", " \n", " \n", " 4\n", " \n", "
\n", " 		\n", "
\n", " \n", " \n", " PAUL\n", " \n", "
\n", " 		\n", "
\n", " \n", " \n", " dirac$\n", " \n", "
\n", " 		\n", "
\n", " \n", " \n", " 521\n", " \n", "
\n", " 		\n", "
\n", " \n", " \n", " pizza\n", " \n", "
\n", " 		\n", "
\n", " \n", " \n", " 8\n", " \n", "
\n", " 		\n", "
\n", " \n", " \n", " 67.0\n", " \n", "
\n", " 		\n", "
\n", " \n", " \n", " you\n", " \n", "
\n", "
\n", "
\n", " \n", " \n", " 5\n", " \n", "
\n", " 		\n", "
\n", " \n", " \n", " Albert\n", " \n", "
\n", " 		\n", "
\n", " \n", " \n", " Einstein\n", " \n", "
\n", " 		\n", "
\n", " \n", " \n", " 634\n", " \n", "
\n", " 		\n", "
\n", " \n", " \n", " pizza\n", " \n", "
\n", " 		\n", "
\n", " \n", " \n", " 8\n", " \n", "
\n", " 		\n", "
\n", " \n", " \n", " 31.0\n", " \n", "
\n", " 		\n", "
\n", " \n", " \n", " up\n", " \n", "
\n", "
\n", "
\n", " \n", " \n", " 6\n", " \n", "
\n", " 		\n", "
\n", " \n", " \n", " Galileo\n", " \n", "
\n", " 		\n", "
\n", " \n", " \n", " ⋅⋅⋅⋅⋅⋅⋅⋅⋅⋅⋅⋅⋅GALiLEI\n", " \n", "
\n", " 		\n", "
\n", " \n", " \n", " 672\n", " \n", "
\n", " 		\n", "
\n", " \n", " \n", " arepa\n", " \n", "
\n", " 		\n", "
\n", " \n", " \n", " 5\n", " \n", "
\n", " 		\n", "
\n", " \n", " \n", " 91.0\n", " \n", "
\n", " 		\n", "
\n", " \n", " \n", " never\n", " \n", "
\n", "
\n", "
\n", " \n", " \n", " 7\n", " \n", "
\n", " 		\n", "
\n", " \n", " \n", " CaRL\n", " \n", "
\n", " 		\n", "
\n", " \n", " \n", " Ga%%%uss\n", " \n", "
\n", " 		\n", "
\n", " \n", " \n", " 323\n", " \n", "
\n", " 		\n", "
\n", " \n", " \n", " taco\n", " \n", "
\n", " 		\n", "
\n", " \n", " \n", " 3\n", " \n", "
\n", " 		\n", "
\n", " \n", " \n", " 51.0\n", " \n", "
\n", " 		\n", "
\n", " \n", " \n", " gonna\n", " \n", "
\n", "
\n", "
\n", " \n", " \n", " 8\n", " \n", "
\n", " 		\n", "
\n", " \n", " \n", " David\n", " \n", "
\n", " 		\n", "
\n", " \n", " \n", " H$$$ilbert\n", " \n", "
\n", " 		\n", "
\n", " \n", " \n", " 624\n", " \n", "
\n", " 		\n", "
\n", " \n", " \n", " taaaccoo\n", " \n", "
\n", " 		\n", "
\n", " \n", " \n", " 3\n", " \n", "
\n", " 		\n", "
\n", " \n", " \n", " 71.0\n", " \n", "
\n", " 		\n", "
\n", " \n", " \n", " let\n", " \n", "
\n", "
\n", "
\n", " \n", " \n", " 9\n", " \n", "
\n", " 		\n", "
\n", " \n", " \n", " Johannes\n", " \n", "
\n", " 		\n", "
\n", " \n", " \n", " KEPLER\n", " \n", "
\n", " 		\n", "
\n", " \n", " \n", " 735\n", " \n", "
\n", " 		\n", "
\n", " \n", " \n", " taco\n", " \n", "
\n", " 		\n", "
\n", " \n", " \n", " 3\n", " \n", "
\n", " 		\n", "
\n", " \n", " \n", " 101.0\n", " \n", "
\n", " 		\n", "
\n", " \n", " \n", " you\n", " \n", "
\n", "
\n", "
\n", " \n", " \n", " 10\n", " \n", "
\n", " 		\n", "
\n", " \n", " \n", " JaMES\n", " \n", "
\n", " 		\n", "
\n", " \n", " \n", " M$$ax%%well\n", " \n", "
\n", " 		\n", "
\n", " \n", " \n", " 875\n", " \n", "
\n", " 		\n", "
\n", " \n", " \n", " taco\n", " \n", "
\n", " 		\n", "
\n", " \n", " \n", " 3\n", " \n", "
\n", " 		\n", "
\n", " \n", " \n", " 98.0\n", " \n", "
\n", " 		\n", "
\n", " \n", " \n", " down\n", " \n", "
\n", "
\n", "
\n", " \n", " \n", " 11\n", " \n", "
\n", " 		\n", "
\n", " \n", " \n", " Isaac\n", " \n", "
\n", " 		\n", "
\n", " \n", " \n", " Newton\n", " \n", "
\n", " 		\n", "
\n", " \n", " \n", " 992\n", " \n", "
\n", " 		\n", "
\n", " \n", " \n", " pasta\n", " \n", "
\n", " 		\n", "
\n", " \n", " \n", " 9\n", " \n", "
\n", " 		\n", "
\n", " \n", " \n", " 22.0\n", " \n", "
\n", " 		\n", "
\n", " \n", " \n", " never⋅\n", " \n", "
\n", "
\n", "
\n", "\n", "\n", "
Viewing 10 of 19 rows / 8 columns
\n", "
1 partition(s) <class 'optimus.engines.pandas.dataframe.PandasDataFrame'>
\n", "\n" ] }, "metadata": {} } ], "metadata": {} }, { "cell_type": "code", "execution_count": 83, "source": [ "df.cols.remove(\"*\", [\"&\", \"%\"]).display()" ], "outputs": [ { "output_type": "display_data", "data": { "text/plain": [ "" ], "text/html": [ "\n", "\n", "\n", "\n", "\n", "
Viewing 10 of 19 rows / 8 columns
\n", "
1 partition(s)
\n", "\n", "\n", "\n", " \n", " \n", " \n", " \n", " \n", " \n", " \n", " \n", " \n", " \n", " \n", " \n", " \n", " \n", " \n", " \n", " \n", " \n", " \n", " \n", " \n", "\n", " \n", " \n", " \n", " \n", " \n", " \n", " \n", " \n", " \n", " \n", " \n", " \n", " \n", " \n", " \n", " \n", " \n", " \n", " \n", " \n", " \n", " \n", " \n", " \n", " \n", " \n", " \n", " \n", " \n", " \n", " \n", " \n", " \n", " \n", " \n", " \n", " \n", " \n", " \n", " \n", " \n", " \n", " \n", " \n", " \n", " \n", " \n", " \n", " \n", " \n", " \n", " \n", " \n", " \n", " \n", " \n", " \n", " \n", " \n", " \n", " \n", " \n", " \n", " \n", " \n", " \n", " \n", " \n", " \n", " \n", " \n", " \n", " \n", " \n", " \n", " \n", " \n", " \n", " \n", " \n", " \n", " \n", " \n", " \n", " \n", " \n", " \n", " \n", " \n", " \n", " \n", " \n", " \n", " \n", " \n", " \n", " \n", " \n", " \n", " \n", " \n", " \n", " \n", " \n", " \n", " \n", " \n", " \n", " \n", " \n", " \n", " \n", " \n", " \n", " \n", " \n", " \n", " \n", " \n", " \n", " \n", " \n", " \n", " \n", " \n", " \n", " \n", " \n", " \n", " \n", " \n", " \n", " \n", " \n", " \n", " \n", " \n", " \n", " \n", " \n", " \n", " \n", " \n", " \n", " \n", " \n", " \n", " \n", " \n", " \n", " \n", " \n", " \n", " \n", " \n", " \n", " \n", " \n", " \n", " \n", " \n", " \n", " \n", " \n", " \n", " \n", " \n", " \n", " \n", " \n", " \n", " \n", " \n", " \n", " \n", " \n", " \n", " \n", " \n", " \n", " \n", " \n", " \n", " \n", " \n", " \n", " \n", " \n", " \n", " \n", " \n", " \n", " \n", " \n", " \n", " \n", " \n", " \n", " \n", " \n", " \n", " \n", " \n", " \n", " \n", " \n", " \n", " \n", " \n", " \n", " \n", " \n", " \n", " \n", " \n", " \n", " \n", " \n", " \n", " \n", " \n", " \n", " \n", " \n", "
\n", "
id
\n", "
1 (object)
\n", " \n", " 		\n", "
firstName
\n", "
2 (object)
\n", " \n", " 		\n", "
lastName
\n", "
3 (object)
\n", " \n", " 		\n", "
billingId
\n", "
4 (object)
\n", " \n", " 		\n", "
product
\n", "
5 (object)
\n", " \n", " 		\n", "
price
\n", "
6 (object)
\n", " \n", " 		\n", "
birth
\n", "
7 (object)
\n", " \n", " 		\n", "
dummyCol
\n", "
8 (object)
\n", " \n", "
\n", "
\n", " \n", " \n", " 1\n", " \n", "
\n", " 		\n", "
\n", " \n", " \n", " Luis\n", " \n", "
\n", " 		\n", "
\n", " \n", " \n", " Alvarez$$!\n", " \n", "
\n", " 		\n", "
\n", " \n", " \n", " 123\n", " \n", "
\n", " 		\n", "
\n", " \n", " \n", " Cake\n", " \n", "
\n", " 		\n", "
\n", " \n", " \n", " 10\n", " \n", "
\n", " 		\n", "
\n", " \n", " \n", " 1980/07/07\n", " \n", "
\n", " 		\n", "
\n", " \n", " \n", " never\n", " \n", "
\n", "
\n", "
\n", " \n", " \n", " 2\n", " \n", "
\n", " 		\n", "
\n", " \n", " \n", " André\n", " \n", "
\n", " 		\n", "
\n", " \n", " \n", " Ampère\n", " \n", "
\n", " 		\n", "
\n", " \n", " \n", " 423\n", " \n", "
\n", " 		\n", "
\n", " \n", " \n", " piza\n", " \n", "
\n", " 		\n", "
\n", " \n", " \n", " 8\n", " \n", "
\n", " 		\n", "
\n", " \n", " \n", " 1950/07/08\n", " \n", "
\n", " 		\n", "
\n", " \n", " \n", " gonna\n", " \n", "
\n", "
\n", "
\n", " \n", " \n", " 3\n", " \n", "
\n", " 		\n", "
\n", " \n", " \n", " NiELS\n", " \n", "
\n", " 		\n", "
\n", " \n", " \n", " Böhr//((\n", " \n", "
\n", " 		\n", "
\n", " \n", " \n", " 551\n", " \n", "
\n", " 		\n", "
\n", " \n", " \n", " pizza\n", " \n", "
\n", " 		\n", "
\n", " \n", " \n", " 8\n", " \n", "
\n", " 		\n", "
\n", " \n", " \n", " 1990/07/09\n", " \n", "
\n", " 		\n", "
\n", " \n", " \n", " give\n", " \n", "
\n", "
\n", "
\n", " \n", " \n", " 4\n", " \n", "
\n", " 		\n", "
\n", " \n", " \n", " PAUL\n", " \n", "
\n", " 		\n", "
\n", " \n", " \n", " dirac$\n", " \n", "
\n", " 		\n", "
\n", " \n", " \n", " 521\n", " \n", "
\n", " 		\n", "
\n", " \n", " \n", " pizza\n", " \n", "
\n", " 		\n", "
\n", " \n", " \n", " 8\n", " \n", "
\n", " 		\n", "
\n", " \n", " \n", " 1954/07/10\n", " \n", "
\n", " 		\n", "
\n", " \n", " \n", " you\n", " \n", "
\n", "
\n", "
\n", " \n", " \n", " 5\n", " \n", "
\n", " 		\n", "
\n", " \n", " \n", " Albert\n", " \n", "
\n", " 		\n", "
\n", " \n", " \n", " Einstein\n", " \n", "
\n", " 		\n", "
\n", " \n", " \n", " 634\n", " \n", "
\n", " 		\n", "
\n", " \n", " \n", " pizza\n", " \n", "
\n", " 		\n", "
\n", " \n", " \n", " 8\n", " \n", "
\n", " 		\n", "
\n", " \n", " \n", " 1990/07/11\n", " \n", "
\n", " 		\n", "
\n", " \n", " \n", " up\n", " \n", "
\n", "
\n", "
\n", " \n", " \n", " 6\n", " \n", "
\n", " 		\n", "
\n", " \n", " \n", " Galileo\n", " \n", "
\n", " 		\n", "
\n", " \n", " \n", " ⋅⋅⋅⋅⋅⋅⋅⋅⋅⋅⋅⋅⋅GALiLEI\n", " \n", "
\n", " 		\n", "
\n", " \n", " \n", " 672\n", " \n", "
\n", " 		\n", "
\n", " \n", " \n", " arepa\n", " \n", "
\n", " 		\n", "
\n", " \n", " \n", " 5\n", " \n", "
\n", " 		\n", "
\n", " \n", " \n", " 1930/08/12\n", " \n", "
\n", " 		\n", "
\n", " \n", " \n", " never\n", " \n", "
\n", "
\n", "
\n", " \n", " \n", " 7\n", " \n", "
\n", " 		\n", "
\n", " \n", " \n", " CaRL\n", " \n", "
\n", " 		\n", "
\n", " \n", " \n", " Gauss\n", " \n", "
\n", " 		\n", "
\n", " \n", " \n", " 323\n", " \n", "
\n", " 		\n", "
\n", " \n", " \n", " taco\n", " \n", "
\n", " 		\n", "
\n", " \n", " \n", " 3\n", " \n", "
\n", " 		\n", "
\n", " \n", " \n", " 1970/07/13\n", " \n", "
\n", " 		\n", "
\n", " \n", " \n", " gonna\n", " \n", "
\n", "
\n", "
\n", " \n", " \n", " 8\n", " \n", "
\n", " 		\n", "
\n", " \n", " \n", " David\n", " \n", "
\n", " 		\n", "
\n", " \n", " \n", " H$$$ilbert\n", " \n", "
\n", " 		\n", "
\n", " \n", " \n", " 624\n", " \n", "
\n", " 		\n", "
\n", " \n", " \n", " taaaccoo\n", " \n", "
\n", " 		\n", "
\n", " \n", " \n", " 3\n", " \n", "
\n", " 		\n", "
\n", " \n", " \n", " 1950/07/14\n", " \n", "
\n", " 		\n", "
\n", " \n", " \n", " let\n", " \n", "
\n", "
\n", "
\n", " \n", " \n", " 9\n", " \n", "
\n", " 		\n", "
\n", " \n", " \n", " Johannes\n", " \n", "
\n", " 		\n", "
\n", " \n", " \n", " KEPLER\n", " \n", "
\n", " 		\n", "
\n", " \n", " \n", " 735\n", " \n", "
\n", " 		\n", "
\n", " \n", " \n", " taco\n", " \n", "
\n", " 		\n", "
\n", " \n", " \n", " 3\n", " \n", "
\n", " 		\n", "
\n", " \n", " \n", " 1920/04/22\n", " \n", "
\n", " 		\n", "
\n", " \n", " \n", " you\n", " \n", "
\n", "
\n", "
\n", " \n", " \n", " 10\n", " \n", "
\n", " 		\n", "
\n", " \n", " \n", " JaMES\n", " \n", "
\n", " 		\n", "
\n", " \n", " \n", " M$$axwell\n", " \n", "
\n", " 		\n", "
\n", " \n", " \n", " 875\n", " \n", "
\n", " 		\n", "
\n", " \n", " \n", " taco\n", " \n", "
\n", " 		\n", "
\n", " \n", " \n", " 3\n", " \n", "
\n", " 		\n", "
\n", " \n", " \n", " 1923/03/12\n", " \n", "
\n", " 		\n", "
\n", " \n", " \n", " down\n", " \n", "
\n", "
\n", "
\n", " \n", " \n", " 11\n", " \n", "
\n", " 		\n", "
\n", " \n", " \n", " Isaac\n", " \n", "
\n", " 		\n", "
\n", " \n", " \n", " Newton\n", " \n", "
\n", " 		\n", "
\n", " \n", " \n", " 992\n", " \n", "
\n", " 		\n", "
\n", " \n", " \n", " pasta\n", " \n", "
\n", " 		\n", "
\n", " \n", " \n", " 9\n", " \n", "
\n", " 		\n", "
\n", " \n", " \n", " 1999/02/15\n", " \n", "
\n", " 		\n", "
\n", " \n", " \n", " never⋅\n", " \n", "
\n", "
\n", "
\n", "\n", "\n", "
Viewing 10 of 19 rows / 8 columns
\n", "
1 partition(s) <class 'optimus.engines.pandas.dataframe.PandasDataFrame'>
\n", "\n" ] }, "metadata": {} } ], "metadata": {} }, { "cell_type": "code", "execution_count": 84, "source": [ "df.cols.normalize_chars(\"lastName\").display(highlight=\"lastName\")" ], "outputs": [ { "output_type": "display_data", "data": { "text/plain": [ "" ], "text/html": [ "\n", "\n", "\n", "\n", "\n", "
Viewing 10 of 19 rows / 8 columns
\n", "
1 partition(s)
\n", "\n", "\n", "\n", " \n", " \n", " \n", " \n", " \n", " \n", " \n", " \n", " \n", " \n", " \n", " \n", " \n", " \n", " \n", " \n", " \n", " \n", " \n", " \n", " \n", "\n", " \n", " \n", " \n", " \n", " \n", " \n", " \n", " \n", " \n", " \n", " \n", " \n", " \n", " \n", " \n", " \n", " \n", " \n", " \n", " \n", " \n", " \n", " \n", " \n", " \n", " \n", " \n", " \n", " \n", " \n", " \n", " \n", " \n", " \n", " \n", " \n", " \n", " \n", " \n", " \n", " \n", " \n", " \n", " \n", " \n", " \n", " \n", " \n", " \n", " \n", " \n", " \n", " \n", " \n", " \n", " \n", " \n", " \n", " \n", " \n", " \n", " \n", " \n", " \n", " \n", " \n", " \n", " \n", " \n", " \n", " \n", " \n", " \n", " \n", " \n", " \n", " \n", " \n", " \n", " \n", " \n", " \n", " \n", " \n", " \n", " \n", " \n", " \n", " \n", " \n", " \n", " \n", " \n", " \n", " \n", " \n", " \n", " \n", " \n", " \n", " \n", " \n", " \n", " \n", " \n", " \n", " \n", " \n", " \n", " \n", " \n", " \n", " \n", " \n", " \n", " \n", " \n", " \n", " \n", " \n", " \n", " \n", " \n", " \n", " \n", " \n", " \n", " \n", " \n", " \n", " \n", " \n", " \n", " \n", " \n", " \n", " \n", " \n", " \n", " \n", " \n", " \n", " \n", " \n", " \n", " \n", " \n", " \n", " \n", " \n", " \n", " \n", " \n", " \n", " \n", " \n", " \n", " \n", " \n", " \n", " \n", " \n", " \n", " \n", " \n", " \n", " \n", " \n", " \n", " \n", " \n", " \n", " \n", " \n", " \n", " \n", " \n", " \n", " \n", " \n", " \n", " \n", " \n", " \n", " \n", " \n", " \n", " \n", " \n", " \n", " \n", " \n", " \n", " \n", " \n", " \n", " \n", " \n", " \n", " \n", " \n", " \n", " \n", " \n", " \n", " \n", " \n", " \n", " \n", " \n", " \n", " \n", " \n", " \n", " \n", " \n", " \n", " \n", " \n", " \n", " \n", " \n", " \n", " \n", "
\n", "
id
\n", "
1 (int64)
\n", " \n", " 		\n", "
firstName
\n", "
2 (object)
\n", " \n", " 		\n", "
lastName
\n", "
3 (object)
\n", " \n", " 		\n", "
billingId
\n", "
4 (int64)
\n", " \n", " 		\n", "
product
\n", "
5 (object)
\n", " \n", " 		\n", "
price
\n", "
6 (int64)
\n", " \n", " 		\n", "
birth
\n", "
7 (object)
\n", " \n", " 		\n", "
dummyCol
\n", "
8 (object)
\n", " \n", "
\n", "
\n", " \n", " \n", " 1\n", " \n", "
\n", " 		\n", "
\n", " \n", " \n", " Luis\n", " \n", "
\n", " 		\n", "
\n", " \n", " \n", " Alvarez$$%!\n", " \n", "
\n", " 		\n", "
\n", " \n", " \n", " 123\n", " \n", "
\n", " 		\n", "
\n", " \n", " \n", " Cake\n", " \n", "
\n", " 		\n", "
\n", " \n", " \n", " 10\n", " \n", "
\n", " 		\n", "
\n", " \n", " \n", " 1980/07/07\n", " \n", "
\n", " 		\n", "
\n", " \n", " \n", " never\n", " \n", "
\n", "
\n", "
\n", " \n", " \n", " 2\n", " \n", "
\n", " 		\n", "
\n", " \n", " \n", " André\n", " \n", "
\n", " 		\n", "
\n", " \n", " \n", " Ampere\n", " \n", "
\n", " 		\n", "
\n", " \n", " \n", " 423\n", " \n", "
\n", " 		\n", "
\n", " \n", " \n", " piza\n", " \n", "
\n", " 		\n", "
\n", " \n", " \n", " 8\n", " \n", "
\n", " 		\n", "
\n", " \n", " \n", " 1950/07/08\n", " \n", "
\n", " 		\n", "
\n", " \n", " \n", " gonna\n", " \n", "
\n", "
\n", "
\n", " \n", " \n", " 3\n", " \n", "
\n", " 		\n", "
\n", " \n", " \n", " NiELS\n", " \n", "
\n", " 		\n", "
\n", " \n", " \n", " Bohr//((%%\n", " \n", "
\n", " 		\n", "
\n", " \n", " \n", " 551\n", " \n", "
\n", " 		\n", "
\n", " \n", " \n", " pizza\n", " \n", "
\n", " 		\n", "
\n", " \n", " \n", " 8\n", " \n", "
\n", " 		\n", "
\n", " \n", " \n", " 1990/07/09\n", " \n", "
\n", " 		\n", "
\n", " \n", " \n", " give\n", " \n", "
\n", "
\n", "
\n", " \n", " \n", " 4\n", " \n", "
\n", " 		\n", "
\n", " \n", " \n", " PAUL\n", " \n", "
\n", " 		\n", "
\n", " \n", " \n", " dirac$\n", " \n", "
\n", " 		\n", "
\n", " \n", " \n", " 521\n", " \n", "
\n", " 		\n", "
\n", " \n", " \n", " pizza\n", " \n", "
\n", " 		\n", "
\n", " \n", " \n", " 8\n", " \n", "
\n", " 		\n", "
\n", " \n", " \n", " 1954/07/10\n", " \n", "
\n", " 		\n", "
\n", " \n", " \n", " you\n", " \n", "
\n", "
\n", "
\n", " \n", " \n", " 5\n", " \n", "
\n", " 		\n", "
\n", " \n", " \n", " Albert\n", " \n", "
\n", " 		\n", "
\n", " \n", " \n", " Einstein\n", " \n", "
\n", " 		\n", "
\n", " \n", " \n", " 634\n", " \n", "
\n", " 		\n", "
\n", " \n", " \n", " pizza\n", " \n", "
\n", " 		\n", "
\n", " \n", " \n", " 8\n", " \n", "
\n", " 		\n", "
\n", " \n", " \n", " 1990/07/11\n", " \n", "
\n", " 		\n", "
\n", " \n", " \n", " up\n", " \n", "
\n", "
\n", "
\n", " \n", " \n", " 6\n", " \n", "
\n", " 		\n", "
\n", " \n", " \n", " Galileo\n", " \n", "
\n", " 		\n", "
\n", " \n", " \n", " ⋅⋅⋅⋅⋅⋅⋅⋅⋅⋅⋅⋅⋅GALiLEI\n", " \n", "
\n", " 		\n", "
\n", " \n", " \n", " 672\n", " \n", "
\n", " 		\n", "
\n", " \n", " \n", " arepa\n", " \n", "
\n", " 		\n", "
\n", " \n", " \n", " 5\n", " \n", "
\n", " 		\n", "
\n", " \n", " \n", " 1930/08/12\n", " \n", "
\n", " 		\n", "
\n", " \n", " \n", " never\n", " \n", "
\n", "
\n", "
\n", " \n", " \n", " 7\n", " \n", "
\n", " 		\n", "
\n", " \n", " \n", " CaRL\n", " \n", "
\n", " 		\n", "
\n", " \n", " \n", " Ga%%%uss\n", " \n", "
\n", " 		\n", "
\n", " \n", " \n", " 323\n", " \n", "
\n", " 		\n", "
\n", " \n", " \n", " taco\n", " \n", "
\n", " 		\n", "
\n", " \n", " \n", " 3\n", " \n", "
\n", " 		\n", "
\n", " \n", " \n", " 1970/07/13\n", " \n", "
\n", " 		\n", "
\n", " \n", " \n", " gonna\n", " \n", "
\n", "
\n", "
\n", " \n", " \n", " 8\n", " \n", "
\n", " 		\n", "
\n", " \n", " \n", " David\n", " \n", "
\n", " 		\n", "
\n", " \n", " \n", " H$$$ilbert\n", " \n", "
\n", " 		\n", "
\n", " \n", " \n", " 624\n", " \n", "
\n", " 		\n", "
\n", " \n", " \n", " taaaccoo\n", " \n", "
\n", " 		\n", "
\n", " \n", " \n", " 3\n", " \n", "
\n", " 		\n", "
\n", " \n", " \n", " 1950/07/14\n", " \n", "
\n", " 		\n", "
\n", " \n", " \n", " let\n", " \n", "
\n", "
\n", "
\n", " \n", " \n", " 9\n", " \n", "
\n", " 		\n", "
\n", " \n", " \n", " Johannes\n", " \n", "
\n", " 		\n", "
\n", " \n", " \n", " KEPLER\n", " \n", "
\n", " 		\n", "
\n", " \n", " \n", " 735\n", " \n", "
\n", " 		\n", "
\n", " \n", " \n", " taco\n", " \n", "
\n", " 		\n", "
\n", " \n", " \n", " 3\n", " \n", "
\n", " 		\n", "
\n", " \n", " \n", " 1920/04/22\n", " \n", "
\n", " 		\n", "
\n", " \n", " \n", " you\n", " \n", "
\n", "
\n", "
\n", " \n", " \n", " 10\n", " \n", "
\n", " 		\n", "
\n", " \n", " \n", " JaMES\n", " \n", "
\n", " 		\n", "
\n", " \n", " \n", " M$$ax%%well\n", " \n", "
\n", " 		\n", "
\n", " \n", " \n", " 875\n", " \n", "
\n", " 		\n", "
\n", " \n", " \n", " taco\n", " \n", "
\n", " 		\n", "
\n", " \n", " \n", " 3\n", " \n", "
\n", " 		\n", "
\n", " \n", " \n", " 1923/03/12\n", " \n", "
\n", " 		\n", "
\n", " \n", " \n", " down\n", " \n", "
\n", "
\n", "
\n", " \n", " \n", " 11\n", " \n", "
\n", " 		\n", "
\n", " \n", " \n", " Isaac\n", " \n", "
\n", " 		\n", "
\n", " \n", " \n", " Newton\n", " \n", "
\n", " 		\n", "
\n", " \n", " \n", " 992\n", " \n", "
\n", " 		\n", "
\n", " \n", " \n", " pasta\n", " \n", "
\n", " 		\n", "
\n", " \n", " \n", " 9\n", " \n", "
\n", " 		\n", "
\n", " \n", " \n", " 1999/02/15\n", " \n", "
\n", " 		\n", "
\n", " \n", " \n", " never⋅\n", " \n", "
\n", "
\n", "
\n", "\n", "\n", "
Viewing 10 of 19 rows / 8 columns
\n", "
1 partition(s) <class 'optimus.engines.pandas.dataframe.PandasDataFrame'>
\n", "\n" ] }, "metadata": {} } ], "metadata": {} }, { "cell_type": "code", "execution_count": 85, "source": [ "df.cols.remove_special_chars(\"lastName\").display(highlight=\"lastName\")" ], "outputs": [ { "output_type": "display_data", "data": { "text/plain": [ "" ], "text/html": [ "\n", "\n", "\n", "\n", "\n", "
Viewing 10 of 19 rows / 8 columns
\n", "
1 partition(s)
\n", "\n", "\n", "\n", " \n", " \n", " \n", " \n", " \n", " \n", " \n", " \n", " \n", " \n", " \n", " \n", " \n", " \n", " \n", " \n", " \n", " \n", " \n", " \n", " \n", "\n", " \n", " \n", " \n", " \n", " \n", " \n", " \n", " \n", " \n", " \n", " \n", " \n", " \n", " \n", " \n", " \n", " \n", " \n", " \n", " \n", " \n", " \n", " \n", " \n", " \n", " \n", " \n", " \n", " \n", " \n", " \n", " \n", " \n", " \n", " \n", " \n", " \n", " \n", " \n", " \n", " \n", " \n", " \n", " \n", " \n", " \n", " \n", " \n", " \n", " \n", " \n", " \n", " \n", " \n", " \n", " \n", " \n", " \n", " \n", " \n", " \n", " \n", " \n", " \n", " \n", " \n", " \n", " \n", " \n", " \n", " \n", " \n", " \n", " \n", " \n", " \n", " \n", " \n", " \n", " \n", " \n", " \n", " \n", " \n", " \n", " \n", " \n", " \n", " \n", " \n", " \n", " \n", " \n", " \n", " \n", " \n", " \n", " \n", " \n", " \n", " \n", " \n", " \n", " \n", " \n", " \n", " \n", " \n", " \n", " \n", " \n", " \n", " \n", " \n", " \n", " \n", " \n", " \n", " \n", " \n", " \n", " \n", " \n", " \n", " \n", " \n", " \n", " \n", " \n", " \n", " \n", " \n", " \n", " \n", " \n", " \n", " \n", " \n", " \n", " \n", " \n", " \n", " \n", " \n", " \n", " \n", " \n", " \n", " \n", " \n", " \n", " \n", " \n", " \n", " \n", " \n", " \n", " \n", " \n", " \n", " \n", " \n", " \n", " \n", " \n", " \n", " \n", " \n", " \n", " \n", " \n", " \n", " \n", " \n", " \n", " \n", " \n", " \n", " \n", " \n", " \n", " \n", " \n", " \n", " \n", " \n", " \n", " \n", " \n", " \n", " \n", " \n", " \n", " \n", " \n", " \n", " \n", " \n", " \n", " \n", " \n", " \n", " \n", " \n", " \n", " \n", " \n", " \n", " \n", " \n", " \n", " \n", " \n", " \n", " \n", " \n", " \n", " \n", " \n", " \n", " \n", " \n", " \n", " \n", "
\n", "
id
\n", "
1 (int64)
\n", " \n", " 		\n", "
firstName
\n", "
2 (object)
\n", " \n", " 		\n", "
lastName
\n", "
3 (object)
\n", " \n", " 		\n", "
billingId
\n", "
4 (int64)
\n", " \n", " 		\n", "
product
\n", "
5 (object)
\n", " \n", " 		\n", "
price
\n", "
6 (int64)
\n", " \n", " 		\n", "
birth
\n", "
7 (object)
\n", " \n", " 		\n", "
dummyCol
\n", "
8 (object)
\n", " \n", "
\n", "
\n", " \n", " \n", " 1\n", " \n", "
\n", " 		\n", "
\n", " \n", " \n", " Luis\n", " \n", "
\n", " 		\n", "
\n", " \n", " \n", " Alvarez\n", " \n", "
\n", " 		\n", "
\n", " \n", " \n", " 123\n", " \n", "
\n", " 		\n", "
\n", " \n", " \n", " Cake\n", " \n", "
\n", " 		\n", "
\n", " \n", " \n", " 10\n", " \n", "
\n", " 		\n", "
\n", " \n", " \n", " 1980/07/07\n", " \n", "
\n", " 		\n", "
\n", " \n", " \n", " never\n", " \n", "
\n", "
\n", "
\n", " \n", " \n", " 2\n", " \n", "
\n", " 		\n", "
\n", " \n", " \n", " André\n", " \n", "
\n", " 		\n", "
\n", " \n", " \n", " Ampère\n", " \n", "
\n", " 		\n", "
\n", " \n", " \n", " 423\n", " \n", "
\n", " 		\n", "
\n", " \n", " \n", " piza\n", " \n", "
\n", " 		\n", "
\n", " \n", " \n", " 8\n", " \n", "
\n", " 		\n", "
\n", " \n", " \n", " 1950/07/08\n", " \n", "
\n", " 		\n", "
\n", " \n", " \n", " gonna\n", " \n", "
\n", "
\n", "
\n", " \n", " \n", " 3\n", " \n", "
\n", " 		\n", "
\n", " \n", " \n", " NiELS\n", " \n", "
\n", " 		\n", "
\n", " \n", " \n", " Böhr\n", " \n", "
\n", " 		\n", "
\n", " \n", " \n", " 551\n", " \n", "
\n", " 		\n", "
\n", " \n", " \n", " pizza\n", " \n", "
\n", " 		\n", "
\n", " \n", " \n", " 8\n", " \n", "
\n", " 		\n", "
\n", " \n", " \n", " 1990/07/09\n", " \n", "
\n", " 		\n", "
\n", " \n", " \n", " give\n", " \n", "
\n", "
\n", "
\n", " \n", " \n", " 4\n", " \n", "
\n", " 		\n", "
\n", " \n", " \n", " PAUL\n", " \n", "
\n", " 		\n", "
\n", " \n", " \n", " dirac\n", " \n", "
\n", " 		\n", "
\n", " \n", " \n", " 521\n", " \n", "
\n", " 		\n", "
\n", " \n", " \n", " pizza\n", " \n", "
\n", " 		\n", "
\n", " \n", " \n", " 8\n", " \n", "
\n", " 		\n", "
\n", " \n", " \n", " 1954/07/10\n", " \n", "
\n", " 		\n", "
\n", " \n", " \n", " you\n", " \n", "
\n", "
\n", "
\n", " \n", " \n", " 5\n", " \n", "
\n", " 		\n", "
\n", " \n", " \n", " Albert\n", " \n", "
\n", " 		\n", "
\n", " \n", " \n", " Einstein\n", " \n", "
\n", " 		\n", "
\n", " \n", " \n", " 634\n", " \n", "
\n", " 		\n", "
\n", " \n", " \n", " pizza\n", " \n", "
\n", " 		\n", "
\n", " \n", " \n", " 8\n", " \n", "
\n", " 		\n", "
\n", " \n", " \n", " 1990/07/11\n", " \n", "
\n", " 		\n", "
\n", " \n", " \n", " up\n", " \n", "
\n", "
\n", "
\n", " \n", " \n", " 6\n", " \n", "
\n", " 		\n", "
\n", " \n", " \n", " Galileo\n", " \n", "
\n", " 		\n", "
\n", " \n", " \n", " ⋅⋅⋅⋅⋅⋅⋅⋅⋅⋅⋅⋅⋅GALiLEI\n", " \n", "
\n", " 		\n", "
\n", " \n", " \n", " 672\n", " \n", "
\n", " 		\n", "
\n", " \n", " \n", " arepa\n", " \n", "
\n", " 		\n", "
\n", " \n", " \n", " 5\n", " \n", "
\n", " 		\n", "
\n", " \n", " \n", " 1930/08/12\n", " \n", "
\n", " 		\n", "
\n", " \n", " \n", " never\n", " \n", "
\n", "
\n", "
\n", " \n", " \n", " 7\n", " \n", "
\n", " 		\n", "
\n", " \n", " \n", " CaRL\n", " \n", "
\n", " 		\n", "
\n", " \n", " \n", " Gauss\n", " \n", "
\n", " 		\n", "
\n", " \n", " \n", " 323\n", " \n", "
\n", " 		\n", "
\n", " \n", " \n", " taco\n", " \n", "
\n", " 		\n", "
\n", " \n", " \n", " 3\n", " \n", "
\n", " 		\n", "
\n", " \n", " \n", " 1970/07/13\n", " \n", "
\n", " 		\n", "
\n", " \n", " \n", " gonna\n", " \n", "
\n", "
\n", "
\n", " \n", " \n", " 8\n", " \n", "
\n", " 		\n", "
\n", " \n", " \n", " David\n", " \n", "
\n", " 		\n", "
\n", " \n", " \n", " Hilbert\n", " \n", "
\n", " 		\n", "
\n", " \n", " \n", " 624\n", " \n", "
\n", " 		\n", "
\n", " \n", " \n", " taaaccoo\n", " \n", "
\n", " 		\n", "
\n", " \n", " \n", " 3\n", " \n", "
\n", " 		\n", "
\n", " \n", " \n", " 1950/07/14\n", " \n", "
\n", " 		\n", "
\n", " \n", " \n", " let\n", " \n", "
\n", "
\n", "
\n", " \n", " \n", " 9\n", " \n", "
\n", " 		\n", "
\n", " \n", " \n", " Johannes\n", " \n", "
\n", " 		\n", "
\n", " \n", " \n", " KEPLER\n", " \n", "
\n", " 		\n", "
\n", " \n", " \n", " 735\n", " \n", "
\n", " 		\n", "
\n", " \n", " \n", " taco\n", " \n", "
\n", " 		\n", "
\n", " \n", " \n", " 3\n", " \n", "
\n", " 		\n", "
\n", " \n", " \n", " 1920/04/22\n", " \n", "
\n", " 		\n", "
\n", " \n", " \n", " you\n", " \n", "
\n", "
\n", "
\n", " \n", " \n", " 10\n", " \n", "
\n", " 		\n", "
\n", " \n", " \n", " JaMES\n", " \n", "
\n", " 		\n", "
\n", " \n", " \n", " Maxwell\n", " \n", "
\n", " 		\n", "
\n", " \n", " \n", " 875\n", " \n", "
\n", " 		\n", "
\n", " \n", " \n", " taco\n", " \n", "
\n", " 		\n", "
\n", " \n", " \n", " 3\n", " \n", "
\n", " 		\n", "
\n", " \n", " \n", " 1923/03/12\n", " \n", "
\n", " 		\n", "
\n", " \n", " \n", " down\n", " \n", "
\n", "
\n", "
\n", " \n", " \n", " 11\n", " \n", "
\n", " 		\n", "
\n", " \n", " \n", " Isaac\n", " \n", "
\n", " 		\n", "
\n", " \n", " \n", " Newton\n", " \n", "
\n", " 		\n", "
\n", " \n", " \n", " 992\n", " \n", "
\n", " 		\n", "
\n", " \n", " \n", " pasta\n", " \n", "
\n", " 		\n", "
\n", " \n", " \n", " 9\n", " \n", "
\n", " 		\n", "
\n", " \n", " \n", " 1999/02/15\n", " \n", "
\n", " 		\n", "
\n", " \n", " \n", " never⋅\n", " \n", "
\n", "
\n", "
\n", "\n", "\n", "
Viewing 10 of 19 rows / 8 columns
\n", "
1 partition(s) <class 'optimus.engines.pandas.dataframe.PandasDataFrame'>
\n", "\n" ] }, "metadata": {} } ], "metadata": {} }, { "cell_type": "code", "execution_count": 86, "source": [ "df.cols.clip(\"billingId\", 100, 200).display(highlight=\"billingId\")" ], "outputs": [ { "output_type": "display_data", "data": { "text/plain": [ "" ], "text/html": [ "\n", "\n", "\n", "\n", "\n", "
Viewing 10 of 19 rows / 8 columns
\n", "
1 partition(s)
\n", "\n", "\n", "\n", " \n", " \n", " \n", " \n", " \n", " \n", " \n", " \n", " \n", " \n", " \n", " \n", " \n", " \n", " \n", " \n", " \n", " \n", " \n", " \n", " \n", "\n", " \n", " \n", " \n", " \n", " \n", " \n", " \n", " \n", " \n", " \n", " \n", " \n", " \n", " \n", " \n", " \n", " \n", " \n", " \n", " \n", " \n", " \n", " \n", " \n", " \n", " \n", " \n", " \n", " \n", " \n", " \n", " \n", " \n", " \n", " \n", " \n", " \n", " \n", " \n", " \n", " \n", " \n", " \n", " \n", " \n", " \n", " \n", " \n", " \n", " \n", " \n", " \n", " \n", " \n", " \n", " \n", " \n", " \n", " \n", " \n", " \n", " \n", " \n", " \n", " \n", " \n", " \n", " \n", " \n", " \n", " \n", " \n", " \n", " \n", " \n", " \n", " \n", " \n", " \n", " \n", " \n", " \n", " \n", " \n", " \n", " \n", " \n", " \n", " \n", " \n", " \n", " \n", " \n", " \n", " \n", " \n", " \n", " \n", " \n", " \n", " \n", " \n", " \n", " \n", " \n", " \n", " \n", " \n", " \n", " \n", " \n", " \n", " \n", " \n", " \n", " \n", " \n", " \n", " \n", " \n", " \n", " \n", " \n", " \n", " \n", " \n", " \n", " \n", " \n", " \n", " \n", " \n", " \n", " \n", " \n", " \n", " \n", " \n", " \n", " \n", " \n", " \n", " \n", " \n", " \n", " \n", " \n", " \n", " \n", " \n", " \n", " \n", " \n", " \n", " \n", " \n", " \n", " \n", " \n", " \n", " \n", " \n", " \n", " \n", " \n", " \n", " \n", " \n", " \n", " \n", " \n", " \n", " \n", " \n", " \n", " \n", " \n", " \n", " \n", " \n", " \n", " \n", " \n", " \n", " \n", " \n", " \n", " \n", " \n", " \n", " \n", " \n", " \n", " \n", " \n", " \n", " \n", " \n", " \n", " \n", " \n", " \n", " \n", " \n", " \n", " \n", " \n", " \n", " \n", " \n", " \n", " \n", " \n", " \n", " \n", " \n", " \n", " \n", " \n", " \n", " \n", " \n", " \n", " \n", "
\n", "
id
\n", "
1 (int64)
\n", " \n", " 		\n", "
firstName
\n", "
2 (object)
\n", " \n", " 		\n", "
lastName
\n", "
3 (object)
\n", " \n", " 		\n", "
billingId
\n", "
4 (float64)
\n", " \n", " 		\n", "
product
\n", "
5 (object)
\n", " \n", " 		\n", "
price
\n", "
6 (int64)
\n", " \n", " 		\n", "
birth
\n", "
7 (object)
\n", " \n", " 		\n", "
dummyCol
\n", "
8 (object)
\n", " \n", "
\n", "
\n", " \n", " \n", " 1\n", " \n", "
\n", " 		\n", "
\n", " \n", " \n", " Luis\n", " \n", "
\n", " 		\n", "
\n", " \n", " \n", " Alvarez$$%!\n", " \n", "
\n", " 		\n", "
\n", " \n", " \n", " 123.0\n", " \n", "
\n", " 		\n", "
\n", " \n", " \n", " Cake\n", " \n", "
\n", " 		\n", "
\n", " \n", " \n", " 10\n", " \n", "
\n", " 		\n", "
\n", " \n", " \n", " 1980/07/07\n", " \n", "
\n", " 		\n", "
\n", " \n", " \n", " never\n", " \n", "
\n", "
\n", "
\n", " \n", " \n", " 2\n", " \n", "
\n", " 		\n", "
\n", " \n", " \n", " André\n", " \n", "
\n", " 		\n", "
\n", " \n", " \n", " Ampère\n", " \n", "
\n", " 		\n", "
\n", " \n", " \n", " 200.0\n", " \n", "
\n", " 		\n", "
\n", " \n", " \n", " piza\n", " \n", "
\n", " 		\n", "
\n", " \n", " \n", " 8\n", " \n", "
\n", " 		\n", "
\n", " \n", " \n", " 1950/07/08\n", " \n", "
\n", " 		\n", "
\n", " \n", " \n", " gonna\n", " \n", "
\n", "
\n", "
\n", " \n", " \n", " 3\n", " \n", "
\n", " 		\n", "
\n", " \n", " \n", " NiELS\n", " \n", "
\n", " 		\n", "
\n", " \n", " \n", " Böhr//((%%\n", " \n", "
\n", " 		\n", "
\n", " \n", " \n", " 200.0\n", " \n", "
\n", " 		\n", "
\n", " \n", " \n", " pizza\n", " \n", "
\n", " 		\n", "
\n", " \n", " \n", " 8\n", " \n", "
\n", " 		\n", "
\n", " \n", " \n", " 1990/07/09\n", " \n", "
\n", " 		\n", "
\n", " \n", " \n", " give\n", " \n", "
\n", "
\n", "
\n", " \n", " \n", " 4\n", " \n", "
\n", " 		\n", "
\n", " \n", " \n", " PAUL\n", " \n", "
\n", " 		\n", "
\n", " \n", " \n", " dirac$\n", " \n", "
\n", " 		\n", "
\n", " \n", " \n", " 200.0\n", " \n", "
\n", " 		\n", "
\n", " \n", " \n", " pizza\n", " \n", "
\n", " 		\n", "
\n", " \n", " \n", " 8\n", " \n", "
\n", " 		\n", "
\n", " \n", " \n", " 1954/07/10\n", " \n", "
\n", " 		\n", "
\n", " \n", " \n", " you\n", " \n", "
\n", "
\n", "
\n", " \n", " \n", " 5\n", " \n", "
\n", " 		\n", "
\n", " \n", " \n", " Albert\n", " \n", "
\n", " 		\n", "
\n", " \n", " \n", " Einstein\n", " \n", "
\n", " 		\n", "
\n", " \n", " \n", " 200.0\n", " \n", "
\n", " 		\n", "
\n", " \n", " \n", " pizza\n", " \n", "
\n", " 		\n", "
\n", " \n", " \n", " 8\n", " \n", "
\n", " 		\n", "
\n", " \n", " \n", " 1990/07/11\n", " \n", "
\n", " 		\n", "
\n", " \n", " \n", " up\n", " \n", "
\n", "
\n", "
\n", " \n", " \n", " 6\n", " \n", "
\n", " 		\n", "
\n", " \n", " \n", " Galileo\n", " \n", "
\n", " 		\n", "
\n", " \n", " \n", " ⋅⋅⋅⋅⋅⋅⋅⋅⋅⋅⋅⋅⋅GALiLEI\n", " \n", "
\n", " 		\n", "
\n", " \n", " \n", " 200.0\n", " \n", "
\n", " 		\n", "
\n", " \n", " \n", " arepa\n", " \n", "
\n", " 		\n", "
\n", " \n", " \n", " 5\n", " \n", "
\n", " 		\n", "
\n", " \n", " \n", " 1930/08/12\n", " \n", "
\n", " 		\n", "
\n", " \n", " \n", " never\n", " \n", "
\n", "
\n", "
\n", " \n", " \n", " 7\n", " \n", "
\n", " 		\n", "
\n", " \n", " \n", " CaRL\n", " \n", "
\n", " 		\n", "
\n", " \n", " \n", " Ga%%%uss\n", " \n", "
\n", " 		\n", "
\n", " \n", " \n", " 200.0\n", " \n", "
\n", " 		\n", "
\n", " \n", " \n", " taco\n", " \n", "
\n", " 		\n", "
\n", " \n", " \n", " 3\n", " \n", "
\n", " 		\n", "
\n", " \n", " \n", " 1970/07/13\n", " \n", "
\n", " 		\n", "
\n", " \n", " \n", " gonna\n", " \n", "
\n", "
\n", "
\n", " \n", " \n", " 8\n", " \n", "
\n", " 		\n", "
\n", " \n", " \n", " David\n", " \n", "
\n", " 		\n", "
\n", " \n", " \n", " H$$$ilbert\n", " \n", "
\n", " 		\n", "
\n", " \n", " \n", " 200.0\n", " \n", "
\n", " 		\n", "
\n", " \n", " \n", " taaaccoo\n", " \n", "
\n", " 		\n", "
\n", " \n", " \n", " 3\n", " \n", "
\n", " 		\n", "
\n", " \n", " \n", " 1950/07/14\n", " \n", "
\n", " 		\n", "
\n", " \n", " \n", " let\n", " \n", "
\n", "
\n", "
\n", " \n", " \n", " 9\n", " \n", "
\n", " 		\n", "
\n", " \n", " \n", " Johannes\n", " \n", "
\n", " 		\n", "
\n", " \n", " \n", " KEPLER\n", " \n", "
\n", " 		\n", "
\n", " \n", " \n", " 200.0\n", " \n", "
\n", " 		\n", "
\n", " \n", " \n", " taco\n", " \n", "
\n", " 		\n", "
\n", " \n", " \n", " 3\n", " \n", "
\n", " 		\n", "
\n", " \n", " \n", " 1920/04/22\n", " \n", "
\n", " 		\n", "
\n", " \n", " \n", " you\n", " \n", "
\n", "
\n", "
\n", " \n", " \n", " 10\n", " \n", "
\n", " 		\n", "
\n", " \n", " \n", " JaMES\n", " \n", "
\n", " 		\n", "
\n", " \n", " \n", " M$$ax%%well\n", " \n", "
\n", " 		\n", "
\n", " \n", " \n", " 200.0\n", " \n", "
\n", " 		\n", "
\n", " \n", " \n", " taco\n", " \n", "
\n", " 		\n", "
\n", " \n", " \n", " 3\n", " \n", "
\n", " 		\n", "
\n", " \n", " \n", " 1923/03/12\n", " \n", "
\n", " 		\n", "
\n", " \n", " \n", " down\n", " \n", "
\n", "
\n", "
\n", " \n", " \n", " 11\n", " \n", "
\n", " 		\n", "
\n", " \n", " \n", " Isaac\n", " \n", "
\n", " 		\n", "
\n", " \n", " \n", " Newton\n", " \n", "
\n", " 		\n", "
\n", " \n", " \n", " 200.0\n", " \n", "
\n", " 		\n", "
\n", " \n", " \n", " pasta\n", " \n", "
\n", " 		\n", "
\n", " \n", " \n", " 9\n", " \n", "
\n", " 		\n", "
\n", " \n", " \n", " 1999/02/15\n", " \n", "
\n", " 		\n", "
\n", " \n", " \n", " never⋅\n", " \n", "
\n", "
\n", "
\n", "\n", "\n", "
Viewing 10 of 19 rows / 8 columns
\n", "
1 partition(s) <class 'optimus.engines.pandas.dataframe.PandasDataFrame'>
\n", "\n" ] }, "metadata": {} } ], "metadata": {} }, { "cell_type": "code", "execution_count": 87, "source": [ "df_abs = op.create.dataframe({\n", " (\"words\", \"str\"): [' I like fish ', ' zombies', 'simpsons cat lady', None],\n", " (\"num\", \"int\"): [-1, -2, -2, 3],\n", " (\"animals\", \"str\"): ['dog', 'cat', 'frog', 'eagle'],\n", " (\"thing\", \"str\"): ['housé', 'tv', 'table', 'glass'],\n", " (\"two strings\", \"str\"): ['cat-car', 'dog-tv', 'eagle-tv-plus', 'lion-pc'],\n", " (\"filter\", \"str\"): ['a', 'b', '1', 'c'],\n", " (\"num 2\", \"string\"): ['-1', '-2', '3', '4'],\n", " (\"col_array\", None): [['baby', 'sorry'],\n", " ['baby 1', 'sorry 1'],\n", " ['baby 2', 'sorry 2'],\n", " ['baby 3', 'sorry 3']],\n", " (\"col_int\", None): [[1, 2, 3], [3, 4], [5, 6, 7], [7, 8]],\n", "})\n", "\n", "df_abs" ], "outputs": [ { "output_type": "execute_result", "data": { "text/plain": [ "words num animals thing two strings filter num 2 col_array col_int\n", "(object) (int32) (object) (object) (object) (object) (string) (object) (object)\n", "------------------- --------- ---------- ---------- ------------- ---------- ---------- --------------------- ----------\n", "I like fish -1 dog housé cat-car a -1 ['baby', 'sorry'] [1, 2, 3]\n", "zombies -2 cat tv dog-tv b -2 ['baby 1', 'sorry 1'] [3, 4]\n", "simpsons cat lady -2 frog table eagle-tv-plus 1 3 ['baby 2', 'sorry 2'] [5, 6, 7]\n", " 3 eagle glass lion-pc c 4 ['baby 3', 'sorry 3'] [7, 8]" ], "text/html": [ "\n", "\n", "\n", "\n", "\n", "
Viewing 4 of 4 rows / 9 columns
\n", "
1 partition(s)
\n", "\n", "\n", "\n", " \n", " \n", " \n", " \n", " \n", " \n", " \n", " \n", " \n", " \n", " \n", " \n", " \n", " \n", " \n", " \n", " \n", " \n", " \n", " \n", " \n", " \n", " \n", "\n", " \n", " \n", " \n", " \n", " \n", " \n", " \n", " \n", " \n", " \n", " \n", " \n", " \n", " \n", " \n", " \n", " \n", " \n", " \n", " \n", " \n", " \n", " \n", " \n", " \n", " \n", " \n", " \n", " \n", " \n", " \n", " \n", " \n", " \n", " \n", " \n", " \n", " \n", " \n", " \n", " \n", " \n", " \n", " \n", " \n", " \n", " \n", " \n", " \n", " \n", " \n", " \n", " \n", " \n", " \n", " \n", " \n", " \n", " \n", " \n", " \n", " \n", " \n", " \n", " \n", " \n", " \n", " \n", " \n", " \n", " \n", " \n", " \n", " \n", " \n", " \n", " \n", " \n", " \n", " \n", " \n", " \n", " \n", " \n", " \n", " \n", " \n", " \n", " \n", " \n", " \n", " \n", "
\n", "
words
\n", "
1 (object)
\n", " \n", " 		\n", "
num
\n", "
2 (int32)
\n", " \n", " 		\n", "
animals
\n", "
3 (object)
\n", " \n", " 		\n", "
thing
\n", "
4 (object)
\n", " \n", " 		\n", "
two strings
\n", "
5 (object)
\n", " \n", " 		\n", "
filter
\n", "
6 (object)
\n", " \n", " 		\n", "
num 2
\n", "
7 (string)
\n", " \n", " 		\n", "
col_array
\n", "
8 (object)
\n", " \n", " 		\n", "
col_int
\n", "
9 (object)
\n", " \n", "
\n", "
\n", " \n", " \n", " ⋅⋅I⋅like⋅⋅⋅⋅⋅fish⋅⋅\n", " \n", "
\n", " 		\n", "
\n", " \n", " \n", " -1\n", " \n", "
\n", " 		\n", "
\n", " \n", " \n", " dog\n", " \n", "
\n", " 		\n", "
\n", " \n", " \n", " housé\n", " \n", "
\n", " 		\n", "
\n", " \n", " \n", " cat-car\n", " \n", "
\n", " 		\n", "
\n", " \n", " \n", " a\n", " \n", "
\n", " 		\n", "
\n", " \n", " \n", " -1\n", " \n", "
\n", " 		\n", "
\n", " \n", " \n", " ['baby',⋅'sorry']\n", " \n", "
\n", " 		\n", "
\n", " \n", " \n", " [1,⋅2,⋅3]\n", " \n", "
\n", "
\n", "
\n", " \n", " \n", " ⋅⋅⋅⋅zombies\n", " \n", "
\n", " 		\n", "
\n", " \n", " \n", " -2\n", " \n", "
\n", " 		\n", "
\n", " \n", " \n", " cat\n", " \n", "
\n", " 		\n", "
\n", " \n", " \n", " tv\n", " \n", "
\n", " 		\n", "
\n", " \n", " \n", " dog-tv\n", " \n", "
\n", " 		\n", "
\n", " \n", " \n", " b\n", " \n", "
\n", " 		\n", "
\n", " \n", " \n", " -2\n", " \n", "
\n", " 		\n", "
\n", " \n", " \n", " ['baby⋅1',⋅'sorry⋅1']\n", " \n", "
\n", " 		\n", "
\n", " \n", " \n", " [3,⋅4]\n", " \n", "
\n", "
\n", "
\n", " \n", " \n", " simpsons⋅⋅⋅cat⋅lady\n", " \n", "
\n", " 		\n", "
\n", " \n", " \n", " -2\n", " \n", "
\n", " 		\n", "
\n", " \n", " \n", " frog\n", " \n", "
\n", " 		\n", "
\n", " \n", " \n", " table\n", " \n", "
\n", " 		\n", "
\n", " \n", " \n", " eagle-tv-plus\n", " \n", "
\n", " 		\n", "
\n", " \n", " \n", " 1\n", " \n", "
\n", " 		\n", "
\n", " \n", " \n", " 3\n", " \n", "
\n", " 		\n", "
\n", " \n", " \n", " ['baby⋅2',⋅'sorry⋅2']\n", " \n", "
\n", " 		\n", "
\n", " \n", " \n", " [5,⋅6,⋅7]\n", " \n", "
\n", "
\n", "
\n", " \n", " \n", " None\n", " \n", "
\n", " 		\n", "
\n", " \n", " \n", " 3\n", " \n", "
\n", " 		\n", "
\n", " \n", " \n", " eagle\n", " \n", "
\n", " 		\n", "
\n", " \n", " \n", " glass\n", " \n", "
\n", " 		\n", "
\n", " \n", " \n", " lion-pc\n", " \n", "
\n", " 		\n", "
\n", " \n", " \n", " c\n", " \n", "
\n", " 		\n", "
\n", " \n", " \n", " 4\n", " \n", "
\n", " 		\n", "
\n", " \n", " \n", " ['baby⋅3',⋅'sorry⋅3']\n", " \n", "
\n", " 		\n", "
\n", " \n", " \n", " [7,⋅8]\n", " \n", "
\n", "
\n", "
\n", "\n", "\n", "
Viewing 4 of 4 rows / 9 columns
\n", "
1 partition(s) <class 'optimus.engines.pandas.dataframe.PandasDataFrame'>
\n", "\n" ] }, "metadata": {}, "execution_count": 87 } ], "metadata": {} }, { "cell_type": "code", "execution_count": 88, "source": [ "df_abs.cols.abs([\"num\", \"num 2\"]).display(highlight=[\"num\", \"num 2\"])" ], "outputs": [ { "output_type": "display_data", "data": { "text/plain": [ "" ], "text/html": [ "\n", "\n", "\n", "\n", "\n", "
Viewing 4 of 4 rows / 9 columns
\n", "
1 partition(s)
\n", "\n", "\n", "\n", " \n", " \n", " \n", " \n", " \n", " \n", " \n", " \n", " \n", " \n", " \n", " \n", " \n", " \n", " \n", " \n", " \n", " \n", " \n", " \n", " \n", " \n", " \n", "\n", " \n", " \n", " \n", " \n", " \n", " \n", " \n", " \n", " \n", " \n", " \n", " \n", " \n", " \n", " \n", " \n", " \n", " \n", " \n", " \n", " \n", " \n", " \n", " \n", " \n", " \n", " \n", " \n", " \n", " \n", " \n", " \n", " \n", " \n", " \n", " \n", " \n", " \n", " \n", " \n", " \n", " \n", " \n", " \n", " \n", " \n", " \n", " \n", " \n", " \n", " \n", " \n", " \n", " \n", " \n", " \n", " \n", " \n", " \n", " \n", " \n", " \n", " \n", " \n", " \n", " \n", " \n", " \n", " \n", " \n", " \n", " \n", " \n", " \n", " \n", " \n", " \n", " \n", " \n", " \n", " \n", " \n", " \n", " \n", " \n", " \n", " \n", " \n", " \n", " \n", " \n", " \n", "
\n", "
words
\n", "
1 (object)
\n", " \n", " 		\n", "
num
\n", "
2 (float64)
\n", " \n", " 		\n", "
animals
\n", "
3 (object)
\n", " \n", " 		\n", "
thing
\n", "
4 (object)
\n", " \n", " 		\n", "
two strings
\n", "
5 (object)
\n", " \n", " 		\n", "
filter
\n", "
6 (object)
\n", " \n", " 		\n", "
num 2
\n", "
7 (float64)
\n", " \n", " 		\n", "
col_array
\n", "
8 (object)
\n", " \n", " 		\n", "
col_int
\n", "
9 (object)
\n", " \n", "
\n", "
\n", " \n", " \n", " ⋅⋅I⋅like⋅⋅⋅⋅⋅fish⋅⋅\n", " \n", "
\n", " 		\n", "
\n", " \n", " \n", " 1.0\n", " \n", "
\n", " 		\n", "
\n", " \n", " \n", " dog\n", " \n", "
\n", " 		\n", "
\n", " \n", " \n", " housé\n", " \n", "
\n", " 		\n", "
\n", " \n", " \n", " cat-car\n", " \n", "
\n", " 		\n", "
\n", " \n", " \n", " a\n", " \n", "
\n", " 		\n", "
\n", " \n", " \n", " 1.0\n", " \n", "
\n", " 		\n", "
\n", " \n", " \n", " ['baby',⋅'sorry']\n", " \n", "
\n", " 		\n", "
\n", " \n", " \n", " [1,⋅2,⋅3]\n", " \n", "
\n", "
\n", "
\n", " \n", " \n", " ⋅⋅⋅⋅zombies\n", " \n", "
\n", " 		\n", "
\n", " \n", " \n", " 2.0\n", " \n", "
\n", " 		\n", "
\n", " \n", " \n", " cat\n", " \n", "
\n", " 		\n", "
\n", " \n", " \n", " tv\n", " \n", "
\n", " 		\n", "
\n", " \n", " \n", " dog-tv\n", " \n", "
\n", " 		\n", "
\n", " \n", " \n", " b\n", " \n", "
\n", " 		\n", "
\n", " \n", " \n", " 2.0\n", " \n", "
\n", " 		\n", "
\n", " \n", " \n", " ['baby⋅1',⋅'sorry⋅1']\n", " \n", "
\n", " 		\n", "
\n", " \n", " \n", " [3,⋅4]\n", " \n", "
\n", "
\n", "
\n", " \n", " \n", " simpsons⋅⋅⋅cat⋅lady\n", " \n", "
\n", " 		\n", "
\n", " \n", " \n", " 2.0\n", " \n", "
\n", " 		\n", "
\n", " \n", " \n", " frog\n", " \n", "
\n", " 		\n", "
\n", " \n", " \n", " table\n", " \n", "
\n", " 		\n", "
\n", " \n", " \n", " eagle-tv-plus\n", " \n", "
\n", " 		\n", "
\n", " \n", " \n", " 1\n", " \n", "
\n", " 		\n", "
\n", " \n", " \n", " 3.0\n", " \n", "
\n", " 		\n", "
\n", " \n", " \n", " ['baby⋅2',⋅'sorry⋅2']\n", " \n", "
\n", " 		\n", "
\n", " \n", " \n", " [5,⋅6,⋅7]\n", " \n", "
\n", "
\n", "
\n", " \n", " \n", " None\n", " \n", "
\n", " 		\n", "
\n", " \n", " \n", " 3.0\n", " \n", "
\n", " 		\n", "
\n", " \n", " \n", " eagle\n", " \n", "
\n", " 		\n", "
\n", " \n", " \n", " glass\n", " \n", "
\n", " 		\n", "
\n", " \n", " \n", " lion-pc\n", " \n", "
\n", " 		\n", "
\n", " \n", " \n", " c\n", " \n", "
\n", " 		\n", "
\n", " \n", " \n", " 4.0\n", " \n", "
\n", " 		\n", "
\n", " \n", " \n", " ['baby⋅3',⋅'sorry⋅3']\n", " \n", "
\n", " 		\n", "
\n", " \n", " \n", " [7,⋅8]\n", " \n", "
\n", "
\n", "
\n", "\n", "\n", "
Viewing 4 of 4 rows / 9 columns
\n", "
1 partition(s) <class 'optimus.engines.pandas.dataframe.PandasDataFrame'>
\n", "\n" ] }, "metadata": {} } ], "metadata": {} }, { "cell_type": "code", "execution_count": 89, "source": [ "df.cols.qcut(\"billingId\", quantiles=5).display(highlight=\"billingId\")" ], "outputs": [ { "output_type": "display_data", "data": { "text/plain": [ "" ], "text/html": [ "\n", "\n", "\n", "\n", "\n", "
Viewing 10 of 19 rows / 8 columns
\n", "
1 partition(s)
\n", "\n", "\n", "\n", " \n", " \n", " \n", " \n", " \n", " \n", " \n", " \n", " \n", " \n", " \n", " \n", " \n", " \n", " \n", " \n", " \n", " \n", " \n", " \n", " \n", "\n", " \n", " \n", " \n", " \n", " \n", " \n", " \n", " \n", " \n", " \n", " \n", " \n", " \n", " \n", " \n", " \n", " \n", " \n", " \n", " \n", " \n", " \n", " \n", " \n", " \n", " \n", " \n", " \n", " \n", " \n", " \n", " \n", " \n", " \n", " \n", " \n", " \n", " \n", " \n", " \n", " \n", " \n", " \n", " \n", " \n", " \n", " \n", " \n", " \n", " \n", " \n", " \n", " \n", " \n", " \n", " \n", " \n", " \n", " \n", " \n", " \n", " \n", " \n", " \n", " \n", " \n", " \n", " \n", " \n", " \n", " \n", " \n", " \n", " \n", " \n", " \n", " \n", " \n", " \n", " \n", " \n", " \n", " \n", " \n", " \n", " \n", " \n", " \n", " \n", " \n", " \n", " \n", " \n", " \n", " \n", " \n", " \n", " \n", " \n", " \n", " \n", " \n", " \n", " \n", " \n", " \n", " \n", " \n", " \n", " \n", " \n", " \n", " \n", " \n", " \n", " \n", " \n", " \n", " \n", " \n", " \n", " \n", " \n", " \n", " \n", " \n", " \n", " \n", " \n", " \n", " \n", " \n", " \n", " \n", " \n", " \n", " \n", " \n", " \n", " \n", " \n", " \n", " \n", " \n", " \n", " \n", " \n", " \n", " \n", " \n", " \n", " \n", " \n", " \n", " \n", " \n", " \n", " \n", " \n", " \n", " \n", " \n", " \n", " \n", " \n", " \n", " \n", " \n", " \n", " \n", " \n", " \n", " \n", " \n", " \n", " \n", " \n", " \n", " \n", " \n", " \n", " \n", " \n", " \n", " \n", " \n", " \n", " \n", " \n", " \n", " \n", " \n", " \n", " \n", " \n", " \n", " \n", " \n", " \n", " \n", " \n", " \n", " \n", " \n", " \n", " \n", " \n", " \n", " \n", " \n", " \n", " \n", " \n", " \n", " \n", " \n", " \n", " \n", " \n", " \n", " \n", " \n", " \n", " \n", "
\n", "
id
\n", "
1 (int64)
\n", " \n", " 		\n", "
firstName
\n", "
2 (object)
\n", " \n", " 		\n", "
lastName
\n", "
3 (object)
\n", " \n", " 		\n", "
billingId
\n", "
4 (category)
\n", " \n", " 		\n", "
product
\n", "
5 (object)
\n", " \n", " 		\n", "
price
\n", "
6 (int64)
\n", " \n", " 		\n", "
birth
\n", "
7 (object)
\n", " \n", " 		\n", "
dummyCol
\n", "
8 (object)
\n", " \n", "
\n", "
\n", " \n", " \n", " 1\n", " \n", "
\n", " 		\n", "
\n", " \n", " \n", " Luis\n", " \n", "
\n", " 		\n", "
\n", " \n", " \n", " Alvarez$$%!\n", " \n", "
\n", " 		\n", "
\n", " \n", " \n", " (110.999,⋅287.4]\n", " \n", "
\n", " 		\n", "
\n", " \n", " \n", " Cake\n", " \n", "
\n", " 		\n", "
\n", " \n", " \n", " 10\n", " \n", "
\n", " 		\n", "
\n", " \n", " \n", " 1980/07/07\n", " \n", "
\n", " 		\n", "
\n", " \n", " \n", " never\n", " \n", "
\n", "
\n", "
\n", " \n", " \n", " 2\n", " \n", "
\n", " 		\n", "
\n", " \n", " \n", " André\n", " \n", "
\n", " 		\n", "
\n", " \n", " \n", " Ampère\n", " \n", "
\n", " 		\n", "
\n", " \n", " \n", " (287.4,⋅527.0]\n", " \n", "
\n", " 		\n", "
\n", " \n", " \n", " piza\n", " \n", "
\n", " 		\n", "
\n", " \n", " \n", " 8\n", " \n", "
\n", " 		\n", "
\n", " \n", " \n", " 1950/07/08\n", " \n", "
\n", " 		\n", "
\n", " \n", " \n", " gonna\n", " \n", "
\n", "
\n", "
\n", " \n", " \n", " 3\n", " \n", "
\n", " 		\n", "
\n", " \n", " \n", " NiELS\n", " \n", "
\n", " 		\n", "
\n", " \n", " \n", " Böhr//((%%\n", " \n", "
\n", " 		\n", "
\n", " \n", " \n", " (527.0,⋅632.0]\n", " \n", "
\n", " 		\n", "
\n", " \n", " \n", " pizza\n", " \n", "
\n", " 		\n", "
\n", " \n", " \n", " 8\n", " \n", "
\n", " 		\n", "
\n", " \n", " \n", " 1990/07/09\n", " \n", "
\n", " 		\n", "
\n", " \n", " \n", " give\n", " \n", "
\n", "
\n", "
\n", " \n", " \n", " 4\n", " \n", "
\n", " 		\n", "
\n", " \n", " \n", " PAUL\n", " \n", "
\n", " 		\n", "
\n", " \n", " \n", " dirac$\n", " \n", "
\n", " 		\n", "
\n", " \n", " \n", " (287.4,⋅527.0]\n", " \n", "
\n", " 		\n", "
\n", " \n", " \n", " pizza\n", " \n", "
\n", " 		\n", "
\n", " \n", " \n", " 8\n", " \n", "
\n", " 		\n", "
\n", " \n", " \n", " 1954/07/10\n", " \n", "
\n", " 		\n", "
\n", " \n", " \n", " you\n", " \n", "
\n", "
\n", "
\n", " \n", " \n", " 5\n", " \n", "
\n", " 		\n", "
\n", " \n", " \n", " Albert\n", " \n", "
\n", " 		\n", "
\n", " \n", " \n", " Einstein\n", " \n", "
\n", " 		\n", "
\n", " \n", " \n", " (632.0,⋅837.2]\n", " \n", "
\n", " 		\n", "
\n", " \n", " \n", " pizza\n", " \n", "
\n", " 		\n", "
\n", " \n", " \n", " 8\n", " \n", "
\n", " 		\n", "
\n", " \n", " \n", " 1990/07/11\n", " \n", "
\n", " 		\n", "
\n", " \n", " \n", " up\n", " \n", "
\n", "
\n", "
\n", " \n", " \n", " 6\n", " \n", "
\n", " 		\n", "
\n", " \n", " \n", " Galileo\n", " \n", "
\n", " 		\n", "
\n", " \n", " \n", " ⋅⋅⋅⋅⋅⋅⋅⋅⋅⋅⋅⋅⋅GALiLEI\n", " \n", "
\n", " 		\n", "
\n", " \n", " \n", " (632.0,⋅837.2]\n", " \n", "
\n", " 		\n", "
\n", " \n", " \n", " arepa\n", " \n", "
\n", " 		\n", "
\n", " \n", " \n", " 5\n", " \n", "
\n", " 		\n", "
\n", " \n", " \n", " 1930/08/12\n", " \n", "
\n", " 		\n", "
\n", " \n", " \n", " never\n", " \n", "
\n", "
\n", "
\n", " \n", " \n", " 7\n", " \n", "
\n", " 		\n", "
\n", " \n", " \n", " CaRL\n", " \n", "
\n", " 		\n", "
\n", " \n", " \n", " Ga%%%uss\n", " \n", "
\n", " 		\n", "
\n", " \n", " \n", " (287.4,⋅527.0]\n", " \n", "
\n", " 		\n", "
\n", " \n", " \n", " taco\n", " \n", "
\n", " 		\n", "
\n", " \n", " \n", " 3\n", " \n", "
\n", " 		\n", "
\n", " \n", " \n", " 1970/07/13\n", " \n", "
\n", " 		\n", "
\n", " \n", " \n", " gonna\n", " \n", "
\n", "
\n", "
\n", " \n", " \n", " 8\n", " \n", "
\n", " 		\n", "
\n", " \n", " \n", " David\n", " \n", "
\n", " 		\n", "
\n", " \n", " \n", " H$$$ilbert\n", " \n", "
\n", " 		\n", "
\n", " \n", " \n", " (527.0,⋅632.0]\n", " \n", "
\n", " 		\n", "
\n", " \n", " \n", " taaaccoo\n", " \n", "
\n", " 		\n", "
\n", " \n", " \n", " 3\n", " \n", "
\n", " 		\n", "
\n", " \n", " \n", " 1950/07/14\n", " \n", "
\n", " 		\n", "
\n", " \n", " \n", " let\n", " \n", "
\n", "
\n", "
\n", " \n", " \n", " 9\n", " \n", "
\n", " 		\n", "
\n", " \n", " \n", " Johannes\n", " \n", "
\n", " 		\n", "
\n", " \n", " \n", " KEPLER\n", " \n", "
\n", " 		\n", "
\n", " \n", " \n", " (632.0,⋅837.2]\n", " \n", "
\n", " 		\n", "
\n", " \n", " \n", " taco\n", " \n", "
\n", " 		\n", "
\n", " \n", " \n", " 3\n", " \n", "
\n", " 		\n", "
\n", " \n", " \n", " 1920/04/22\n", " \n", "
\n", " 		\n", "
\n", " \n", " \n", " you\n", " \n", "
\n", "
\n", "
\n", " \n", " \n", " 10\n", " \n", "
\n", " 		\n", "
\n", " \n", " \n", " JaMES\n", " \n", "
\n", " 		\n", "
\n", " \n", " \n", " M$$ax%%well\n", " \n", "
\n", " 		\n", "
\n", " \n", " \n", " (837.2,⋅992.0]\n", " \n", "
\n", " 		\n", "
\n", " \n", " \n", " taco\n", " \n", "
\n", " 		\n", "
\n", " \n", " \n", " 3\n", " \n", "
\n", " 		\n", "
\n", " \n", " \n", " 1923/03/12\n", " \n", "
\n", " 		\n", "
\n", " \n", " \n", " down\n", " \n", "
\n", "
\n", "
\n", " \n", " \n", " 11\n", " \n", "
\n", " 		\n", "
\n", " \n", " \n", " Isaac\n", " \n", "
\n", " 		\n", "
\n", " \n", " \n", " Newton\n", " \n", "
\n", " 		\n", "
\n", " \n", " \n", " (837.2,⋅992.0]\n", " \n", "
\n", " 		\n", "
\n", " \n", " \n", " pasta\n", " \n", "
\n", " 		\n", "
\n", " \n", " \n", " 9\n", " \n", "
\n", " 		\n", "
\n", " \n", " \n", " 1999/02/15\n", " \n", "
\n", " 		\n", "
\n", " \n", " \n", " never⋅\n", " \n", "
\n", "
\n", "
\n", "\n", "\n", "
Viewing 10 of 19 rows / 8 columns
\n", "
1 partition(s) <class 'optimus.engines.pandas.dataframe.PandasDataFrame'>
\n", "\n" ] }, "metadata": {} } ], "metadata": {} } ], "metadata": { "jupytext": { "formats": "ipynb,py:light" }, "kernel_info": { "name": "python3" }, "kernelspec": { "name": "python3", "display_name": "Python 3.8.5 64-bit ('base': conda)" }, "language_info": { "codemirror_mode": { "name": "ipython", "version": 3 }, "file_extension": ".py", "mimetype": "text/x-python", "name": "python", "nbconvert_exporter": "python", "pygments_lexer": "ipython3", "version": "3.8.5" }, "nteract": { "version": "0.11.6" }, "interpreter": { "hash": "ecf5722fdaf1897a315d257d89d94520bfcaa453217d5becf09b39e73618b0de" } }, "nbformat": 4, "nbformat_minor": 2 }