| \n", " | TEXTO | \n", "SECTOR | \n", "MARCA | \n", "CANAL | \n", "AWARENESS | \n", "EVALUATION | \n", "PURCHASE | \n", "POSTPURCHASE | \n", "NC2 | \n", "
|---|---|---|---|---|---|---|---|---|---|
| 0 | \n", "#tablondeanuncios Funda nordica ikea #madrid h... | \n", "RETAIL | \n", "IKEA | \n", "Microblog | \n", "0 | \n", "0 | \n", "0.0 | \n", "0 | \n", "1.0 | \n", "
| 1 | \n", "#tr Me ofrezco para montar muebles de Ikea - H... | \n", "RETAIL | \n", "IKEA | \n", "Microblog | \n", "0 | \n", "0 | \n", "0.0 | \n", "0 | \n", "1.0 | \n", "
| 2 | \n", "#VozPópuli Vozpópuli @voz_populi - #LoMásLeido... | \n", "RETAIL | \n", "ALCAMPO | \n", "Microblog | \n", "0 | \n", "0 | \n", "0.0 | \n", "0 | \n", "1.0 | \n", "
| 3 | \n", "#ZonaTecno Destacado: Todo lo que hay que sabe... | \n", "RETAIL | \n", "CARREFOUR | \n", "Microblog | \n", "0 | \n", "0 | \n", "0.0 | \n", "0 | \n", "1.0 | \n", "
| 4 | \n", "$Carrefour retira pez #Panga. OCU y grupos x #... | \n", "RETAIL | \n", "CARREFOUR | \n", "Microblog | \n", "0 | \n", "0 | \n", "0.0 | \n", "0 | \n", "1.0 | \n", "
| \n", " | TEXTO | \n", "SECTOR | \n", "
|---|---|---|
| 0 | \n", "#tablondeanuncios Funda nordica ikea #madrid h... | \n", "RETAIL | \n", "
| 725 | \n", "\"Ilcinsisti lis MB dispiniblis\" te odeeeeeo Mo... | \n", "TELCO | \n", "
| 964 | \n", "#CarlosSlim y Bimbo lanzarán un vehículo eléct... | \n", "ALIMENTACION | \n", "
| 1298 | \n", "‼🏎Toyota #Day, 4ruedas ,1/4 milla, 1 #pasión, ... | \n", "AUTOMOCION | \n", "
| 1748 | \n", "\"- Tú qué.\\n- Yo na.\"\\nConversaciones banco sa... | \n", "BANCA | \n", "
| 2348 | \n", "- Cariño, te juro que sólo tenían Cruzcampo en... | \n", "BEBIDAS | \n", "
| 3023 | \n", "#adidas #hockey Amenabar 2080 CABA https://t.c... | \n", "DEPORTES | \n", "
![](\"https://miro.medium.com/max/700/1*Z0EUVs7QElEqRqXtqut_FQ.png\")
\n",
"\n",
"\n",
"U y V(trapuesta) son ortogonales. Esto es de esperar porque si determinadas propiedades determinan un determinado factor latente, entonces esas propiedades serán poco relevantes en los restantes factores (pues sino, no haría sentido que conformen un factor distinto en un primer lugar).\n",
"\n",
"SVC es un metodo de decomposición exacto, lo que singnifica que las matrices U y V son lo suficientemente grandes para mapear exactamente la matriz A."
]
},
{
"cell_type": "markdown",
"metadata": {
"id": "Kh1u5cZzkKbO"
},
"source": [
"### LSI - Latent Semantic Indexing"
]
},
{
"cell_type": "markdown",
"metadata": {
"id": "U1pbwdPv_J-7"
},
"source": [
"LSI es un caso particular de factorización de matrices. Cuando SVD es utilizado para procesar tópicos en texto y en donde los valores de la matriz A corresponden a frecuencias de palabras, este método se lo denomina Latent Semantic Analysis (sin embargo, en NLP no se lo suele nombrar como LSI).\n",
"\n",
"Dado que SVC es un método de decomposición exacto, tiende a producir matrices de poca densidad (sparse). Para evitar este problema, se utiliza una versión modificada de SVC conocida como Truncated SVD que solamente computa los k componentes mas grandes en la descomposición. Esto ayuda a que LSI combata efectivamente el problema de matrices sparse que tienden a generarse cuando se tienen cuerpos de texto con sinónimos y palabras que significan varias cosas dependiendo del contexto. Truncated SVD evíta ser un método de decomposición exacto al aproximar la matriz A utilizando los k tópicos más relevantes.\n",
"\n",
"
\n",
"\n",
"Facebook Research: Fast Randomized SVD [https://research.fb.com/fast-randomized-svd/])\n",
"\n",
"En esta configuración entonces:\n",
" - Un documento es nada mas que la distribución de palabras que ocurren en el (Bag of words)\n",
" - A es una matriz de m x n donde m es la cantidad de documentos ú observaciones, y n es la cantidad de palabras en el vocabulario.\n",
" - Los valores de A corresponden a la frecuencia de la cada palabra del vocabulario en cada observación ú documento.\n",
" - A es una matriz sujeta a ruido con distribución Gausiana.\n",
"\n",
"\n",
"Referencia: Finding structure with randomness: Probabilistic algorithms for constructing approximate matrix decompositions [https://arxiv.org/abs/0909.4061]"
]
},
{
"cell_type": "markdown",
"metadata": {
"id": "c1iGWgQZca0C"
},
"source": [
"El principal parametro en LSI es el numero de factores que queremos generar (el parametro K). No existe una regla para especificar este parametro ya que depende del escenario. Valores muy pequeños pueden forzar a los documentos a ser colisionar en los tópicos que son asignados, mientras que valores muy grandes pueden hacer que palabras poco frecuentes y raras terminen determinando su propio \"topico\".\n",
"\n",
"> Valores típicos de este parámetro están en 50 < k < 300\n",
"\n",
"En la librería `scikit-learn`, este valor lo especificaremos en `n_components`. El parametro `algorithm` hace referencia al método que utilizaremos para generar la descomposición:"
]
},
{
"cell_type": "code",
"execution_count": 22,
"metadata": {
"id": "QZ2uzF82_J--"
},
"outputs": [],
"source": [
"from sklearn.decomposition import TruncatedSVD\n",
"\n",
"svd = TruncatedSVD(n_components=7, algorithm='randomized')\n",
"\n",
"USigma = svd.fit_transform(vectors)\n",
"Sigma = svd.singular_values_\n",
"VT = svd.components_"
]
},
{
"cell_type": "markdown",
"metadata": {
"id": "3bFhXZc6eHQL"
},
"source": [
"Si bien en el codigo anterior estamos viendo las 3 matrices, solo nos interesa la matriz VT. ¿Porque? Recuerden que nuestro \"input\" es un conjunto de palabras que luego vectorizamos utilizando TF-IDF. Cada documento está representado por este conjunto de palabras. Nuestro objetivo es disponer una forma donde podamos convertir este set de palabras a \"tópicos\" que sean más informativos que las palabras propiamente dichas. **En consecuencia, lo único que nos interesa aqui es la matriz VT**"
]
},
{
"cell_type": "code",
"execution_count": 23,
"metadata": {
"colab": {
"base_uri": "https://localhost:8080/"
},
"id": "Xvvt3kpu_J_A",
"outputId": "a12c44cd-ae4d-4bfb-cc89-f9a51848b94c"
},
"outputs": [
{
"output_type": "execute_result",
"data": {
"text/plain": [
"(7, 6924)"
]
},
"metadata": {},
"execution_count": 23
}
],
"source": [
"VT.shape"
]
},
{
"cell_type": "markdown",
"metadata": {
"id": "uwu_KCg__J_C"
},
"source": [
"Internamente, TrucatedSVC es un wrapper de la clase randomized_svd donde la matríz Q que vimos anteriormente se genera a través de un método de sampling aleatorio. Las siguientes lineas son equivalentes a lo que vimos anteriormente:"
]
},
{
"cell_type": "code",
"execution_count": null,
"metadata": {
"id": "_kigl-Xl_J_D"
},
"outputs": [],
"source": [
"from sklearn.utils.extmath import randomized_svd\n",
"\n",
"U, Sigma, VT = randomized_svd(vectors,\n",
" n_components=7,\n",
" n_iter=5)"
]
},
{
"cell_type": "markdown",
"metadata": {
"id": "HV9fOGLB_J_F"
},
"source": [
"Podemos validar que U es una matriz ortogonal"
]
},
{
"cell_type": "code",
"execution_count": null,
"metadata": {
"colab": {
"base_uri": "https://localhost:8080/"
},
"id": "uLYEo9Gm_J_F",
"outputId": "6277fcdb-e3cc-4da7-d3e3-97b22f83ef39"
},
"outputs": [
{
"output_type": "execute_result",
"data": {
"text/plain": [
"True"
]
},
"metadata": {},
"execution_count": 16
}
],
"source": [
"np.allclose(U.T @ U, np.eye(U.shape[1]))"
]
},
{
"cell_type": "markdown",
"metadata": {
"id": "xSv1wUgK_J_I"
},
"source": [
"Lo siguiente es solo a titulo informativo, pero si vemos los valores de la matriz Sigma, veremos la importancia relativa de los documentos con respecto a los tópicos que encontramos. Si los gráficamos vemos que sus valores comienzan a decrecer relativamente rápido, sosteniendo la supoción de que Truncated SVD genera los K más relevantes tópicos."
]
},
{
"cell_type": "code",
"execution_count": null,
"metadata": {
"colab": {
"base_uri": "https://localhost:8080/",
"height": 450
},
"id": "HVI80HRw_J_I",
"outputId": "46a9dc99-7235-4423-beb1-2dd0dcac8671"
},
"outputs": [
{
"output_type": "execute_result",
"data": {
"text/plain": [
"[LatentDirichletAllocation(n_components=7)In a Jupyter environment, please rerun this cell to show the HTML representation or trust the notebook.
LatentDirichletAllocation(n_components=7)