Este repositorio reúne las actividades, análisis y proyectos desarrollados dentro del Diplomado en Ciencias de Datos de la Universidad Central de Venezuela (Cohorte 2023-01). Aquí se aplican técnicas de exploración de datos, visualización, minería de texto, clasificación supervisada, reglas de asociación y análisis de noticias.
- Objetivo del repositorio
- Tecnologías utilizadas
- Datasets
- Asignación 01
- Asignación 02
- Asignación 03
- Asignación 04
- Asignación 05
- Proyecto final
- Estado del proyecto
El propósito de este repositorio es documentar y compartir las actividades realizadas durante el diplomado, con foco en:
- Análisis exploratorio de datos,
- Visualización de información,
- Clasificación automática,
- Minería de texto,
- Reglas de asociación para recomendación,
- Análisis de datos no estructurados y extracción de información.
- Python
- Jupyter Notebook
- Pandas
- NumPy
- Matplotlib
- Seaborn
- Scikit-learn
- Mining de texto
- Técnicas de asociación (FP Growth)
A continuación se listan los principales conjuntos de datos utilizados en las actividades del repositorio.
- Fuente: Kaggle - Movies and TV Shows
- Archivo disponible en: datasets/movies_tv_shows
- Nombre del archivo:
movies_tv_shows.zip
Este conjunto se utilizó para tareas de conteo de categorías, visualización exploratoria, clasificación y análisis de asociación.
- Fuente: Miguel de Cervantes - El Quijote
- Archivos disponibles en: datasets/Cap_10_11_cervantes
- Archivos principales:
cap_10_cervantes.txtcap_11_cervantes.txt
Este conjunto se empleó para análisis de frecuencia de palabras y extracción de patrones léxicos.
- Fuente: consultas realizadas en searx
- Datos almacenados en: datasets/Projecto_final_DS_data_json
Se utilizaron búsquedas de noticias con la palabra clave “Venezuela” durante varios días para su posterior análisis de tópicos.
Se realizó un conteo de ocurrencias de las categorías del campo Listed In, como por ejemplo: Comedy, Drama, Action, entre otras.
Identificar la frecuencia de cada categoría dentro del dataset para entender la distribución de géneros y temáticas presentes en las películas y series.
- Fuente: Kaggle - Movies and TV Shows
- Dataset: datasets/movies_tv_shows
Se realizó una exploración visual con gráficos generados con matplotlib, representando diferentes aspectos de las películas y series.
Comprender mejor la distribución de los datos mediante visualizaciones intuitivas que permitan identificar tendencias, patrones y anomalías.
- Fuente: Kaggle - Movies and TV Shows
- Dataset: datasets/movies_tv_shows
Se implementó un algoritmo de clasificación bayesiana con enfoque Naive Bayes.
Clasificar automáticamente si una película parece estar orientada más hacia el público masculino o femenino, según la información del reparto (cast) y las categorías (listed_in).
Se asigna un puntaje de orientación:
- Puntaje positivo: mayor orientación hacia público masculino
- Puntaje negativo: mayor orientación hacia público femenino
- Puntaje cercano a cero: mayor neutralidad
Las reglas de preprocesamiento para inferir género a partir de nombres del elenco requieren mayor rigor analítico. No obstante, este ejercicio se desarrolló con fines ilustrativos y didácticos.
Se trabajó con algoritmos de asociación, específicamente FP Growth, como una aproximación a un sistema de recomendación.
Proponer un sistema que recomiende películas según las preferencias del usuario, tomando como referencia el género o categoría de las producciones.
- Fuente: Kaggle - Movies and TV Shows
- Dataset: datasets/movies_tv_shows
Se realizó un análisis de frecuencia relativa de palabras y frases en los capítulos 10 y 11 de El Quijote.
Aplicar técnicas de text mining para cuantificar la repetición de términos y patrones léxicos dentro del texto.
- Fuente: Proyecto Gutenberg - El Quijote
- Dataset: datasets/Cap_10_11_cervantes
Proyecto final centrado en el análisis de tópicos en distintos buscadores de internet y sus canales de noticias, utilizando palabras clave relevantes como “Venezuela”.
Evaluar cómo los buscadores ordenan y priorizan resultados de noticias, así como estudiar la relevancia temática de los contenidos asociados a una consulta específica.
Las búsquedas se realizaron en el meta-buscador searx durante una semana, tomando las primeras 10 apariciones por día para la palabra clave Venezuela.
| Dataset | Fecha |
|---|---|
searx.thegpm.org_0.json |
19-09-2023 |
searx.thegpm.org_1.json |
20-09-2023 |
searx.thegpm.org_2.json |
21-09-2023 |
searx.thegpm.org_3.json |
22-09-2023 |
searx.thegpm.org_4.json |
23-09-2023 |
searx.thegpm.org_5.json |
24-09-2023 |
searx.thegpm.org_6.json |
25-09-2023 |
- Ubicación: datasets/Projecto_final_DS_data_json
- Exploración y preprocesamiento de datos
- Análisis de categorías
- Visualización exploratoria
- Clasificación bayesiana
- Reglas de asociación (FP Growth)
- Text mining
- Proyecto final
- Análisis de clustering (pendiente)
Este repositorio está orientado a la práctica de conceptos fundamentales de ciencia de datos aplicados a problemas reales y académicos, con un enfoque didáctico y experimental.
Si quieres contribuir, mejorar el análisis o extender alguna de las tareas, puedes hacer fork del repositorio y enviar tus propuestas.