Apache Spark: de­fi­ni­ción y funciones

Comparado con pre­de­ce­so­res como Hadoop o con co­m­pe­ti­do­res como PySpark, Apache Spark se ca­ra­c­te­ri­za por un re­n­di­mie­n­to im­pre­sio­na­n­te­me­n­te rápido, uno de los aspectos más im­po­r­ta­n­tes a la hora de consultar, procesar y analizar grandes ca­n­ti­da­des de datos. Como framework de big data y análisis In Memory, Spark ofrece numerosas ventajas para el análisis de datos, el apre­n­di­za­je au­to­má­ti­co, el streaming de datos y SQL.

¿Qué es Apache Spark?

Apache Spark, el framework de análisis de datos de Berkeley, se considera ac­tua­l­me­n­te una de las pla­ta­fo­r­mas de big data más populares en todo el mundo y es un “Top Level Project” de la Apache Software Fou­n­da­tion. Este motor de análisis se utiliza para procesar si­mu­l­tá­nea­me­n­te grandes ca­n­ti­da­des de datos y apli­ca­cio­nes de análisis en clústeres in­fo­r­má­ti­cos di­s­tri­bui­dos. Spark se de­sa­rro­lló para sa­ti­s­fa­cer las ne­ce­si­da­des de la big data en términos de velocidad de cálculo, ex­te­n­si­bi­li­dad y es­ca­la­bi­li­dad.

Para ello, ofrece módulos in­te­gra­dos que pro­po­r­cio­nan muchas ventajas para el cloud computing, el machine learning, apli­ca­cio­nes de IA, así como streaming y datos gráficos. El motor es utilizado incluso por grandes pro­vee­do­res como Netflix, Yahoo e eBay debido a su re­n­di­mie­n­to y es­ca­la­bi­li­dad.

¿Qué hace especial a Apache Spark?

Apache Spark es un motor si­g­ni­fi­ca­ti­va­me­n­te más rápido y potente que Apache Hadoop o Apache Hive. Procesa los trabajos 100 veces más rápido en co­m­pa­ra­ción con MapReduce de Hadoop cuando el pro­ce­sa­mie­n­to se produce en memoria y 10 veces más rápido cuando se produce en disco. Así pues, Spark ofrece a las empresas un re­n­di­mie­n­to que reduce costes y aumenta la efi­cie­n­cia.

Sin embargo, lo más in­te­re­sa­n­te de Spark es su fle­xi­bi­li­dad. El motor no solo puede eje­cu­tar­se de forma in­de­pe­n­die­n­te, sino también en clústeres Hadoop co­n­tro­la­dos por YARN. Además, permite a los de­sa­rro­lla­do­res escribir apli­ca­cio­nes para Spark en varios lenguajes de pro­gra­ma­ción. No solo SQL, sino también Python, Scala, R o Java.

Otras ca­ra­c­te­rí­s­ti­cas es­pe­cia­les de Spark: no tiene que co­n­fi­gu­rar­se en el sistema de archivos de Hadoop, sino que también puede funcionar con otras pla­ta­fo­r­mas de datos como AWS S3, Apache Cassandra o HBase. Además, si se es­pe­ci­fi­ca la fuente de datos, procesa tanto procesos por lotes y en Hadoop como datos de flujo y di­fe­re­n­tes cargas de trabajo con un código casi idéntico. Con un proceso de consulta in­ter­ac­ti­vo, los datos actuales e hi­s­tó­ri­cos en tiempo real, incluidos los análisis, pueden di­s­tri­bui­r­se en varias capas en el disco duro y la memoria y pro­ce­sar­se en paralelo.

¿Cómo funciona Spark?

El modo de fu­n­cio­na­mie­n­to de Spark se basa en el principio je­rá­r­qui­co primario-se­cu­n­da­rio (también conocido como principio maestro-esclavo. Para ello, el co­n­tro­la­dor de Spark actúa como nodo maestro ge­s­tio­na­do por el ad­mi­ni­s­tra­dor del clúster. Éste, a su vez, controla los nodos esclavos y reenvía los análisis de datos al cliente. Las eje­cu­cio­nes y consultas se di­s­tri­bu­yen y su­pe­r­vi­san a través del Spa­r­k­Co­n­te­xt creado por el co­n­tro­la­dor Spark, que coopera con gestores de clúster como los que ofrecen Spark, YARN, Hadoop o Ku­be­r­ne­tes. Esto también crea Resilient Di­s­tri­bu­ted Datasets (RDD).

Spark determina qué recursos se utilizan para consultar o almacenar datos, o dónde se envían los datos co­n­su­l­ta­dos. Al procesar di­ná­mi­ca­me­n­te los datos di­re­c­ta­me­n­te en la memoria de trabajo de los clústeres de se­r­vi­do­res, el motor reduce la latencia y ofrece un re­n­di­mie­n­to muy rápido. Además, ofrece pasos de pro­ce­sa­mie­n­to en paralelo y el uso de memoria virtual y física.

Apache Spark también procesa datos pro­ce­de­n­tes de varios almacenes de datos. Estos incluyen el Hadoop Di­s­tri­bu­ted File System (HDFS) y almacenes de datos re­la­cio­na­les como Hive o bases de datos NoSQL. Además, existe un pro­ce­sa­mie­n­to en memoria o basado en disco que mejora el re­n­di­mie­n­to, en función del tamaño de los conjuntos de datos.

Los RDD como conjuntos de datos di­s­tri­bui­dos y to­le­ra­n­tes a fallos

Los Resilient Di­s­tri­bu­ted Datasets son una base im­po­r­ta­n­te de Apache Spark para el pro­ce­sa­mie­n­to de datos es­tru­c­tu­ra­dos o no es­tru­c­tu­ra­dos. Se trata de agre­ga­cio­nes de datos to­le­ra­n­tes a errores que Spark di­s­tri­bu­ye a clusters de se­r­vi­do­res mediante clu­s­te­ri­ng y procesa en paralelo o traslada a almacenes de datos. También es posible pasar los datos a otros modelos de análisis. Los conjuntos de datos de los RDD se su­b­di­vi­den en pa­r­ti­cio­nes lógicas que pueden re­cu­pe­rar­se, recrearse o editarse, y ca­l­cu­lar­se mediante tra­n­s­fo­r­ma­cio­nes y acciones.

Da­ta­Fra­mes y Datasets

Otros tipos de datos que procesa Spark se denominan Da­ta­Fra­mes y Datasets. Los Da­ta­Fra­mes son APIs como tablas de datos es­tru­c­tu­ra­das en filas y columnas. Los Datasets, por su parte, son una extensión de Da­ta­Fra­mes para una interfaz de usuario orientada a objetos para pro­gra­ma­ción. Es­pe­cia­l­me­n­te en relación con la Machine Learning Library (MLlib), los Da­ta­Fra­mes de­sem­pe­ñan un papel im­po­r­ta­n­te como API con una es­tru­c­tu­ra uniforme en todos los lenguajes de pro­gra­ma­ción.

¿Qué lenguaje utiliza Spark?

Spark se de­sa­rro­lló en Scala, que también es el lenguaje principal del motor Spark Core. Además, Spark ofrece co­ne­c­to­res Java y Python. Con Spark y en co­m­bi­na­ción con otros lenguajes, Python ofrece muchas ventajas para un análisis de datos eficaz, es­pe­cia­l­me­n­te para la ciencia de datos y la in­ge­nie­ría de la in­fo­r­ma­ción. Spark también admite in­te­r­fa­ces API de alto nivel para el lenguaje de pro­gra­ma­ción de ciencia de datos R, pu­dié­n­do­se aplicar a grandes conjuntos de datos y uti­li­zar­se para el apre­n­di­za­je au­to­má­ti­co.

La im­po­r­ta­n­cia de Spark

Las diversas bi­blio­te­cas y almacenes de datos de Spark, las API co­m­pa­ti­bles con muchos lenguajes de pro­gra­ma­ción y el eficaz pro­ce­sa­mie­n­to en memoria lo hacen adecuado para una amplia gama de sectores. Cuando se trata de procesar, consultar o calcular grandes ca­n­ti­da­des de datos complejos, la alta velocidad, es­ca­la­bi­li­dad y fle­xi­bi­li­dad de Spark ofrecen un gran re­n­di­mie­n­to, es­pe­cia­l­me­n­te para apli­ca­cio­nes de big data de grandes empresas. Por ello, Spark es popular en la pu­bli­ci­dad digital y el comercio ele­c­tró­ni­co, en empresas fi­na­n­cie­ras para la eva­lua­ción de datos fi­na­n­cie­ros o para modelos de inversión, así como para si­mu­la­cio­nes, in­te­li­ge­n­cia ar­ti­fi­cial y previsión de te­n­de­n­cias.

Los aspectos más im­po­r­ta­n­tes de Spark incluyen:

• pro­ce­sa­mie­n­to, in­te­gra­ción y re­co­pi­la­ción de conjuntos de datos pro­ce­de­n­tes de una amplia gama de fuentes y apli­ca­cio­nes
• consulta y análisis in­ter­ac­ti­vos de big data
• análisis de flujos de datos en tiempo real
• apre­n­di­za­je au­to­má­ti­co e in­te­li­ge­n­cia ar­ti­fi­cial
• grandes procesos ETL

Co­m­po­ne­n­tes y bi­blio­te­cas im­po­r­ta­n­tes de la ar­qui­te­c­tu­ra Spark

Los elementos más im­po­r­ta­n­tes de la ar­qui­te­c­tu­ra Spark incluyen:

Spark Core

Como base de todo el sistema Spark, Spark Core pro­po­r­cio­na las funciones básicas de Spark y gestiona la di­s­tri­bu­ción de tareas, la ab­s­tra­c­ción de datos, la pla­ni­fi­ca­ción del de­sa­rro­llo y los procesos de entrada y salida. Spark Core utiliza RDDs di­s­tri­bui­dos a través de múltiples clusters de se­r­vi­do­res y or­de­na­do­res como es­tru­c­tu­ra de datos. También co­n­s­ti­tu­ye la base de Spark SQL, las bi­blio­te­cas, Spark Streaming y todos los demás co­m­po­ne­n­tes in­di­vi­dua­les im­po­r­ta­n­tes.

Spark SQL

Se trata de una bi­blio­te­ca de uso es­pe­cia­l­me­n­te frecuente con la que se pueden utilizar los RDD como consultas SQL. Para ello, Spark SQL genera tablas Da­ta­Fra­mes te­m­po­ra­les. Con Spark SQL se puede acceder a diversas fuentes de datos, trabajar con datos es­tru­c­tu­ra­dos y utilizar consultas de datos a través de SQL y otras API de DataFrame. Además, Spark SQL te permite integrar el lenguaje de sistema de base de datos HiveQL para acceder a un data warehouse ge­s­tio­na­da con Hive.

Spark Streaming

Con esta fu­n­cio­na­li­dad de API de alto nivel, se pueden utilizar funciones de flujo de datos altamente es­ca­la­bles y re­si­s­te­n­tes a errores, y se pueden procesar o vi­sua­li­zar flujos de datos continuos en tiempo real. Spark genera paquetes in­di­vi­dua­les para acciones de datos a partir de los flujos de datos. De esta forma, los modelos de machine learning enseñados también pueden uti­li­zar­se en flujos de datos.

MLIB Machine Learning Library

Esta bi­blio­te­ca escalable de Spark pro­po­r­cio­na código de machine learning para aplicar procesos es­ta­dí­s­ti­cos avanzados en clústeres de se­r­vi­do­res o para de­sa­rro­llar apli­ca­cio­nes ana­lí­ti­cas. Se incluyen al­go­ri­t­mos de apre­n­di­za­je comunes como clu­s­te­ri­ng, regresión, cla­si­fi­ca­ción y re­co­me­n­da­ción, servicios de flujo de trabajo, eva­lua­ción de modelos, es­ta­dí­s­ti­ca lineal di­s­tri­bui­da y álgebra o tra­n­s­fo­r­ma­cio­nes de ca­ra­c­te­rí­s­ti­cas. Con MLlib, el machine learning puede escalarse y si­m­pli­fi­car­se de forma eficaz.

GraphX

La API GraphX de Spark se utiliza para el cálculo paralelo de gráficos y combina ETL, pro­ce­sa­mie­n­to in­ter­ac­ti­vo de gráficos y análisis ex­plo­ra­to­rio.

¿Cómo se creó Apache Spark?

Apache Spark se de­sa­rro­lló en 2009 en la Uni­ve­r­si­dad de Ca­li­fo­r­nia, Berkeley, como parte de AMPlabs. Spark está a di­s­po­si­ción del público de forma gratuita como licencia de código abierto desde 2010. La co­n­ti­nua­ción y op­ti­mi­za­ción de Spark comenzó en 2013 por parte de la Apache Software Fou­n­da­tion. La po­pu­la­ri­dad y el potencial de este framework de big data hicieron que la ASF declarara a Spark “Top Level Project” en febrero de 2014. La versión 1.0 de Spark se publicó entonces en mayo de 2014. Ac­tua­l­me­n­te (abril de 2023), Spark se encuentra en la versión 3.3.2.

El objetivo de Spark era acelerar las consultas y tareas en los sistemas Hadoop. Con Spark Core como base, permitía el envío de tareas di­s­tri­bui­das, fu­n­cio­na­li­da­des de entrada-salida, así como el pro­ce­sa­mie­n­to en memoria para superar a MapReduce, habitual en el framework Hadoop hasta entonces.

¿Qué ventajas ofrece Apache Spark?

Spark ofrece las si­guie­n­tes ventajas para consultar y procesar rá­pi­da­me­n­te grandes ca­n­ti­da­des de datos:

• Velocidad: las cargas de trabajo pueden pro­ce­sar­se y eje­cu­tar­se hasta 100 veces más rápido en co­m­pa­ra­ción con MapReduce de Hadoop. Las ventajas de re­n­di­mie­n­to adi­cio­na­les se deben a la co­m­pa­ti­bi­li­dad con el pro­ce­sa­mie­n­to de datos por lotes y en flujo, los gráficos acíclicos dirigidos, un motor de ejecución física y la op­ti­mi­za­ción de consultas.
• Es­ca­la­bi­li­dad: gracias al pro­ce­sa­mie­n­to In Memory de datos di­s­tri­bui­dos en clústeres, Spark ofrece es­ca­la­bi­li­dad flexible de recursos bajo demanda.
• Uni­fo­r­mi­dad: Spark sirve como framework de big data que unifica varias funciones y bi­blio­te­cas en una sola apli­ca­ción. Entre ellas se incluyen las consultas SQL, Da­ta­Fra­mes, Spark Streaming, MLlib para el machine learning y GraphX para el pro­ce­sa­mie­n­to de gráficos. Además, cuenta con la in­te­gra­ción de HiveQL.
• Facilidad de uso: gracias a las in­te­r­fa­ces API de fácil uso para una amplia variedad de fuentes de datos, así como a más de 80 ope­ra­do­res comunes para el de­sa­rro­llo de apli­ca­cio­nes, Spark agrupa numerosas po­si­bi­li­da­des de apli­ca­ción en un único framework. También resulta es­pe­cia­l­me­n­te práctico el uso in­ter­ac­ti­vo de shells Scala, Python, R o SQL para escribir servicios.
• Framework de código abierto: a través de su enfoque de código abierto, Spark ofrece una comunidad global y activa de expertos que de­sa­rro­llan Spark co­n­ti­nua­me­n­te, cierran las brechas de seguridad y ga­ra­n­ti­zan una rápida in­no­va­ción.
• In­cre­me­n­to de la efi­cie­n­cia y reducción de costes: dado que Spark también se puede utilizar sin es­tru­c­tu­ras físicas de se­r­vi­do­res de gama alta, esta pla­ta­fo­r­ma para análisis de big data ofrece fu­n­cio­na­li­da­des que reducen costes y mejoran el re­n­di­mie­n­to, es­pe­cia­l­me­n­te para al­go­ri­t­mos de machine learning de cálculo intensivo y complejos procesos de datos en paralelo.

¿Qué de­s­ve­n­ta­jas tiene Apache Spark?

A pesar de todos sus puntos fuertes, Spark también tiene algunas de­s­ve­n­ta­jas. La primera y más im­po­r­ta­n­te es el hecho de que Spark no tiene un motor de memoria integrado y, por tanto, depende de muchos elementos re­pa­r­ti­dos. El pro­ce­sa­mie­n­to en memoria también requiere mucha RAM, lo que puede afectar al re­n­di­mie­n­to si los recursos son in­su­fi­cie­n­tes. Además, el uso de Spark requiere un periodo de apre­n­di­za­je más largo para co­m­pre­n­der los procesos en segundo plano cuando se instala un servidor Apache de forma in­de­pe­n­die­n­te u otras es­tru­c­tu­ras en la nube.