Apache SparkBig Data

Как установить Apache Spark на mac OS

Digital businessman начинает публиковать полезные статьи о Big Data на русском языке исходя из своего опыта. И начинаем с «как установить Apache Spark» на яблочный mac os. Apache Spark является одним из самых популярных направлений по развитию big data сообщества: многие компании, в том числе и стартапы, начинают его применять.

Установка

Самым простым и надежным способом установки Apache Spark на OS X является через Homebrew, который вы можете скачать и установить по ссылке. После установки, введите в терминале:

brew install apache-spark

Данным способом Вы установите последнюю версию и Вы найдете его по /usr/local/Cellar/apache-spark/ .  Также если у Вас не установлена Java, Вам будет предложена инструкция по его установке.

Следующим шагом Вам нужно поменять Spark’s log-level. Сперва, скопируйте log4j template file:

cd /usr/local/Cellar/apache-spark/2.1.0/libexec/conf cp log4j.properties.template log4j.properties

Откройте скопируемый файл log4j.properties, найдите строку log4j.rootCategory и смените INFO на  ERROR

log4j.rootCategory=ERROR, console

Готово. Проверяем:

spark-shell
Welcome to ____ __ / __/__ ___ _____/ /__ _\ \/ _ \/ _ `/ __/ '_/ /___/ .__/\_,_/_/ /_/\_\ version 1.5.0 /_/ Using Scala version 2.10.4 (Java HotSpot(TM) 64-Bit Server VM, Java 1.8.0_60) Type in expressions to have them evaluated. Type :help for more information. Spark context available as sc. SQL context available as sqlContext. scala>

Можете приступать к работе.

Подписывайтесь на нас в соц сетях 🙂

Комментировать

+49 1520 94 33 234
Dresdener Str. 36, 10179 Berlin

©Digital Businessman 2020