Hadoop یکی از محبوب‌ترین پلتفرم‌های متن‌باز برای پردازش و ذخیره‌سازی داده‌های بزرگ (Big Data) است. این چارچوب به کاربران این امکان را می‌دهد تا با استفاده از روش پردازش توزیع‌شده (Distributed Processing) داده‌ها را به صورت موازی پردازش کنند. Hadoop معمولاً بر روی سیستم‌های لینوکسی اجرا می‌شود، اما می‌توان آن را بر روی ویندوز نیز نصب کرد. در این مقاله، قصد داریم به صورت گام به گام به شما آموزش دهیم که چگونه Hadoop را بر روی ویندوز نصب و پیکربندی کنید.
پیش‌نیازها
قبل از شروع به نصب Hadoop، اطمینان حاصل کنید که سیستم شما دارای پیش‌نیازهای زیر است:
۱. ویندوز ۱۰ یا ۱۱: راهنمای نصب در این مقاله برای ویندوز ۱۰ و ۱۱ طراحی شده است.
۲. Java JDK 8: نصب Java Development Kit نسخه ۸ یا بالاتر ضروری است.
۳. Git Bash: برای اجرای دستورات لینوکسی می‌توانید از Git Bash استفاده کنید.
۴. نرم‌افزار WinRAR یا ۷-Zip: برای استخراج فایل‌های زیپ.
۵. Hadoop نسخه ۳.x: نسخه متن‌باز Hadoop.
مرحله ۱: نصب Java JDK
قبل از هر چیز باید Java JDK را بر روی سیستم خود نصب کنید، چرا که Hadoop برای اجرا به Java نیاز دارد.
۱. به وب‌سایت رسمی [Oracle](https://www.oracle.com/java/technologies/javase-downloads.html) بروید و آخرین نسخه JDK را دانلود کنید.
۲. فایل نصب را اجرا کرده و مراحل نصب را دنبال کنید.
۳. پس از نصب، مسیر JDK را در Environment Variables ویندوز تنظیم کنید:
– به منوی Start رفته و عبارت Environment Variables را جستجو کنید.
– در بخش System Properties، بر روی **Environment Variables** کلیک کنید.
– در بخش System Variables، یک متغیر جدید به نام `JAVA_HOME` ایجاد کرده و مسیر نصب JDK را به عنوان مقدار آن وارد کنید.
– سپس `;%JAVA_HOME%\bin` را به متغیر `Path` اضافه کنید.
۴. برای بررسی نصب، خط فرمان (Command Prompt) را باز کرده و دستور زیر را اجرا کنید:
java -versionاگر نسخه جاوا نمایش داده شد، نصب موفقیت‌آمیز بوده است.
مرحله ۲: دانلود و نصب Hadoop
۱. به وب‌سایت رسمی Apache Hadoop به آدرس [hadoop.apache.org](https://hadoop.apache.org/releases.html) بروید و آخرین نسخه پایدار Hadoop را دانلود کنید.
۲. فایل ZIP دانلود شده را استخراج کرده و آن را در مکانی مانند `C:\hadoop` قرار دهید.
۳. مسیر `C:\hadoop\bin` را به **Environment Variables** اضافه کنید تا دستورات Hadoop در خط فرمان قابل دسترس باشند.
مرحله ۳: پیکربندی Hadoop
برای اجرای Hadoop روی ویندوز، نیاز است که چند فایل تنظیماتی را تغییر دهید:
۱. ویرایش فایل `hadoop-env.cmd`
– به پوشه `C:\hadoop\etc\hadoop` بروید و فایل `hadoop-env.cmd` را باز کنید.
– خط زیر را به آن اضافه کنید:
set JAVA_HOME=C:\Program Files\Java\jdk1.8.0_XXXبه جای `jdk1.8.0_XXX` مسیر دقیق نصب JDK خود را وارد کنید.
۲. تنظیم فایل‌های اصلی پیکربندی
– چهار فایل پیکربندی مهم وجود دارند که باید آن‌ها را تنظیم کنید:
– core-site.xml
– hdfs-site.xml
– mapred-site.xml
– yarn-site.xml
تنظیم فایل `core-site.xml`
به فایل `core-site.xml` در پوشه `C:\hadoop\etc\hadoop` بروید و محتویات زیر را به آن اضافه کنید:
<configuration>
<property>
<name>fs.defaultFS</name>
<value>hdfs://localhost:9000</value>
</property>
</configuration>تنظیم فایل `hdfs-site.xml`
به فایل `hdfs-site.xml` بروید و محتویات زیر را اضافه کنید:
<configuration>
<property>
<name>dfs.replication</name>
<value>1</value>
</property>
<property>
<name>dfs.namenode.name.dir</name>
<value>file:///C:/hadoop/data/namenode</value>
</property>
<property>
<name>dfs.datanode.data.dir</name>
<value>file:///C:/hadoop/data/datanode</value>
</property>
</configuration>تنظیم فایل `mapred-site.xml`
ابتدا فایل `mapred-site.xml.template` را به `mapred-site.xml` تغییر نام دهید و سپس محتوای زیر را اضافه کنید:
<configuration>
<property>
<name>mapreduce.framework.name</name>
<value>yarn</value>
</property>
</configuration>تنظیم فایل `yarn-site.xml`
به فایل `yarn-site.xml` بروید و محتوای زیر را اضافه کنید:
<configuration>
<property>
<name>yarn.nodemanager.aux-services</name>
<value>mapreduce_shuffle</value>
</property>
</configuration>مرحله ۴: تنظیم SSH برای ویندوز
Hadoop به SSH برای ارتباطات داخلی نیاز دارد. برای راه‌اندازی SSH در ویندوز می‌توانید از **OpenSSH** استفاده کنید.
۱. **Git Bash** را باز کنید و دستور زیر را برای ایجاد کلید SSH اجرا کنید:
ssh-keygen -t rsa -P "" -f ~/.ssh/id_rsa
cat ~/.ssh/id_rsa.pub >> ~/.ssh/authorized_keys۲. اطمینان حاصل کنید که SSH Server در ویندوز فعال شده است. می‌توانید از **Services** ویندوز این کار را انجام دهید.
مرحله ۵: فرمت کردن NameNode
قبل از اینکه بتوانید Hadoop را اجرا کنید، باید **NameNode** را فرمت کنید. خط فرمان (Command Prompt) را باز کرده و دستور زیر را وارد کنید:
hdfs namenode -format
مرحله ۶: اجرای Hadoop
پس از انجام تمام مراحل بالا، شما آماده هستید که Hadoop را راه‌اندازی کنید:
۱. NameNode و DataNode را اجرا کنید:
start-dfs.cmd۲. ResourceManager و NodeManager را اجرا کنید:
start-yarn.cmd
با اجرای این دستورات، اگر هیچ خطایی رخ ندهد، Hadoop شما به طور موفقیت‌آمیز روی ویندوز راه‌اندازی شده است.
مرحله ۷: بررسی نصب Hadoop
برای اطمینان از اینکه Hadoop به درستی اجرا می‌شود، مرورگر خود را باز کنید و آدرس‌های زیر را بررسی کنید:
– NameNode UI: [http://localhost:9870](http://localhost:9870)
– ResourceManager UI: [http://localhost:8088](http://localhost:8088)
این رابط‌های کاربری وب اطلاعاتی درباره وضعیت Hadoop و سرویس‌های آن به شما ارائه می‌دهند. اگر بتوانید این صفحات را مشاهده کنید، نصب شما موفقیت‌آمیز بوده است.
نکات پایانی
۱. راه‌اندازی خودکار Hadoop: برای راحتی بیشتر، می‌توانید اسکریپت‌هایی برای راه‌اندازی خودکار سرویس‌های Hadoop بنویسید تا هر بار به صورت دستی آن‌ها را اجرا نکنید.
۲. نصب نسخه‌های جدیدتر: همیشه از آخرین نسخه‌های Hadoop استفاده کنید، زیرا ممکن است دارای بهبودها و رفع اشکالاتی باشند که به عملکرد بهتر و کارآمدتر کمک می‌کنند.
۳. پیکربندی‌های پیشرفته: اگر قصد استفاده از Hadoop برای پردازش داده‌های بزرگ دارید، باید تنظیمات پیکربندی را بر اساس نیازهای خاص خود بهینه‌سازی کنید.
نتیجه‌گیری
نصب و پیکربندی Hadoop بر روی ویندوز شاید کمی پیچیده باشد، اما با رعایت مراحل بالا می‌توانید به راحتی آن را اجرا کرده و از امکانات پردازش داده‌های توزیع‌شده بهره‌مند شوید. با توجه به اینکه Hadoop عمدتاً برای سیستم‌های لینوکسی طراحی شده است، اجرای آن روی ویندوز ممکن است به تنظیمات و تغییرات خاصی نیاز داشته باشد، اما با دقت و رعایت نکات مطرح شده می‌توانید به سادگی آن را نصب و پیکربندی کنید.
اکنون می‌توانید از Hadoop بر روی ویندوز خود برای پردازش داده‌های بزرگ استفاده کنید و از این تکنولوژی قدرتمند بهره ببرید.
