技術の進歩とともに需要が高まるビッグデータとHadoop
2011年頃から日本で一気に注目を集め始めた「ビッグデータ」。分散データ処理システムApache Hadoop（以下Hadoop）は、ビッグデータを処理するための基盤として広く使われるようになりました。
米国でもニーズが高まるHadoopエンジニア、こちらの記事によるとカリフォルニアのある企業に務めるHadoopエンジニアは、年収25万ドル（2015年当時の通貨レートで3,000万円）にも及ぶそうです。
本記事では、日本におけるHadoopエンジニアの需要や案件の状況、フリーランスでHadoopエンジニアが活躍するためには何が必要なのかについてまとめました。
Hadoop技術の活躍の場
10年前に登場した時点では、バッチ処理が主な使い道だったHadoopが、現在では「ビッグデータ」の分析基盤として大きなスポットが当たるようになりました。
- バッチ処理
- ビッグデータ分析基盤
- エンタープライズデータハブ
- 業務システムの一部（バックエンド）
など、Hadoop活用の幅はこの10年で徐々に広がってきています。
フリーHadoopエンジニアのニーズと、案件の傾向
ビッグデータのビジネス活用が始まり、開発の現場でもHadoopが使える人材の需要が年々高まってきています。
案件単価
注目したいのはその案件単価。FAworksで扱うHadoop関連の案件においても、単価は70万円〜80万円の案件が半数以上を占めています。大企業から発注があることも多いため、単価が100万円を超えるプロジェクトも珍しくありません。
ただし、案件の数としては多くはありません。フリーランスとして継続的に稼いでいくためには、Hadoop単体の技術で案件を取るというよりも、Hadoopを大きな武器としつつ、かつ関連性・汎用性の高いPythonやJavaなどのスキルと合わせながら高単価の案件を獲得していくことを目指した方が良さそうです。
案件傾向
2016年段階では、ビッグデータ関連の案件が主流です。大規模データの加工と変数作成処理のほか、データ分析者とチームになって解析を行うこともあります。
大手からの案件が多い
大規模データ向けの分析基盤を開発するという性質上、大手Web系企業が常駐先となる案件が珍しくありません。大手企業の研修を社員と一緒に受けることができる場合もあり、スキルアップやキャリアアップに繋がる可能性があります。
ビッグデータ処理・解析はアドテク系の企業が必要とすることも多く、アドサーバの構築、プライベートDMPサーバサイド開発などが業務になる可能性も十分あります。マーケティングやインターネット広告界隈に興味がある人は、エンジニア以外の分野の知識を得られるチャンスがあると言えるでしょう。
仕事で要求されるスキルがハイレベル
特に高単価な案件では、ハイレベルな知見を求められることが多々あります。Hadoopを中心とした各種ミドルウェアのバージョンアップ、バグフィックス、パラメータ調整を始め、Ansibleなどを利用した構成管理能力、データ解析側のPythonなどの技術を必要とすることもあります。Hadoopを用いた実務経験が最低でも数年ないと厳しい案件も多いです。
一方、案件の中には「Hadoopやビッグデータに興味があるPython・Java・PHPエンジニア」を募集しているケースもあります。
Hadoopを扱えるエンジニアの数が現状少なく、またこれからも需要が高まる分野のため、「Hadoop未経験でも若い意欲的なエンジニアを採用して育てたい」という意識を持っている企業も多く存在します。ビッグデータやHadoopに興味がある若いエンジニアにとってはチャンスかもしれません。
プロジェクト規模が大きい
プロジェクト規模は大きめで、チーム人数が10人以上になることもあります。要求されるスキルがハイレベルのため、経験豊富なメンバーを集める必要があり、メンバーの年齢は高めになることが多いです。落ち着いた雰囲気のなかで働くことができるでしょう。
長期契約も多い
少なくとも1年以上のプロジェクトが多く、プロジェクト終了後も継続となる場合がよくあります。安定した収入源を探している人にもおすすめです。
Hadoopエンジニアの年収
エンジニアの中でもデータベースエンジニアは高収入な傾向にありますが、Hadoopを扱えるエンジニアの年収は更に高い傾向にあります。より専門性を必要とし、現時点では需要が供給をはるかに上回っているのが主な理由でしょう。
日本国内でHadoopエンジニアの平均年収は、約800万円と言われています。会社員でも年収400万円以下という人はほぼ皆無で、1000万円を越える人も決して珍しくありません。ビッグデータ系ではトップクラスですし、データベース系の二大巨頭OracleやSQL Serverをもしのぐ勢いがあります。
冒頭で少し触れましたが、Hadoopは現在海外での需要も高いです。ある程度エンジニアとしてのキャリアを国内で積んだ方は、アメリカなどで挑戦できると更なるキャリアアップ・収入アップが見込めるでしょう。
フリーで高単価案件を得るのに、有利に働く経験やスキル
もともと単価は高めのHadoopエンジニアですが、プラスアルファのスキルがあればさらに高単価の案件を得ることも夢ではないでしょう。
アドテク系の経験
アドテク系求人も多いので、ネット広告に関連した経験は有利です。DSP、SSP、DMPなどの広告配信等のプラットホームに関するスキルを活かすこともできます。
ミドルウェアの経験
Hadoopに限らずデータベース管理システム、トランザクションモニターなどの何らかのミドルウェアの開発に関わったがある人も、経験が有利に働くでしょう。
習得しておきたい言語
Hadoop上で動くアプリケーションはPython、Java、Ruby、R、C＋＋、Scalaなどで記述されています。いずれかひとつは、習得しておくことが必須ともいえます。とくにRなどの統計解析言語、データベース言語SQLのスキルを求める企業は多いです。もし複数の言語を使いこなすことができるのであれば、より高い評価を得ることができるでしょう。
ビッグデータ分析の経験
Hadoopは何らかのビッグデータにかかわる案件がほとんどです。大規模データの加工処理業務経験者は歓迎されます。たとえばAWSやその周辺知識である、HiveやMahoutを習得していればさらに良いでしょう。
コミュニケーション能力も重視される
大規模チームでの仕事も多いため、コミュニケーション能力も重視される傾向です。しかし「コミュニケーション力があれば外国籍でも大歓迎」という企業も多く、門戸は開かれています。国際的なプロジェクトも結構あるため、英語力や海外経験が買われることもあります。技術力と語学力を兼ね備えた人材ならば、かなり高い評価を得られるかもしれません。
大企業出身者
Hadoopは大企業主体のプロジェクトも少なくありません。とくに日本の大企業には独特の企業文化も多く、そういったものにある程度慣れている人が歓迎されることもあります。大企業を辞めてフリーランスになった人も、その経歴を活かすことができるのではないでしょうか。
長期プロジェクトの経験
Hadoopプロジェクトはどうしても長期になりがちです。長い年月にわたってほぼ同じメンバーで仕事を進めていくこと自体、長年フリーランスで仕事をしてきたエンジニアの中には苦手としている人もいるかもしれません。
ただしメンバーを採用する段階では、過去に長期プロジェクトを問題なく完遂することができたのかという点も重視されます。要するに、円滑な人間関係を長期にわたって築いていける人材が求められているのです。
COBOLエンジニアとHadoop技術
IT関連の技術は日進月歩です。かつては花形として活躍していた最新技術のエンジニアも、いつしか古びたものになってしまうのは、残酷ですが仕方のないこと。しかし、「何度でも蘇る」ことが可能なことを示唆したHadoopの功績はもっと評価されるべきかもしれません。
COBOLの未来への不安
50年以上前に誕生したCOBOLですが、現在でも政府機関、金融機関、電力会社、半官半民企業などのメインフレームで動いていることがあります。今後、COBOLによる大規模開発はないかもしれませんが、システムの仕様変更などの仕事はある程度あると予想されます。まったく仕事がなくなってしまうことはないかもしれませんが、未来に不安を感じているCOBOLエンジニアは少なくないはずです。実際、IT業界から引退する人も多く、COBOLエンジニアは年々減少しています。
COBOLをめぐる独特の進化
衰退の一途をたどっているかのようにもみえるCOBOLですが、この50年間つねに各種の最新技術に対応するという独自の進化を遂げてきました。たとえば、Visual COBOLを使用すればAndroidアプリをCOBOLで作ることも可能です。汎用機で動いていたCOBOLをAndroidタブレットで走らせるというのはたしかにある意味感動的ではありますが、ビジネスにどう結びつけていくかは疑問が残ります。
COBOLとHadoopとの出会い
つねに話題の技術に対応してきたCOBOLなので、Hadoopに触手を伸ばさないわけがありません。オープン系のPython、Java、Rubyなどはいち早くHadoopに対応してきたのでとくに話題にもなりませんでしたが、HadoopにNetCOBOLが対応し、IT業界が騒然となったニュースを記憶している人も少なくないのではないでしょうか。
COBOLエンジニアの新たな可能性
COBOLがHadoopに対応したことによって、バッチ処理も高速化し、データ活用がより手軽になりました。ビッグデータ関連のニーズでは、じつはこの「データ活用」が半分以上を占めているともいわれています。今後はHadoop界隈でのCOBOLエンジニアの求人も増加すると考えられます。全体数が減少しつつあるだけに、Hadoopの知識を深めておけば引く手あまたの可能性大です。
COBOLエンジニアは平均年齢も高めですが、年齢不問も多いHadoop求人では問題なさそうです。COBOLエンジニアならば官公庁や大企業での経験豊富な人も少なくなさそうですが、むしろそういったキャリアこそ求められているともいえます。ぜひHadoopに関する見識を深めておくことをおすすめします。
まとめ
「定年が早い」なんてよく言われるITエンジニアですが、経験を積み重ねなければできない仕事もあります。
Hadoop界隈は専門知識とスキルを積み上げた一部の人にしか出来ない領域。これまでのキャリア、人脈の集大成となるようなビッグプロジェクトとの出会いもあるかもしれません。逆に、若くて学習意欲が高い方は、将来フリーランスとしての価値を大きく上げるためにも今からチャレンジしておくのが良いかもしれませんね。
