pysparkでデータ加工のプロセスを書いていると。加工処理①→加工処理②→加工処理③のような流れで、加工処理ごとに中間ファイルを出力しておき、途中から（例えば、加工処理①は行わずに、②③のみ）再実行できるようにしたい場合があります。※ビッグデータを扱う場合は、処理時間がかかるため、こういった要件は多いと思います。再実行を行う場合に、スキップしたい箇所をコメントアウトしたりなどの対応を行うと、ミスの原因となるので、<br...

[ 全文を読む ]
2019/11/01 17:08:26   spark

このエントリではRDFチェックツール「rdflint」に実装した、外れ値検証機能の仕様と、その仕様の検討経緯について紹介します。「rdflint」とは、Linked Open Dataと呼ばれる、インターネット上を通じて、機械での処理に適したデータを公開・共有するための技術に、RDF(Resource Description Framework)というデータを記述する枠組みがあるのですが。この枠組みに基づいて記載された...

[ 全文を読む ]
2019/10/13 20:45:55   rdflint

本エントリでは、pysparkからGraphFramesを利用する手順を示します。pyspark REPLからの利用手順と、IntelliJ IDEAで開発環境を設定する手順を示します。GraphFrameshttps://graphframes.github.io/graphframes/do...

[ 全文を読む ]
2019/08/27 00:39:21   pyspark spark python

このエントリでは、Apache Jena FusekiというSPARQLサーバを、Heroku上で運用する手順を示します。但し、ReadOnlyのデータセットのみを対象とします。Apache Jena Fusekihttps://jena.apache.org/documentation/fuseki2/<...

[ 全文を読む ]
2019/08/01 01:49:36   heroku fuseki sparql

先週(2019/7/6)開催された「IM@S Engineer Talks」という、アイドルマスターを好きなIT系エンジニアが集まって、アイマスの話題を通じ、技術分野を超えた情報交換するLT会イベントで、登壇してきました。このエントリではその振り返りを、書こうと思います。IM@S Engineer Talks 2019 | connpass<a href="https://imas.connpass.com/event/1347...

[ 全文を読む ]
2019/07/14 23:29:04   idolmaster

遅くなりましたが、6/12(水)に「Spark Meetup Tokyo #1」と言う「Spark+AI Summit 2019」に参加した方々からの情報共有を目的とした勉強会に参加し、お話を聞いてきたので、メモをまとめておきます。Spark Meetup Tokyo #1 (Spark+AI Summit 2019)<a href="https://spark-meetup-tokyo.connpass.com/event/131791...

[ 全文を読む ]
2019/06/25 19:43:58   spark

gitbookやRe:VIEWのように、成果物がPDFになるリポジトリをGitHubで管理している場合。成果物のPDFをGoogleDriveに共有しておくと、プレビューなどが利用でき確認が便利だと思います。# また、GitHubにアカウントが無い人に確認して貰う運用もやりやすくなります。ここでは、CircleCIを例に、CIで生成した成果物をGoogleDriveに共有する手順を説明します。GoogleDri...

[ 全文を読む ]
2019/06/02 15:07:14   circleci gdrive

きのこるエフエムというPodCastに呼んで頂いた時に、「ソフトウェア開発において、　暫定対処で書いた（汚い）コードはコントロール下に置いておくことが大事」というニュアンスの話をしたのですが。言いっぱなしというのも、良くないと思ったので、このエントリでは、コントロール下に置く手法を、具体的に提案したいと思います。ep2. フルリモートで働くフリーランスエンジニア | kinokoru.fm / きのこるエフエム...

[ 全文を読む ]
2019/06/02 06:24:45   github

今さらですが、Googleの「20%ルール」を話題に上げようと思います。この「20%ルール」というのは、業務時間の２割までを、個人の裁量で通常業務以外の仕事に使って良いと言うルールで。このルールでGoogleが様々な新規サービスを生み出すことが出来たと言われています。このルールを採用すれば、どんな企業でも、様々な新規サービスを生み出すことが出来るかというと。そう簡単な話では無いでしょう。しかし、どんな企業でも、...

[ 全文を読む ]
2019/05/17 00:45:21  

昨日(5/14)、「白金鉱業 Meetup Vol.7」と言うデータ分析・エンジニアリングの勉強会で、お話を聞いて来たので感想などをまとめておきます。白金鉱業 Meetup Vol.7https://brainpad-meetup.connpass.com/event/126945/このイベントは、Br...

[ 全文を読む ]
2019/05/15 04:25:37  

UTF-8のCSVファイルをExcelで開くときに、「インポート」メニューからエンコード・区切りを指定して読み込むのが面倒だったので。Finderのコンテキストメニューに「ShiftJISに変換してCSVを開く」を追加して、これを選ぶとUTF-8のCSVファイルをExcelで開けるように設定してみたので、その手順のメモを残しておきます。利用イメージFinderでUTF-8のCSVファイルを選択して、コンテキ...

[ 全文を読む ]
2019/05/09 13:41:04   automator excel csv

4/14(日)に開催された「技術書典６」で技術同人誌を頒布させて頂きましたが、その際のMicrosoft Wordの設定についてメモを残しておきます。技術書典６で頒布した書籍はこちらからお求め頂けます（宣伝https://takemikami.booth.pm/使用しているWordのVersionは、次の通りです。Microsoft Word f...

[ 全文を読む ]
2019/04/25 20:20:05   msword

4/14(日)に池袋サンシャインシティで開かれた「技術書典６」にサークル参加して、次の２冊の本を頒布させて頂きました。Apache Hadoop & Spark ビッグデータプログラミング入門 ビッグデータの加工や機械学習のためのプログラミングガイドフリーランスの確定申告自動化ガイド 「マネーフォワード クラウド確定申告」の自動化ノウハウALIS IT PUBLISHING | 技術書典６...

[ 全文を読む ]
2019/04/16 23:16:46  

2019/04/01 xlsxの差分表示も追記しましたgit diffで、Word, PowerPoint, Excelのテキスト差分を確認できるようにするための設定手順をまとめました。macos用の手順です。方法は以下のブログ記事で書かれている内容と同じですが、dotfilesで管理することを想定し、ユーザ単位に設定しています。MS Wordで書かれた原稿を...

[ 全文を読む ]
2019/03/27 17:35:16   git

このエントリでは、Databricksで動かすコードを、PyCharmなどのIDEで書きたい場合のノウハウについて示す。Databricksへのソースコードimport/exportは、以下のエントリで記載したが、ローカル環境とDatabricks環境で同じコードが動く訳では無いので、以下の２つの観点で、対応する方法を考える。なるべくローカルでも動くように設定する環境に依存するコードを切り替える</...

[ 全文を読む ]
2019/03/25 13:36:44   databricks