Databricks community edition을 쓰자. 바로가기/
내가 spark를 처음 공부하는 사람이거나 찍먹정도 해보려한다 하면 커뮤니티 에디션!
일반으로 가입하면 cloud랑 묶어야하는데 돈이 나갈 수 있다고 한다.
커뮤니티는 14일 사용가능한데 구글계정 돌려막기를 하면 계속 쓸 수 있다고 한다.
구글계정으로 가입을 하고 나서 처음 계정 만들기를 하고 노트북을 생성하려고 한다.
PySpark를 쓸거기 때문에 언어는 Python을 선택하자.
Cluster에 cluster가 없다고 나온다. 일단은 그냥 만들자.
Detached라고 되어있는 곳을 클릭
그러면 Create a Cluster라고 나온다. 클릭
다음과같은 창이 나오는데 Databricks Runtime Version에서 ML정도만 선택해주자.
생성하는데 조금 시간이 걸리니 기다리자.
생성이 완료되면 노트북에 클러스터를 붙여서 사용하자.
거의 jupyter notebook, jupyter lab과 비슷한거같다(?)
+ 추가
cell에 %md, %sql을 붙이면 markdown하고 sql문법 사용가능
사용을 안해서 cluster가 Terminated되면 지우고 새로만들자. (새로 붙이는 방법을 모르겠음;;)
혹시 방법을 아시는분은 알려주세요...