YanCai's some notes

😝

发表于 更新于 本文字数： 1.5k 阅读时长 ≈ 6 分钟

简介

本文将介绍：

  • Python包是什么？
  • 如何安装Python包？
  • 以及Python的常用包管理工具pip(Package Installer for Python)的常用方法和配置方式。
阅读全文 »

发表于 更新于 本文字数： 1.1k 阅读时长 ≈ 4 分钟

简介

  • 假如你有一个比较好的docker镜像怎么发布出来供大家使用呢？
  • 你是否遇到过国外某些镜像很难下载下来呢？
  • 你是否想过拥有一个自己的镜像仓库呢？

本文将介绍如何使用Docker Hub和阿里云的容器镜像服务来创建自己的docker镜像仓库

阅读全文 »

发表于 更新于 本文字数： 2.1k 阅读时长 ≈ 8 分钟

介绍

“工欲善其事，必先利其器” ——《论语·卫灵公》

好的工具对于日常工作效率提升是很有帮助的，以下为我自己总结的一些很有用的好工具，更多的工具将逐步补充完善。

阅读全文 »

发表于 更新于 本文字数： 1.4k 阅读时长 ≈ 5 分钟

简介

本文将介绍分布式部署hadoop方式，各角色部署使用独立的用户

  • HDFS 部署
  • httpfs 部署
  • yarn 部署
  • hive 部署
  • HBase 部署
阅读全文 »

发表于 更新于 本文字数： 1.1k 阅读时长 ≈ 4 分钟

简介

在了解了docker的基本用法以及使用dockerfile构建镜像后，我们可以看起来开森愉快的捣腾docker容器了。
部署个nginx，折腾个tomcat，多版本Python，整个Hadoop等等等等。
爽了一段时间，容器逐渐越来越多时候，就会发现又有了新问题。
比个如，如果要搭建个简单的web服务，使用MySQL数据库（一个容器），使用Python Flask开发web（又一个容器），使用Nginx + uwsgi做反向代理（再一个容器），数据库可能会做读写分离，web服务可能会做高可用或者负载均衡。对于这个常见的场景，最简单那就几个容器一个个启动，彼此间约定好访问的ip或者域名。使用久了就会发现比较麻烦，如果要删除重新拉起一套，一个个查容器id，停止，删除，再启动，容器多了就会超级麻烦。

一个好的办法就是用docker-compose来管理编排多个服务。

本文将简单介绍使用docker-compose编排服务的基本使用方法。

阅读全文 »

发表于 更新于 本文字数： 490 阅读时长 ≈ 2 分钟

简介

本文简介Node.js的安装和npm, yarn的安装与代理配置方法。

阅读全文 »

发表于 更新于 本文字数： 551 阅读时长 ≈ 2 分钟

简介

在了解了docker的基本使用方法后，我们可以通过容器快速准备环境并部署服务。
有些重复性的工作，例如：手动配置一些配置项，安装特定的软件包，使用命令或脚本启动特定服务等等。为了解决这些通用或者重复性的事情，我们可以通过构建一个自己个性化的镜像来固化下来这些环境信息。

本文将简单介绍使用dockerfile构建docker镜像的基本使用方法。
本文以使用ubuntu的镜像为例说明如何根据已有的镜像为基础构建自己需要的镜像。

本例中将演示以Ubuntu 16.04为基础，安装ssh, jdk, vim等软件。

阅读全文 »

发表于 更新于 本文字数： 2.6k 阅读时长 ≈ 9 分钟

分布式 HA HDFS YARN SPARK HBASE部署

本文介绍了支持HA方式的HDFS + YARN + HBase + Spark的部署方式

部署计划

机器环境

操作系统：CentOS-7

默认在/root中执行操作
如果对网络端口设置不熟悉，请先关闭防火墙

阅读全文 »

发表于 更新于 本文字数： 106 阅读时长 ≈ 1 分钟

简介

本文简介如何部署jupyter
jupyter类似web版的ipython，吊炸天，帅爆了，很适合写代码示例或者技术文档

阅读全文 »
0%