企业官网建设流程全解析

在一段时间之前的时期, 也就是前段时间, 在深圳那里举办了一场社区里面开展的活动, 这次活动中包含有一个叫做“全栈”的演讲环节, 这个演讲的主题内容是讲述关于如何来进行前端程序的编写, 以及服务器端的开发工作, 并且甚至涵盖了数据库领域的开发与构建。

受到了这个启发以后, 我就发现, 有一种编程语言的地位, 它实际上是可以被叫做大数据的全栈开发语言的。为什么会这样叫呢? 主要是因为, 这种语言目前是云计算基础设施, 还有大数据处理这些方面的领域里面, 非常热门并且常用的一种语言选择。

域：流行语言

云基础设施 、Java、Go

shell, 还有ruby以及go这些内容。

网络爬虫 、PHP、C++

数据处理 ， R， Scala

云基础设施这东西, 其实就像是让你去编写一个非常完整而且功能齐全的网页应用程序那样。这个活儿, 说白了并不复杂, 关键就在于你有没有掌握相关的技术能力。只要你真正懂它里面的门道, 那么想要实现一个规模比较大、处理能力很强的大数据处理平台, 也就是完全可以实现得了的事情。

因为这些年, 我一直都不支持那些云平台、海量数据, 还有动态扩容这些玩意儿, 所以我也不敢说我自己是在搞大数据这个事儿, 我最多只敢去告诉别人, 说我是正在做商业智能, 也就是BI。

云平台它分为私有云和公有云。某平台是一个蓬勃发展的私有云平台, 它是由语言编写的。另一平台它曾经是一个追赶者。该平台首先吹嘘它是用Java编写的, 并且比竞品更有优势。在2015年初, 前者的创始人宣布他将加入基金会。而后者的现状是正处于死亡的边缘。

你要是觉得麻烦, 不想自己去搭那个私有的云, 那你可以去用公有的云。你看啊像那种AWS、GCE、Azure、阿里云、青云等等的。这些平台它们都有提供SDK的。

这里面有一个情况需要注意一下的是呢, 就是GCE它只提供和某种东西相关的SDK, 而青云呢它就只提供另外一种特定的SDK。由此我们就可以看出一个现象来了, 那就是说各个不同的云平台都是非常重视这个事情的。

当我们谈起基础设施这个话题的时候, 我们就不得不提到一个情况了, 那就是它现在已经不再是用来处理大数据的首选方案了, 主要原因就在于它的这个数据处理速度还是没办法达到足够快的水平, 可是与此同时呢, 大家又发现HDFS和Yarn这两个具体的组件却是越来越受到大家的欢迎了, 这种技术的官方支持并没有提供现成的帮助, 它主要依靠的开发语言是Java这一事实是存在的, 虽然缺乏官方正式的支持, 但是市场上有很多第三方的库对这些内容进行了封装, 从而把这些API接口给包装好了。

取代的的是Spark，它声称速度快了100倍，它的开发语言是Scala，但它提供了Scala、Java和开发接口。HDFS 的替代品，如 、Ceph 等，都直接提供 支持。作为 Yarn 的替代品，Mesos 是一个 C++ 实现，除了 C++ 之外，它还为 Java 和 提供支持包。

的

有一个中文名称, 它就是叫做开发与自运。在互联网时代这个背景下, 我们要想保持竞争力, 那必须就得做到两件事儿, 第一件是要能够快速地测试新想法, 第二件事就是要能在第一时间把商业价值给安全可靠地交付出去。

所以很提倡那种自动化构建、自动化测试还有自动化部署, 以及系统测量这样子的技术实践, 而这些在如今的互联网时代里面, 是绝对不可或缺的。

如果涉及应用程序的话, 因为存在 pip 、 tox 等工具, 所以构建自动化这件事是很容易实现的。另外, 由于几乎所有的 Linux 系统里面都自带了解释器, 所以根本不需要进行额外的配置就能实现自动化操作, 而且在计算机上也不用预先安装任何其他的软件。

在自动化测试这个领域里面, 基于什么的这个机器人框架, 是目前在企业应用程序方面使用最广的一个自动化测试平台, 它的一个重要特点就在于它是跟开发语言没有直接关系的。同时呢, 市面上还有很多类似的这样的支持者和工具群体。

另外, 那个与之构成直接竞争的对手产品, 同样也能够帮助我们来实现相同级别的自动化能力。除此之外, 还有一个被开始越来越广泛关注的方向, 那就是自动化的性能测试部分, 这一块也正逐渐步入视野中心。

由 Ruby 开发的自动化配置管理工具, 像那个 Chef 还有一些其他的工具, 依然在强力运作。不过, 新一代的某某工具以及另外某某某某工具, 这两者都是拿某个开发语言写出来的, 已经开始给它们的老前辈带来不小的压力了, 因为这些新家伙比前辈要更轻量更简单一些, 并且正变得越来越受大家的欢迎。

在系统监控和测量方面, 传统的做法已经逐渐走向衰落而不再被看重, Sensu等新兴起来的工具越来越受到人们的欢迎与青睐, 以云服务形式存在的New Relic也已经成为各类初创公司在选择时的标准配置, 这些情况的存在并不是通过直接实现的方式达成, 但是将这些工具进行集成操作, 其实并不困难。

除了这些工具之外, 像和Deis这样能够提供全部功能的基于PaaS平台的体系也得到了非常多的关注, 不过它们并没有成为大家目光集中的焦点所在。

网络爬虫

关于大数据是从哪里来的这个问题, 除了部分企业有能力自己去生产海量的信息之外, 在绝大部分的时间点里面, 大家还是得要依赖专门的抓取程序去从互联网上面把那些数据给逮住弄下来, 好用来做分析工作。

从传统上来看, Web 爬虫这个东西是 比较擅长的领域, 现在市面上最流行的各种爬虫框架、HTTP 工具包、HTML 解析工具, 还有像 XML 解析器 lxml 这些组件, 它们全都设计成可以单独拿出来作为独立库使用的样子。

不过, 网络爬虫这项东西, 它远不只是把网页打开然后解析HTML这么简单。真正高效的爬虫工具, 必须要能够支持很多很灵活的并发操作。这种东西往往可以一下子抓取几千个甚至上万个网页。

要是用传统的线程池方法的话, 就会浪费掉特别大量的系统资源, 因为绝大部分的资源都被白白耗费在了管理那成百上千个线程的调度工作上面去了。现在这种技术可以很好地支持协程操作, 并且基于这个协程机制, 已经开发出来了非常多的并发库, 比如一些分布式任务框架之类的应用程序接口。

该公司是最早推出相关版本的企业之一, 它被认为在实际应用中比 AMQP 更具效率。凭借其对高并发场景的支持能力, 使得网络爬虫得以在实际运作中达到处理大数据的规模。

需要对捕获过来的数据实施分割这个动作, 而在进行数据分割这一方面, 也是没有表现出任何不如别人的地方, 那个非常有名的对于自然语言处理功能有所支持的包叫NLTK, 以及专门用来对中文文本进行分词处理的杰巴, 二者也都是在进行文本分词时非常强大且有效的工具。

数据处理

所有的东西都已经准备得非常完善了, 只差那个重要的东风了。这个大家所说的东风, 其实就是指数据处理算法这个东西。

从那个统计理论开始, 一直到数据挖掘, 再到机器学习, 又或者是近年来新提出来的那个深度学习理论, 数据科学这个行业发展得那叫一个火热和兴盛。那么问题来了, 数据科学家在编程的时候到底使用的是什么语言来进行开发的。

在搞理论研究的那个圈子里, R语言是数据科学家最爱用的语言之一。但是呢，R语言有个很大的毛病, 因为它是统计学家设计出来的, 所以它的语法看着有点别扭, 不够规矩。

另外一点就是, 如果要用R去开发那种能处理很多数据的大规模分布式系统的话, 得花特别长的功夫, 时间拖得太久。因此好多公司都采用这样的做法, 就是用R语言先做一些原型, 弄个小实验玩一玩。等那些算法确定好了以后, 再把它们移植过去, 换成更适合写工程代码的语言来实现。

这个语言也是数据科学家最喜欢使用的语言之一。与R不同, 它本身是工程领域里使用的语言。当数据科学家在这个语言里编写好算法的时候, 他们可以直接把这些算法用到最终产品中去。这种方式对于那些想要节省开支的大数据创业项目来说, 是非常有好处的。

官方的说法表明, 因为数据科学家们对这个语言和R语言都非常喜欢, 所以Spark平台专门为这两种语言提供了非常好的支持功能, 目的是为了让大家感到满意。另外, 这里面还有很多。

那些跟处理数据有关的类库。名字叫做 NumPy 以及名字叫做 SciPy 的高性能的科学计算类库, 为别的高级算法提供了特别好的基础, 让画图像这个事情变得简单得如同易如反掌一般。

机器学习算法中的许多种被名为 -learn 的类库以及名为 Milk 的类库所实现了, 而基于这两个类库的那些东西, 在深度学习那个领域里面是重要的成员。它使用 GPU 加速来实现了高性能的数学符号计算以及多维矩阵的计算。

当然, 还有另一个已经在工程中广泛使用的大数据处理库, 这个库的借鉴对象是 R 语言, 它后来启发了 Spark 项目去实现类似的机制。

顺便说一句, 还有啊, 一个非常有用并且我差点忘了把它当作标准库来介绍的那样的工具。它实际上是一个非常实用的交互式运行环境, 这个东西可以支持您查看实时每段代码运行的结果。

一般情况下这个工具是在命令行上去运行这个操作的, 然后另外您也可以选择在网页上运行那个笔记本的形式。如果您使用了该工具来进行绘图操作的话, 那么所绘制出来的那些图形是能够直接嵌入到对应的笔记本文件里面去进行显示的。

他的笔记本文件是可以和其他人共享的, 这么做的目的就是为了方便另外的人可以在他们自己的环境当中把您所做的工作给重新做一遍；要是对方那一边没有运行相应的环境的话, 那么也是可以把它直接转化成HTML格式或者是PDF格式的。

大家会问, 为啥要做出这样的选择。

说白了, 就是因为那些负责写程序的工程师、负责维持系统正常运转的运维人员, 还有那些搞数据分析的科学家, 他们对这门语言有一种发自内心的喜欢和投入, 所以它就顺理成章地成为了能够搞定大数据系统里从底层到上层所有开发工作的一种全栈式的编程语言。

对于开发工程师而言, 优雅和简单毫无疑问是其最大的吸引力。在交互环境里, 如果你去执行导入这个动作, 去阅读禅宗相关内容, 你就会明白它为什么如此吸引人。社区一直以来都相当有活力。

与社区包的爆发式增长不同, 核心包的增长速度一直比较稳定, 并且包的质量也比较高。有许多人批评它对空格的要求过于严格。但正是因为有了这个要求, 它在大型项目方面才比其他语言更具优势。这一点得到了证明, 原因在于项目当中的代码总数量, 具体而言超过二百萬行。

对运维工作人员来讲, 最厉害的地方就在于, 大多的那个 Linux 操作系统发行版本里面, 都带着一个系统内置的那个解析执行器, 尽管这个 shell 工具特别强悍, 不过它的语法结构并不怎么漂亮, 要是去编写那些更加复杂的处理任务的话, 会让人觉得十分痛苦, 所以, 让另外一种更高级的语言来顶替那个 shell 去干一些复杂的活儿, 这对运维工作人员来说, 绝对算是一种从繁重工作中的解脱和解放。

对于数据科学家来说, 它是简单而强大的。和C语言或者是C++语言做对比的话, 大家不需要去做那些大量的底层方面的工作, 模型方面的验证工作能够非常快速地完成。和Java语言进行对比的话, 它的语法表现得很简洁, 表达能力也很强, 干同样一份工作需要用的代码量只有原来的三分之一。

和某些没有明确写出来的系统或者工具进行对比的话, 它具备更加出色的工程成熟度水平。不止一位编程大师表示, 某种语言是最适合大学计算机科学编程课程的语言。比如麻省理工学院的计算机科学入门课程就是使用这种语言的。因为这种语言可以教给人们编程中最重要的东西, 也就是如何解决问题。