招生对象: 关于举办以“三位一体”的核心理念解析GJB9001C标准 各有关单位: 中国科学院计算技术研究所是国家专门的计算技术研究机构,同时也是中国信息化建设的重要支撑单位,中科院计算所培训中心是致力于高端IT类人才培养及企业内训的专业培训、机构。中心凭借科学院的强大师资力量,在总结多年大型软件开发和组织经验的基础上,先后为国家培养了数万名计算机专业人员,并先后为数十家大型国内外企业进行过专门的定制培训、服务。 本标准为承担军队装备及配套产品论证、研制、生产、试验、维修和服务任务的组织规定了质量管理体系要求,并为实施质量管理体系评定提供了依据。本课程按照国际通行的过程方法、PDCA循环和基于风险的思维“三位一体”的核心理念,从过程的角度系统地解析GJB9001C标准要点,并利用大量案例进行剖析,以便使学员在充分理解标准要求的同时,培养崭新的质量管理理念和方法。 中科院计算所培训中心定于2018年5月9日至5月11日在北京举办《以“三位一体”的核心理念解析GJB9001C标准》培训班。具体事宜通知如下: 一、培训对象 总经理、管理者代表、总质量师、质量部长、质量管理人员、内审员、各部门经理及管理人员。 二、师资 侯老师 航空工业资深质量管理专家。教授级高工、国家注册审核员、GE公司客户精益六西格玛黑带、中国航空工业质量专家库成员。 长期在陕西、深圳和北京等中国航空工业企事业单位任职,先后分别担任技术管理、生产管理和质量管理等部门经理和副总,积累了丰富的工程技术经验和管理经验,并讲授300多场企业管理课程。 曾为等众多企事业单位提供有关培训服务,涉及的行业包括航空、航天、船舶、兵器、核工业、电子、汽车、风电、锻铸造、材料、软件、互联网、家电、运营商等。 三、培训内容 四、费用 培训费:5800元/人(含教材、证书、午餐、学习用具等)。住宿协助安排,费用自理。 五、时间、地点 时间:2018年5月9日-5月11日 地点:北京 六、证书 中科院计算所职业培训中心“GJB9001C内审员”资格证书。
招生对象: 关于举办“Python和R数据挖掘技术-基于Python和R语言的数据挖掘和统计分析技术”培训的通知 各有关单位: 中国科学院计算技术研究所是国家专门的计算技术研究机构,同时也是中国信息化建设的重要支撑单位,中科院计算所培训中心是致力于高端IT类人才培养及企业内训的专业培训机构。中心凭借科学院的强大师资力量,在总结多年大型软件开发和组织经验的基础上,自主研发出一整套课程体系,其目的是希望能够切实帮助中国软件企业培养高级软件技术人才,提升整体研发能力,迄今为止已先后为国家培养了数万名计算机专业人员,并先后为数千家大型国内外企业进行过专门的定制培训服务。 随着互联网、移动互联网和物联网的发展,我们已经切实地迎来了一个大数据的时代。如何对海量数据进行挖掘和分析,已经成为一个非常重要且紧迫的需求。 R是一个用于统计计算和统计制图的优秀工具,也是GNU的一个自由、免费、源代码开放的软件。R包括一套完整的数据处理、计算和制图软件系统。其功能包括:数据存储和处理系统,数组运算工具(其向量、矩阵运算方面功能尤其强大),完整连贯的统计分析工具,优秀的统计制图功能。 Python是一个数据分析和图形显示的程序设计环境,用于统计分析、绘图的语言和操作环境。Python有简便而强大的编程语言:可操纵数据的输入和输入,可实现分支、循环,用户可自定义功能。 本培训将对基于Python和R语言进行数据处理、数据探索的基本方法,利用R语言实现模型选择、Logistic回归及决策树算法,以及贝叶斯算法及支持向量机、神经网络等算法原理及实现进行讲解。具体事宜通知如下: 一、培训对象 1,系统架构师、系统分析师、高级程序员、资深开发人员。 2,牵涉到数据挖掘和统计分析的数据中心运行、规划、设计负责人。 3,政府机关,金融保险、移动和互联网等大数据来源单位的负责人。 4,高校、科研院所牵涉到数据挖掘与统计分析处理的项目负责人。 1,对IT系统设计有一定的理论与实践经验。 2,对数据挖掘和数据处理方法有一定的基础知识。 3,对Hadoop/Spark等大数据技术有一定的了解。 三、师资 由业界知名大数据专家亲自授课: 杨老师 主要研究网络信息分析以及云计算相关技术,长期从事通信网管系统、网络信息处理、商务智能(BI)以及电信决策支持系统的研究开发工作,主持和参与了多个国家和省部级基金项目,具有丰富的工程实践及软件研发经验。 四、培训内容 讲 数据挖掘,Python和R简介 1.1数据挖掘 1.2Python语言 1.3 R语言 1.4 Iris数据集 1.5 Bodyfat数据集 第二讲 数据的导入与导出 2.1 R数据的保存与加载 2.2 CSV文件的导入与导出 2.3 通过ODBC从数据库中读取数据 2.4 从Excel中导入与导出数据 2.5 Python的数据操作 第三讲 数据可视化展现 3.1 查看数据 3.2 单个变量展现 3.3 多个变量展现 3.4 更多探索 3.5 将图表保存到文件中 第四讲 决策树与随机森林 4.1 使用party包构建决策树 4.2 使用rpart包构建决策树 4.3 随机森林 4.4 Python中的决策树实现 4.5 Python决策树实例 第五讲 回归分析 5.1 线性回归 5.2 逻辑回归 5.3 广义线性回归 5.4 非线性回归 5.5 Python中的回归实现 5.6 Python回归实例 第六讲 聚类分析 6.1 k-means聚类 6.2 k-medoids聚类 6.3 层次聚类 6.4 基于密度的聚类 6.5 Python中的聚类实现 6.6 Python聚类实例 第七讲 离群点检测 7.1 单变量的离群点检测 7.2 局部离群点因子检测 7.3 用聚类方法进行离群点检测 7.4 时间序列数据的离群点检测 7.5 Python中的孤立点实例 第八讲 时间序列分析 8.1 R中的时间序列数据 8.2 时间序列分解 8.3 时间序列预测 8.4 时间序列聚类 8.5 时间序列分类 8.6 Python中的时间序列实例 第九讲 关联规则 9.1 关联规则的基本概念 9.2 Titanic数据集 9.3 关联规则挖掘 9.4 消除冗余 9.5 解释规则 9.6 关联规则的可视化 9.7 Python中的关联规则实例 第十讲 社交网络分析 10.1 词项网络 10.2 推文网络 10.3 双模式网络 10.4 Python中的社交网络分析实例 五、培训目标 1, 全面了解Python和R语言数据挖掘的相关知识。 2,学习Python和R的数据挖掘核心技术方法以及应用特征。 3,深入使用Python和R在数据挖掘和分析中的使用。 六、时间、地点 时间: 2018年4月10日-4月12日 地点:北京 2018年5月16日-5月18日 地点:上海 七、证书 培训结束,颁发中科院计算所职业培训中心“Python和R数据挖掘技术-基于Python和R语言的数据挖掘和统计分析技术”结业证书。 八、费用 培训费:5800元/人(含教材、证书、午餐、学习用具)。住宿协助安排,费用自理。
招生对象: 关于举办“Python语言基础及数据分析技术”培训的通知 各有关单位: 中国科学院计算技术研究所是国家专门的计算技术研究机构,同时也是中国信息化建设的重要支撑单位,中科院计算所培训中心是致力于高端IT类人才培养及企业内训的专业培训机构。中心凭借科学院的强大师资力量,在总结多年大型软件开发和组织经验的基础上,自主研发出一整套课程体系,其目的是希望能够切实帮助中国软件企业培养高级软件技术人才,提升整体研发能力,迄今为止已先后为国家培养了数万名计算机专业人员,并先后为数千家大型国内外企业进行过专门的定制培训服务。 Python是一种面向对象、解释型计算机程序设计语言,Python是纯粹的自由软件,源代码和解释器CPython遵循 GPL协议。是一个用于统计计算和统计制图的优秀工具,也是GNU的一个免费、源代码开放的软件。 Python语法简洁清晰,Python具有丰富和强大的库。能够把用其他语言制作的各种模块(尤其是C/C )很轻松地联结在一起。 Python包括一套完整的数据处理、计算和制图软件系统;简便而强大的编程语言:可操纵数据的输入和输入,可实现分支、循环,用户可自定义功能。 本培训将对基于Python语言进行数据处理、数据探索的基本方法,并对Python语言算法原理及实现进行讲解。 一、培训对象 1,系统架构师、系统分析师、高级程序员、资深开发人员。 2,牵涉到网络采集、处理和规划的负责人、设计人员。 3,政府机关,金融保险、移动等以互联网信息为数据来源单位的负责人。 4,高校、科研院所牵涉到网络数据采集与数据处理及展现的项目负责人。 二、学员基础 1,对IT系统设计有一定的理论与实践经验。 2,有一定的python基础知识和开发经验。 3,有一定的数据仓库与数据挖掘处理的知识。 三、师资 由业界知名大数据专家亲自授课: 杨老师 主要研究网络信息分析以及云计算相关技术,长期从事通信网管系统、网络信息处理、商务智能(BI)以及电信决策支持系统的研究开发工作,主持和参与了多个国家和省部级基金项目,具有丰富的工程实践及软件研发经验。 四、培训内容 讲 基础知识 1)Python快速入门 2)Python安装与使用 3)使用pip管理扩展库 4)Python基础知识 5)Python代码编写规范 第二讲 Python数据结构 1)列表的创建与操作 2)元组的创建与删除 3)字典元素的读取 4)集合的创建与操作 5)其他数据结构 第三讲 选择与循环 1)运算符与条件表达式 2)选择与分支结构 3)循环结构 4)break和continue语句 5)综合运用 第四讲 字符串与正则表达式 1)字符串常用方法 2)字符串常量 3)正则表达式 4)子模式与match对象 5)表达式综合运用 第五讲 函数设计与使用 1)函数定义 2)形参与实参 3)参数类型 4)return语句 5)变量作用域 6)lambda表达式 第六讲 面向对象程序设计 1)类的定义与使用 2)类的方法 3)类的属性 4)类的特殊方法 5)继承机制 第七讲 文件操作 1)文件基本操作 2)文本文件基本操作 3)二进制文件操作 4)文件操作 5)目录操作 第八讲GUI编程 1)Frame和Controls 2)ToolBar和StatusBar 3)RadioButton、CheckBox和ComboBox 4)ListBox和TreeCtrl 5)Boa constructor 第九讲 数据库编程 1)SQLite应用 2)Connection对象 3)Cursor对象 4)Row对象 5)访问其他类型数据库 第十讲 科学计算与可视化 1)NumPy简单应用 2)SciPy简单应用 3)常数与特殊函数 4)SciPy简单应用 5)Matplotlib简单应用 第十一讲 大数据处理 1)大数据框架 2)MapReduce编程 3)MapReduce案例 五、培训目标 1,全面了解Python语言的相关知识。 2,学习Python的核心技术方法以及应用特征。 3,深入使用Python在数据分析中的使用。 六、培训时间、地点 时间: 2018年4月16日-4月18日 地点:北京 七、证书 培训结束,颁发中科院计算所职业培训中心“Python语言基础及数据分析技术”结业证书。 八、费用 培训费:5800元/人(含教材、证书、午餐、学习用具等)。住宿协助安排,费用自理。
招生对象: 关于举办“大数据分析挖掘-基于Hadoop/Mahout/Mllib的大数据挖掘(含Spark、Storm和Docker应用介绍)”培训的通知 各有关单位: 中国科学院计算技术研究所是国家专门的计算技术研究机构,同时也是中国信息化建设的重要支撑单位,中科院计算所培训中心是致力于高端IT类人才培养及企业内训的专业培训机构。中心凭借科学院的强大师资力量,在总结多年大型软件开发和组织经验的基础上,自主研发出一整套课程体系,其目的是希望能够切实帮助中国软件企业培养高级软件技术人才,提升整体研发能力,迄今为止已先后为国家培养了数万名计算机专业人员,并先后为数千家大型国内外企业进行过专门的定制培训服务。 随着互联网、移动互联网和物联网的发展,我们已经切实地迎来了一个大数据的时代。大数据是指无法在一定时间内用常规软件工具对其内容进行抓取、管理和处理的数据集合,对大数据的分析已经成为一个非常重要且紧迫的需求。目前对大数据的分析工具,首选的是Hadoop/Yarn平台。Hadoop/Yarn在可伸缩性、健壮性、计算性能和成本上具有无可替代的优势,事实上已成为当前互联网企业主流的大数据分析平台。为解决广大系统设计人员深入研究与开发大数据技术的需要,培训中心特在“大数据处理技术-基于Hadoop/Yarn的实战”课程的基础上,针对已有或即将建立Hadoop/Yarn集群,拥有海量数据,需要做用户推荐、产品聚类,信息分类等大数据分析用户,举办“大数据分析挖掘-基于Hadoop/Mahout/MLlib的大数据挖掘”培训班,具体事宜通知如下: 一、培训对象 1,系统架构师、系统分析师、高级程序员、资深开发人员。 2,牵涉到大数据处理的数据中心运行、规划、设计负责人。 3,政府机关,金融保险、移动和互联网等大数据来源单位的负责人。 4,高校、科研院所牵涉到大数据与分布式数据处理的项目负责人。 二、学员基础 1,对IT系统设计有一定的理论与实践经验。 2,数据仓库与数据挖掘处理有一定的基础知识。 3,对Hadoop/Yarn/Spark大数据技术有一定的了解。 三、师资 由业界知名大数据专家亲自授课: 杨老师 主要研究网络信息分析以及云计算相关技术,长期从事通信网管系统、网络信息处理、商务智能(BI)以及电信决策支持系统的研究开发工作,主持和参与了多个国家和省部级基金项目,具有丰富的工程实践及软件研发经验。 四、培训要点 互联网点击数据、传感数据、日志文件、具有丰富地理空间信息的移动数据和涉及网络的各类评论,成为了海量信息的多种形式。当数据以成百上千TB不断增长的时候,我们在内部交易系统的历史信息之外,需要一种基于大数据分析的决策模型和技术支持。 大数据通常具有:数据体量(Volume)巨大,数据类型(Variety)繁多,价值(Value)密度低,处理速度(Velocity)快等四大特征。如何有效管理和高效处理这些大数据已成为当前亟待解决的问题。大数据处理意味着更严峻的挑战,更好地管理和处理这些数据也将会获得意想不到的收获。 Google发布的GFS和MapReduce等高可扩展、高性能的分布式大数据处理框架,证明了在处理海量网页数据时该框架的优越性。在此基础上,Apache Hadoop开源项目开发团队,克隆并推出了Hadoop/Yarn系统。该系统已受到学术界和工业界的广泛认可和采纳,并孵化出众多子项目(如Hive,Zookeeper和Mahout等),日益形成一个易部署、易开发、功能齐全、性能优良的系统。在此基础上,以Berkley牵头设计的Spark/BDAS技术,实现了内存级别的分布式处理模式,使用户无需关注复杂的内部工作机制,无需具备丰富的分布式系统知识及开发经验,即可实现大规模分布式系统的部署与大数据的并行处理。 本课程从大数据挖掘分析技术实战的角度,结合理论和实践,全方位地介绍Mahout和 MLlib等大数据挖掘工具的开发技巧。本课程涉及的主题包括:大数据挖掘及其背景,Mahout和 MLlib大数据挖掘工具,推荐系统及电影推荐案例,分类技术及聚类分析,以及与流挖掘和Docker技术的结合,分析了大数据挖掘前景分析。 本课程教学过程中还提供了案例分析来帮助学员了解如何用Mahout和 MLlib挖掘工具来解决具体的问题,并介绍了从大数据中挖掘出有价值的信息的关键。 本课程不是一个泛泛的理论性、概念性的介绍课程,而是针对问题讨论Mahout和 MLlib解决方案的深入课程。教师对于上述领域有深入的理论研究与实践经验,在课程中将会针对这些问题与学员一起进行研究,在关键点上还会搭建实验环境进行实践研究,以加深对于这些解决方案的理解。通过本课程学习,希望推动大数据分析挖掘项目开发上升到一个新水平。 五、培训内容 讲大数据挖掘及其背景 1)数据挖掘定义 2)Hadoop相关技术 3)大数据挖掘知识点 第二讲 MapReduce/DAG计算模式 1)分布式文件系统DFS 2)MapReduce计算模型介绍 3)使用MR进行算法设计 4)DAG及其算法设计 第三讲 云挖掘工具Mahout/MLib 1)Hadoop中的Mahoutb介绍 2)Spark中的Mahout/MLib介绍 3)推荐系统及其Mahout实现方法 4)信息聚类及其MLlib实现方法 5)分类技术在Mahout/MLib中的实现方法 第四讲 推荐系统及其应用开发 1)一个推荐系统的模型 2)基于内容的推荐 3)协同过滤 4)基于Mahout的电影推荐案例 第五讲 分类技术及其应用 1)分类的定义 2)分类主要算法 3)Mahout分类过程 4)评估指标以及评测 5)贝叶斯算法新闻分类实例 第六讲 聚类技术及其应用 1)聚类的定义 2)聚类的主要算法 3)K-Means、Canopy及其应用示例 4)Fuzzy K-Means、Dirichlet及其应用示例 5)基于MLlib的新闻聚类实例 第七讲 关联规则和相似项发现 1)购物篮模型 2)Apriori算法 3)抄袭文档发现 4)近邻搜索的应用 第八讲 流数据挖掘相关技术 1)流数据挖掘及分析 2)Storm和流数据处理模型 3)流处理中的数据抽样 4)流过滤和Bloom filter 第九讲 云环境下大数据挖掘应用 1)与Hadoop/Yarn集群应用的协作 2)与Docker等其它云工具配合 3)大数据挖掘行业应用展望 六、培训目标 1, 全面了解大数据处理技术的相关知识。 2,学习Hadoop/Yarn/Spark的核心数据分析技术。 3,深入学习Mahout/MLlib挖掘工具在大数据中的使用。 4,掌握Storm流处理技术和Docker等技术与大数据挖掘结合的方法。 七、培训时间、地点 时间: 2018年5月30日-6月1日 地点:北京 八、证书 培训结束,颁发中科院计算所职业培训中心“大数据分析挖掘-基于Hadoop/Mahout/MLlib的大数据挖掘”结业证书。 九、费用 培训费:5800元/人(含教材、证书、午餐、学习用具等)。住宿协助安排,费用自理。
招生对象: 关于举办“大数据可视化技术与应用”培训的通知 各有关单位: 中国科学院计算技术研究所是国家专门的计算技术研究机构,同时也是中国信息化建设的重要支撑单位,中科院计算所培训中心是致力于高端IT类人才培养及企业内训的专业培训机构。中心凭借科学院的强大师资力量,在总结多年大型软件开发和组织经验的基础上,自主研发出一整套课程体系,其目的是希望能够切实帮助中国软件企业培养高级软件技术人才,提升整体研发能力,迄今为止已先后为国家培养了数万名计算机专业人员,并先后为数千家大型国内外企业进行过专门的定制培训服务。 在大数据时代,随着互联网、移动互联网以及传感技术的发展,数据的采集、存储、传输、处理、发布变得越来越便捷。当可获取的数据量远远超过常规处理能力时,如何辨识并理解数据,如何将数据转化成更容易、更迅速探索的形式,从而发现有价值的信息,就成为大数据时代迫切需要解决的问题。由此,数据可视化成为一项普遍且迫切的需求,直接影响到了数据的使用效果和利用率。为解决广大数据工作者以及与数据相关的行业中对数据可视化设计的需求,培训中心特举办“大数据可视化技术与应用”培训班,具体事宜通知如下: 一、培训对象 1.数据分析、数字新闻、网络媒体等领域的需求提供方、项目规划与项目管理人员和研发人员。 2.政府机关,金融保险、移动和互联网等大数据来源和发布单位的负责人。 3.数据中心的数据管理、数据维护和数据服务人员。 4. 与大数据相关的产品研发、设计人员。 5. 高校、科研院所牵涉到大数据处理和应用的项目负责人。 二、学员基础 1. 对IT系统设计有一定的理论与实践经验。 2. 对大数据技术有一定的了解,对数据分析处理有一定的基础知识。 3. 有一定的数据统计图表制作经验。 三、师资 由业界知名大数据专家亲自授课: 魏老师 主要从事数据可视化、虚拟现实及图形图像处理方面的研究工作。长期从事数据可视化系统的研究开发工作,主持和参与了多个国家和省部级基金项目和科研项目,具有丰富的理论知识和软件研发经验。 四、培训要点 大数据的特征是数据类型繁多、数据量巨大、数据生产速度快、价值密度低,如何快捷地发现数据背后隐藏的信息和知识,更好地利用数据资源并发挥数据优势,是大数据时代众多应用领域的迫切需求。 对于复杂的高维异构大尺度数据,传统的数据分析方法往往通过对数据的简化和抽象,隐藏了数据集真实的结构。而数据可视化则是另一种思路,它还原乃至增强了数据的全局结构和具体细节,避免了先验知识对用户的误导,通过合理的设计将数据呈现为用户易于感知的可视图形符号,让用户交互地理解数据背后隐藏的规律,洞察数据的内在价值。 与传统数据分析方法相比,可视化更擅长在没有任何先验知识的情况下探索性的数据发现与分析,这对于提高数据的可用性有重要的意义。可视化并非一个新的话题,数百前年就有优秀的信息图存在,这足以说明可视化对于信息理解、交流和验证的重要性。 计算机技术的发展,除了赋予可视化新的活力以外,也在很长时间里把可视化研究重点转向了图形算法的研究,从而使可视化成为具有较高门槛的专业领域专业人士的特殊工作。 近年来,由大数据而引发的信息可视化的崛起,使人们再次关注到可视化的本质问题——可视化不是为了“看”,而是为了更好的分析和理解信息、传播和验证观点,交互探索未知的信息。可视化设计的重要性已远远超过了可视化算法本身,对于大数据可视化而言,合理有效的可视化设计,直接影响到了数据的使用效果和利用率。 本课程立足于可视化的本质问题,从设计的角度讲述数据可视化技术,而非可视化实现算法。 课程通过演绎可视化设计的基本流程、常用工具和方法,加上针对典型数据类型可视化方法的案例分析,以启发学员思考,达到以更加丰富的可视化方法,运用各种交互设计手段进行可视化分析与探索,深入挖掘自身现有业务数据价值的目的。通过本课程的学习,希望能够推动可视化技术在数据相关领域中的应用水平。 五、培训内容 讲 数据可视化概述 1 ) 什么是数据可视化 2) 为什么需要数据可视化 3) 什么是好的可视化设计 第二讲 可视化设计基础 1)数据可视化的基本流程 2)数据可视化设计框架 3)感知与认知基础 第三讲 可视化编码基础 1)数据抽象 2)视觉标记与视觉通道 3)可视化编码的表现力原则与有效性原则 4)可视化设计的其他原则 5)可视化工具tableau介绍及实例 第四讲 地理空间数据可视化方法 1)点数据可视化方法及实例 2)线数据可视化方法及实例 3)面数据可视化方法及实例 4)矢量数据可视化方法及实例 第五讲 时变数据可视化方法 1)基于时间线的表达及实例 2)基于日历的可视表达及实例 3)基于动画的可视表达与实例 4)基于河流图的时变事件表达及实例 第六讲 关系数据可视化方法 1)基于节点-链接法的层次关系可视化方法及实例 2)基于空间填充法的层次关系可视化方法及实例 3)网络关系数据的力引导布局及实例 4)基于相邻矩阵的网络关系可视化方法及实例 第七讲 高维数据可视化方法 1)高维数据的特点及可视化需求 2)散点矩阵方法及实例 3)表格透镜 4)平行坐标图及实例 第八讲 文本数据可视化方法 1)文本数据可视化的基本需求 2)关键词可视化:标签云、wordle、文档散 3)情感分析可视化:情感地图 4)文档检索可视化:TileBar 5)文本关系可视化:短语网络、新闻地图 第九讲 可视化交互设计方法 1)为什么需要交互 2)可视化中的典型交互操作及实例分析 3)解决数据复杂性的四种典型交互模式及实例分析 4)交互设计的一般原则 六、培训目标 1.全面了解数据可视化的相关知识。 2.掌握数据可视化设计的基本原则。 3.深入学习典型数据类型的可视化方法。 4.掌握数据可视化交互设计方法。 七、培训时间、地点 时间: 2018年5月10日-5月11日 地点:北京 八、证书 培训结束,颁发中科院计算所职业培训中心“大数据可视化技术与应用”结业证书。 九、费用 培训费:5500元/人(含教材、证书、午餐、学习用具等)。住宿协助安排,费用自理。
招生对象: 关于举办“大数据实时处理-基于Spark的大数据实时处理及应用技术”培训的通知 各有关单位: 中国科学院计算技术研究所是国家专门的计算技术研究机构,同时也是中国信息化建设的重要支撑单位,中科院计算所培训中心是致力于高端IT类人才培养及企业内训的专业培训机构。中心凭借科学院的强大师资力量,在总结多年大型软件开发和组织经验的基础上,自主研发出一整套课程体系,其目的是希望能够切实帮助中国软件企业培养高级软件技术人才,提升整体研发能力,迄今为止已先后为国家培养了数万名计算机专业人员,并先后为数千家大型国内外企业进行过专门的定制培训服务。 随着互联网、移动互联网和物联网的发展,我们已经切实地迎来了一个大数据的时代。大数据是指无法在一定时间内用常规软件工具对其内容进行抓取、管理和处理的数据集合,对大数据的分析已经成为一个非常重要且紧迫的需求。目前对大数据的分析工具,首选的是Hadoop/Yarn平台,但目前对大数据的实时分析工具,业界公认为Spark。Spark是基于内存计算的大数据并行计算框架,Spark目前是Apache软件基金会旗下,的开源项目,Spark提出的DAG作为MapReduce的替代方案,兼容HDFS、Hive等分布式存储层,可融入Hadoop的生态系统,以弥补缺失MapReduce的不足,事实上已成为当前互联网企业主流的大数据实时处理工具。为解决广大系统设计人员深入研究与开发大数据实时处理的需要,培训中心特举办“大数据实时处理-基于Spark的大数据实时处理及应用技术”培训班,具体事宜通知如下: 一、培训对象 1,系统架构师、系统分析师、高级程序员、资深开发人员。 2,牵涉到大数据处理的数据中心运行、规划、设计负责人。 3,政府机关,金融保险、移动和互联网等大数据来源单位的负责人。 4,高校、科研院所牵涉到大数据与分布式数据处理的项目负责人。 二、学员基础 1,对IT系统设计有一定的理论与实践经验。 2,数据仓库与数据挖掘处理有一定的基础知识。 3,对Hadoop/Yarn/Spark大数据技术有一定的了解。 三、师资 由业界知名云计算专家亲自授课: 杨老师 主要研究网络信息分析以及云计算相关技术,长期从事数据仓库、数据挖掘以及大数据分析技术研究,主持和参与了多个国家和省部级基金项目,具有丰富的工程实践及软件研发经验。 四、培训要点 互联网点击数据、传感数据、日志文件、具有丰富地理空间信息的移动数据和涉及网络的各类评论,成为了海量信息的多种形式。当数据以成百上千TB不断增长的时候,我们在内部交易系统的历史信息之外,需要一种基于大数据实时分析的决策模型和技术支持。 大数据通常具有:数据体量(Volume)巨大,数据类型(Variety)繁多,价值(Value)密度低,处理速度(Velocity)快等四大特征。Google发布的GFS和MapReduce等高可扩展、高性能的分布式大数据处理框架,证明了在处理海量网页数据时该框架的优越性。在此基础上,Apache Hadoop开源项目开发团队,克隆并推出了Hadoop/Yarn系统。该系统已受到学术界和工业界的广泛认可和采纳,并孵化出众多子项目(如Hive,Zookeeper和Mahout等),日益形成一个易部署、易开发、功能齐全、性能优良的系统。 近年来以Berkley牵头设计的Spark/BDAS技术,实现了内存级别的分布式处理模式,使用户无需关注复杂的内部工作机制,无需具备丰富的分布式系统知识及开发经验,即可实现大规模分布式系统的部署与大数据的并行处理。 Spark生态系统(BDAS项目)已经发展成一个,包含多个子项目的集合,包括Spark SQL、Spark Streaming、GraphX、MLlib等,本课程从大数据实时处理技术以及Spark实战的角度,结合理论和实践,全方位地介绍Spark大数据实时处理工具的原理和内核,包括Spark大数据计算框架、运行架构、设计模型和数据管理策略,及Spark在业界的应用。 课程中结合实例,介绍图工具GraphX如何发现社交网络中的人际关系,大数据挖掘工具MLlib如何进行商品聚类和电影推荐,以及Streaming流挖掘工具,并探讨了Spark与Docker等云环境下新技术的结合,分析了其应用前景。 本课程教学过程中还提供了案例分析来帮助学员了解如何用Spark实时大数据工具来解决业界的问题,并介绍了Spark生产环境搭建的相关知识。 本课程不是一个泛泛的理论性、概念性的介绍课程,而是针对问题讨论Spark解决方案的深入课程。教师对于上述领域有深入的理论研究与实践经验,在课程中将会针对这些问题与学员一起进行研究,在关键点上还会搭建实验环境进行实践研究,以加深对于这些解决方案的理解。通过本课程学习,希望推动Spark实时大数据处理开发上升到一个新水平。 五、培训内容 讲Spark大数据实时处理技术 1)大数据处理技术 2)Spark实时处理技术 3)Spark生态系统BDAS 4)Spark架构分析 第二讲 Spark安装配置及监控 1)Ubuntu环境的准备 2)Hadoop2.X和Scala 3)搭建Spark开发环境 4)Idea编译和运行 5)Spark监控管理 第三讲 Scala编程语言使用概述 1) Scala编程语言 2) 基本数据类型 3) 操作基本数据类型 4) 类和对象 5) 组合和继承 第四讲 Spark分布式计算框架 1)Spark计算模型 2)弹性分布式数据集RDD 3)Spark的数据存储 4)Transformation算子分类及功能 5)Actions算子分类及功能 第五讲 Spark内部工作机制详解 1) Spark底层实现原理 2) Spark应用执行机制 3) Spark调度与任务分配模块 4) FIFO和FAIR调度算法 第六讲 Spark数据读取与存储 1)Spark的I/O机制 2)Spark中的数据压缩 3)Spark的数据读取与存储 4)Spark数据读写流程 第七讲 Spark通信模块和容错机制 1)Spark通信模块 2)通信框架AKKA 3)容错机制和Lineage依赖 4)检查点机制进行容错 5)Shuffle过程 第八讲SQL On Spark 1) BDAS数据分析软件栈 2) SQL On Spark 3) Spark SQL工具使用 4) Shark工具使用 5) Hive on Spark工具 6) Spark操作HBase中的数据 第九讲 Spark流数据处理工具Streaming 1)流数据处理工具Streaming 2) Spark Streaming架构 3) Spark Streaming原理 4) Spark Streaming实例 第十讲Spark中的大数据挖掘工具MLlib 1)大数据挖掘工具MLlib 2)MLlib的数据存储 3)MLlib中的聚类和分类 4)MLlib算法应用实例 5)利用MLlib进行推荐 第十一讲 Spark大规模图处理工具GraphX 1)大规模图处理工具GraphX 2)GraphX的运行架构 3)GraphX操作使用 4)GraphX使用实例 第十二讲 Spark与其他大数据技术的融合与应用 1)与Hadoop/Yarn集群应用的协作 2)与Docker等其它云工具配合 3)Spark在Yahoo!的应用 4)Spark在电商中的应用 六、培训目标 1,全面了解大数据实时处理技术的相关知识。 2,学习Spark的核心技术方法以及应用特征。 3,深入使用Spark在大数据实时处理中的使用。 4,掌握BDAS相关工具及其主要功能。 七、培训时间、地点 时间: 2018年5月9日-5月11日 地点:北京 八、证 书 培训结束,颁发中科院计算所职业培训中心“大数据实时处理-基于Spark的大数据实时处理及应用技术”结业证书。 九、费 用 培训费:5800元/人(含教材、证书、午餐、学习用具等)。住宿协助安排,费用自理。
招生对象: 关于举办“高级系统架构师”培训的通知 各有关单位: 中国科学院计算技术研究所是国家专门的计算技术研究机构,同时也是中国信息化建设的重要支撑单位,中科院计算所培训中心是致力于高端IT类人才培养及企业内训的专业培训机构。中心凭借科学院的强大师资力量,在总结多年大型软件开发和组织经验的基础上,自主研发出一整套课程体系,其目的是希望能够切实帮助中国软件企业培养高级软件技术人才,提升整体研发能力,迄今为止已先后为国家培养了数万名计算机专业人员,并先后为数千家大型国内外企业进行过专门的定制培训服务。 在软件产品的开发组织中,系统架构师是软件项目的总设计师,是软件企业新产品、新技术体系的构建者,是目前软件开发中急需的高层次技术人才,为建立符合中国国情的软件开发架构设计体系,培训中心特举办“高级系统架构师”培训班,具体事宜通知如下: 一、培训对象 项目经理、系统架构师、系统分析师、高级程序员、资深开发人员。 二、学员基础 1、具有任何一种平台或嵌入式的项目设计、开发与组织的工作经验。 2、要求熟悉软件工程相关知识并有一定实践经验。 三、师资 由业界知名软件架构师亲自授课: 谢老师 培训中心副校长、教授,大型电子对抗项目首席系统架构师 四、培训要点 什么是设计呢?设计是一种对话,它不仅仅是与利益相关方的对话,也是自己与自己的对话。对于设计人员来说,本身的工作背景只是一个点,如果思考方式仅仅依靠这个点,慢慢的思想就被禁锢住了,这会严重约束我们的发展。我们必须撕破这个束缚,站在更高的角度看软件,这才能寻求更大的发展空间,本课程主要思想如下: 1,纵观过去10年软件工程思想的演变,设计思想发生了深刻的变化,我们如何与变化一起前行?面对新的思想,很多人都在强调什么(what),但却忽略了为什么(why)。深入理解这些变化的原因以及解决方案,才能使我们的设计水平发生质的转变,上升到一个新的高度。设计的质量是由设计人员的质量决定的,新的思想能够帮助我们应对软件开发的主要挑战,并且指导我们按照什么方法去应对这些挑战。 2,创新是企业的命脉,创新思维是怎么样形成的?如何应用创新思维来引导技术架构的设计?在由封闭走向开放的发现、发展进程中,人们不再把软件看成一成不变的东西,而是一个可培育可成长的活物,我们的设计思维如何为这种理念提供更好的支持,从而为构建可维护、易扩展、可移植的软件寻求更好的帮助呢? 3,优秀的设计师是怎样成长起来的?任何人的成长都离不开实践,在实践中解决问题,在实践中增长才干,这就形成了深厚的积淀。但是光有积淀是不够的,还需要把实践中的问题进行梳理,通过深刻的分析,发现其中的规律,上升到理论的高度,并用理论来指导实践。正是在这种一层又一层的循环中,才能使我们上升到前所未有的高度。 4,在新一轮软件思想的变革中,用户体验得到空前重视。架构师应该如何迎接这些挑战?如何依靠用户参与的软件评价、分析帮助我们发现架构的问题,寻找架构改进的方向和重点,挣脱原有思维的束缚从而创造出伟大的产品? 5,课程将以全新的设计方法论引入思考的框架,然后直接通过案例分析进入设计过程,在现实的背景下,鲜活而深刻的发现问题并解决问题,使学员逐步领悟:如何进行系统思考?如何系统化考虑各种关系?如何把目标、人、技术三者统一起来?如何发现问题并提出解决方案?在这个基础之上,进一步归纳整理寻找规律,上升到理性的高度,完成人们认识事物螺旋上升的循环。 从这个意义上说,本课程与其说是告诉人们怎么设计,还不如说是描述了一个向更高层次蜕变的故事,这个故事中蕴含的思想,可能比仅仅告诉人们怎么去做更有意义。 希望学员通过课程不但能掌握现代软件系统设计方法论,更要根据组织所处领域的不同,通过总结历史形成的经验、教训、方法、模式,经过归纳整理,形成具有本组织领域特色的系统设计方法,并最终形成对本组织有价值的智力资产。 五、培训内容 讲 系统思考:软件架构设计的方法论 1,软件架构设计的定义与问题 软件系统架构与架构师 风险驱动:认知、规律与关注点 什么是设计与怎样设计 2,架构阶段:质量需求与架构风格 为什么质量风险决定了架构风格 案例分析:高性能分布式并行计算架构 3,构建阶段:解决进度与质量的矛盾 模型改进:问题、对策与解决方案 重构:不要让技术债务变得庞大 4,需求变更:拥抱着变化而设计 让变化成为一个重要的设计要素 关注特征:共性和可变性分析 分析矩阵:与客户一起讨论变化 在行为分析中发现共性和变化性 软件复用与框架技术 对变化建模 变化环境中的结构优化原则 第二讲 案例分析:分布式系统架构设计与优化 1,案例背景及领域分析 领域分析与建模 系统质量指标及决策 演化:愿景、目标、路线图 2,基础系统的顶层设计 根据领域分析对系统进行服务划分 分布式问题的设计考虑 分离用户界面的设计考虑 解决性能问题的设计考虑 领域对象的并发访问考虑 日志处理的并发性考虑 顶层架构设计的设计树 3,业务拓扑领域对象设计 支持软件模型的重新组织 提高访问领域对象的性能 提供组织标准列表 支持重新配置行为考虑 4,业务拓扑领域对象的新问题 实现全局拓扑管理功能 业务拓扑的遍历考虑 支持业务流扩展 业务拓扑的配置方案 5,资源应用的考虑与设计 关系型数据库应用考虑 合理的设计缓存 维护内存中的存储单元数据 业务拓扑领域对象接口详细设计 领域对象设计的设计树 第三讲 理论归纳:架构设计的过程与模式 1,如何把经验归纳总结成理论 从过程的角度进行归纳总结 从模式的角度进行归纳总结 把模式嵌入过程:模式语言 模式语言的表现形式 2,顶层架构设计过程域 解决从混沌到结构的问题 解决分布式基础设施中的问题 解决事件分离和分发中的问题 解决接口划分中的问题 3,领域对象设计过程域 解决对象划分中的问题 解决并发方面的问题 解决同步方面的问题 解决对象之间的交互中的问题 解决适配与扩展中的问题 4,资源应用过程域 解决资源管理中的问题 解决数据库访问中的问题 5,结束语:执著的追求卓越 六、培训目标 1、掌握现代软件架构设计的核心思想与方法,并能够在设计质量优化中灵活应用。 2、理解影响软件架构设计质量的问题、对策、解决方案与整体应对策略。 3、能够发挥创造性思维去改进已有的过程与设计方案,从而达到高质量与低成本的目的。 七、培训时间、地点 时间:2018年5月23日-5月25日 地点:北京 2018年6月6日-6月8日 地点:上海 八、证书 培训结束,颁发中科院计算所职业培训中心“高级系统架构师”结业证书。 九、费用 培训费:5800元/人(含教材、证书、午餐、学习用具等)。住宿协助安排,费用自理。
招生对象: 关于举办“高级项目管理师”培训的通知 各有关单位: 中国科学院计算技术研究所是国家专门的计算技术研究机构,同时也是中国信息化建设的重要支撑单位,中科院计算所培训中心是致力于高端IT类人才培养及企业内训的专业培训机构。中心凭借科学院强大师资力量,在总结多年大型软件开发和组织经验的基础上,自主研发出一整套课程体系,其目的是希望能够切实帮助中国软件企业培养高级软件技术人才,提升整体研发能力。迄今为止已先后为国家培养了数万名计算机专业人员,并先后为数千家大型国内外企业进行过专门的定制培训服务。 高水平的管理是软件项目成功的关键,具有这方面理论和实践的人员是目前软件组织中急需的高层次人才。为建立符合中国国情的软件开发过程和组织体系,培训中心特举办“高级项目管理师”培训班,具体事宜通知如下: 一、培训对象 软件开发机构高级管理人员、项目经理、系统架构师、系统分析师、资深开发人员、质量保证人员以及其他对提升软件开发质量负有责任的人员。 二、学员基础 1、对软件项目的分析、设计、组织和开发具有一定的实践经验的资深人员。 2、有一定的软件项目管理、技术管理或质量保证的基础知识与实践经验。 三、师资 由业界知名的专家亲自授课: 谢老师 教授,培训中心副校长,大型电子对抗项目负责人、首席系统架构师,组织过多个大型软件项目,GJB 5000A高级顾问,对软件工程管理与过程具有深邃的理论见解和实践知识。 四、培训要点 与通用的项目管理相比,软件项目管理有很大的不同。首先,软件项目本身就是一个创作过程,在过程中充斥了变化和新的想法,这种变化的环境给管理带来了新的难度。另一方面,软件项目团队是由一群具有独特领域能力的人组成的,他们的思维方式不同,反而不容易相互协调,这就需要更优秀的指挥艺术。我们如何以深思熟虑的思考抓住重点寻求解决方案,从而在动态的变化环境中,把项目引向成功? 1,在软件开发方法论上,目前存在着规范和敏捷之争。很多人把规范和敏捷对立起来看,非此即彼的思维定式扼杀了自己的创新能力。规范和敏捷各有优势,也各有软肋。高明的做法是把两种方法论融合起来,取长补短且相互支持。本课程将把融合敏捷与规范作为一条主线,以形成更好的项目管理方法。 2,无数事实证明,团队是决定项目成败的最重要因素。那么,如何激发团队成员的主动性、积极性和创造精神?如何根据项目和人员特点的不同,来组建不同特征的团队,从而把效率限度的发挥出来?这些都是把项目引向成功的关键引擎。 3,软件项目是由团队协调完成的,因此良好的计划是关键。在制定计划的时候,经常困惑人们的问题是:这个项目有多大?需要多少工作量?需要多少人?需要多少时间?需要多少成本?这一切都源自于对项目规模的正确估算,那么我们如何进行估算并由此制定可行的计划呢? 4,软件项目的演化特点,使初始计划会被后期不断发生的新情况而打破,为此需要寻找解决方案。如何在项目中制定具有动态特征的计划?如何确保尽管项目是在动态中演进的,但最终仍然能够按照时间、成本和质量的要求完成项目?这是需要更高的管理艺术。 5,在项目实施的过程中,项目经理需要推行一些行之有效的技术实践,以限度的保证产品质量与开发效率双双达到要求。这些实践包括:测试驱动开发、单元测试、重构以及持续集成。为此,项目经理需要关注一些什么问题呢? 6,项目监控是建立反馈系统的重要管理行为,而监控需要以可度量的方式提供项目状态信息。那么,如何对监控数据进行统计分析?如何在变化的环境中使反馈控制系统顺畅有效?如何在监控中发现问题背后的问题并采取正确对策?这都是确保项目成功的关键。 课程将全面探讨“道”和“术”这两方面的问题:从“道”的角度,我们希望做到知其然更要知其所以然,懂得了才可能变化。从“术”的角度,在这些理念和思想的指导下,会形成什么样的方法和实践?把两个方面完美结合,才能得到关于现代软件项目管理的新领悟,形成一个有深度的课程,希望所有学员都在这个课程中受益。 五、培训内容 讲 软件项目管理的“道”和“术” 1,软件项目与项目管理 项目管理的定义和特点 集成化软件项目管理模型 2,基于规范的软件开发体系 软件开发管理规范体系 规范管理存在的问题 3,基于敏捷的软件开发体系 敏捷开发的价值观与方法论 Scrum软件开发方法 4,融合敏捷与规范实现管理创新 寻求方法改进的途径 改进软件开发模型 第二讲 团队建设:打造高效项目团队 1,如何创建高效团队 人的主动性和创造性 用目标决定团队结构 角色、职责与开发效率 2,构建团队的进化机制 构建学习型团队以提升竞争力 构建创新型团队以提升进化力 3,项目经理的领导力 提升领导力的关键要素 注意纠正某些错误观念 第三讲 启动阶段:项目启动与前期决策 1,启动阶段必须关注的问题 2,建立并优化目标 3,协调利益相关方利益 4,权衡利弊及优劣 第四讲 计划阶段:如何进行项目策划 1,项目策划的范围和内容 计划必须满足的五个基本要求 项目管理计划的衔接 2,项目初始估计 如何定义项目范围 如何估算项目规模与工作量 如何估算项目的时间与成本 3,制定项目计划 标识关键里程碑及交付成果 如何编制项目进度表 如何制定项目总计划 4,获得对计划的承诺 承诺为什么重要与怎样进行承诺 获取承诺的过程 5,维护项目计划 为什么计划必须得到维护 维护项目计划的过程 第五讲 实施阶段1:项目的组织 1,项目实施中的协调与指导 2,每个里程碑阶段开始时的活动 两种制定阶段计划的过程 制定详细计划的一些技术 需求与技术解决方案的细化 3,在项目中推行四项技术实践 测试驱动开发:使测试投资化 单元测试:了解软件的运行; 重构:偿还技术债务; 持续集成:使产品处于生产就绪状态。 第六讲 实施阶段2:项目的监控 1,利用监控建立反馈系统 为什么需要实施项目监控 项目测量面临的三大问题 2,对照计划监督项目 如何监督项目计划执行情况 如何监督其它方面的问题 3,分析监控数据 如何分析执行项目计划状况 如何分析其它方面的问题 4,解决监控中发现的问题 分析问题背后的问题 如何理性的决策与决断 如何管理纠正措施 5,里程碑评审与计划管理 如何开好里程碑评审会议 询问是否有需求变更要求 团队对上一阶段工作进行总结 6,课程总结:软件开发管理的基本原则 六、培训目标 1,掌握复杂软件项目管理方法,并在实际项目过程中灵活应用。 2,对项目过程中对团队有深刻的理解,确保软件项目走向更高层次的成功。 3,通过问题分析与系统思考,对软件过程进行优化与改进。 七、培训时间、地点 时间:2018年5月30日-6月1日 地点:北京 八、证书 培训结束,颁发中科院计算所职业培训中心“高级项目管理师”证书。 九、费用 培训费:5800元/人(含教材、证书、午餐、学习用具等)。住宿协助安排,费用自理。
北京中科院计算所培训中心 中科院简介 中科院计算所培训中心(北京市海淀区中科院计算所职业技能培训学校)成立于1987年,是计算所根据国家普及计算机知识,培养专业计算机人才而创建的。培训中心依托中国科学院强大的技术背景,历经二十年的发展,为全国各企事业单位、部队、院校等累计培养了近十七万人次的计算机专业人才,并为多家企业提供了高质量的服务,现已形成企业内训、高端公开课、GJB5000A/CMMI培训与、企业全方位服务四大业务模块,在业界具有良好信誉。“科学、高效、权威、品质[详情]
|