• ARTICLE
  • STRING
  • CONVERTER
  • ENCRYPT
  • NETWORK
  • MORE
    CHART
    MATH
    COORDINATE
    IMAGE
    FILE
    OPEN API
  • ARTICLE
    STRING
    CONVERTER
    ENCRYPT
    NETWORK
    MORE
    CHART
    MATH
    COORDINATE
    IMAGE
    FILE
    OPEN API
logo Online Tools
All Chinese English Newest Hottest
538 search results

ByteHouse是火山引擎数智平台旗下云原生数据分析平台,为用户带来极速分析体验,能够支撑实时数据分析和海量离线数据分析;便捷的弹性扩缩容能力,极致的分析性能和丰富的企业级特性,助力客户数字化转型。 本文为字节跳动数据平台超话数据直播回顾文章,全篇将从字节内部发展链路、选择ClickHouse原因,基于ClickHouse的四个维度优化、多场景实践四个版块,介绍ByteHouse基于ClickHouse的实时计算能力升级。

459 Technology lddgo Shared on 2023-04-06

众所周知,堆 crash dump 是最难分析的 dump 类型之一。此类 crash 最大的问题在于,造成错误的代码无法在发生堆破坏时被发现。线上采集到的 minidump,仅能提供十分有限的信息。当调试工具报告了堆破坏、堆内存访问违例后,即便是有经验的开发人员也会觉得头疼。剪映专业版及其依赖的音视频编辑 SDK、特效模块均采用 MD 的方式链接标准库,这意味着任何一个模块出现了堆损坏都会互相影响。从 crash 的位置回溯堆破坏的源头,是一个非常有挑战性的工作。剪映业务模块较常见的是Use-after-free,而音视频编辑 SDK和特效模块这类底层算法特效模块更多的是Buffer-overflow,不同团队模块间的堆错误互相影响,导致问题难以定位。

319 Technology lddgo Shared on 2023-04-04

在前面章节中,我们已经对 WebAssembly 的关键特性、历史演变和核心的应用场景做了详细的介绍;基于 对 WebAssembly 的入门和初步了解,在第二部分的各个章节中,我们会从 WebAssembly 模块入手,和大家一起学习 WebAssembly 基础知识,包括核心规范,核心开发语言和工具链以及常用的执行引擎等相关内容。 本文将从 WebAssembly 模块入手介绍相关基础概念和 W3C 二进制格式核心规范,与此同时,进一步介绍 WebAssembly 的文本格式及语法,并给出一个 WebAssembly 文本 demo;以便读者可以与本文格式的介绍相互印证,进一步加深理解。

366 Technology lddgo Shared on 2023-04-04

2022 年 11 月 ChatGPT 像一股风暴席卷全球。时隔数月,OpenAI 终于在 3 月 1 日正式推出了 ChatGPT 的开放 API。这意味着,我们通过简单的 API 调用,就可以与 ChatGPT 进行对话。可以预见的是像自来水一样使用 AI 的时代已经到来,我们可以随时随地使用它,而不需要关心算法实现细节。 值得注意的是在此之前有大量的第三方平台号称调用的是 ChatGPT 的 API,实际多数为基于 GPT-3 的“自动补齐” API,其能力远不可与 ChatGPT 相媲美,而这一次提供的则是官方的基于聊天(Chat)消息的 API。 本文将通过一个简单的命令行翻译程序,来展示如何使用 ChatGPT API。 你以为 API 调用工程就是本文的全部内容吗?不,更重要的是教会大家如何通过“Prompt Engineering”(即所谓“提示工程”学)将聊天型 AIGC 转换为特定领域的生产力。

367 Technology lddgo Shared on 2023-04-04

首先介绍一下字节内部数据血缘遇到的挑战。 随着公司业务扩张、用户数量持续增长以及数仓建设不断完善,元数据种类和数量也经历了非线性增长,并在此期间涌现出一些问题。 第一,扩展性。好的扩展性可以在面对新型元数据血缘时保证快速接入和迭代,而扩展性不佳则会导致在业务变化时需要不停地重构来适应业务,对业务造成很多影响。 第二,性能。一个模型本身的插入和更新效率会直接影响数据的导入导出的流程,这些都会带来更直观的业务上的感受,所以需要考虑如何保证环节高效性。 第三,时效性。很多应用场景对正确率格外敏感,如果血缘数据有延迟,其实就等于血缘的不准确,会对业务造成影响。 最后,赋能业务。技术服务于业务,业务增长会帮助技术升级迭代,技术创新也会促进业务发展。在字节内部,我们会根据业务特点,考虑业务需要,将技术成本与业务收益做平衡,最终做出数据模型决策。总而言之,数据模型没有完美的方案,只有最适合企业自身业务、适合当前阶段的数据血缘方案。

299 Technology lddgo Shared on 2023-04-03

在组件化的浪潮下,公司引入多仓开发对工程架构进行解耦、跨业务技术能力复用,并辅以组件(混合)二进制化进行编译提速。不过随着工程规模增长、业务复杂度提升,多仓二进制的弊端日益凸显: 合码效率低下:多仓的引入使开发流程变复杂,最有代表性的合码环节一次合码涉及到主仓和多个组件,每个组件要跑 Pipeline 流程进行版本发布。因涉及到组件发布,从而引入了 MR 锁,进而导致吞吐量有限。如果某个组件失败,那么 MR 需要重新跑一遍流程。这种模式提升了 CI 复杂度,降低了合码效率(封板排队时间可达 6h+) 依赖管理衍生问题:稳定性差,多仓使环境依赖度变高,稳定性变成多个仓库稳定性的乘积。即使每个仓库成功率是 99.9%,每次 install 成功的概率也仅有 74%;版本溯源性差,项目通过依赖动态决议生成,无法做到 single source of truth。 代码的可视性和可控性降低:跨组件重构困难,全量静态检测无从入手,并且很难统一架构规范;本地开发体验差,工程代码可信度低,无法直接对代码进行开发调试,本地开发需要更多的工具和流程来保证代码的可视性和可控性。

618 Technology lddgo Shared on 2023-03-31

“打包”——一个前端研发无比熟悉的词语,打包工具从来都不是必要,后端(nodejs)几乎可以不使用,但在前端,又几乎不可以不用。 本文会带读者探究关于打包的一切,前辈们是从什么时候开始打包,又从什么时候开始分包?再发展到现在的在开发环境逐渐不再打包,这个过程我们到底经历了哪些故事?我们又可以依靠哪些工具来实现我们不同时期的目标?这一切离不开前端工程的模块化的演进史~

535 Technology lddgo Shared on 2023-03-30

火山引擎湖仓一体分析服务 LAS(Lakehouse Analytics Service),是面向湖仓一体架构的 Serverless 数据处理分析服务,提供字节跳动最佳实践的一站式 EB 级海量数据存储计算和交互分析能力,兼容 Spark、Presto 生态,帮助企业轻松构建智能实时湖仓。 LAS 服务是什么?LAS 有哪些优化特性?本文将从基础概念、数据库内核特性优化、数据服务化、业务实践等角度全方位介绍湖仓一体架构在LAS的探索与实践。

345 Technology lddgo Shared on 2023-03-28

WebAssembly 是 W3C 标准化组织制定兼容 Web 的全新格式,它可以方便地将非 JavaScript 代码快速地运行在浏览器中,这一特性为前端场景提供了无限可能;此外,字节码联盟 (Bytecode Alliance) 于 2019 年宣布正式成立,这个联盟成立的主要目标就是通过协作实施标准和提出新标准,以完善 WebAssembly 在浏览器之外的生态;随着 WebAssembly 在开发者社区中越来越流行,也正在成为服务端以及云计算平台上的新锐。 本课程力求从 WebAssembly 的基础入手,由浅入深系统化的介绍 WebAssembly 的相关技术、底层设计原理、语言、库与工具链,展示一些具有代表性和实际业务价值的综合实践,探讨其发展演变及其未来发展方向、发展趋势

393 Technology lddgo Shared on 2023-03-28

WebAssembly 是一个新的技术体系而非单一技术,它涉及到编程语言、编译器、虚拟机、工具链 (LLVM, Binaryen 等)、操作系统等相关的多个技术领域;而市面上相关的著作一般仅仅涵盖某一个或某几个方面,很难有系统化介绍和讲解 WebAssembly 完整技术体系的著作或文档,从而使学习 WebAssembly 缺乏系统化的知识体系;此外, WebAssembly 作为一项新兴的技术,处于发展初期并将长期处于发展过程中,各种新提案、新技术探索、新应用场景层出不穷,让人眼花缭乱,感觉无从下手;因此,无论是初学者,还是有经验的学习者,在学习过程中常常觉得知识零碎且不成体系,入门门槛比较高,深入理解和掌握十分困难,甚至有浮沙驻高塔的感觉。 针对 WebAssembly 现状,本课程力求从 WebAssembly 的基础入手,抽丝剥茧,逐步解构 WebAssembly 的复杂知识体系和生态;边学边练,深入理解和掌握 WebAssembly 核心技术及其背后的原理;理论结合实践,共同探讨 WebAssembly 发展演变、核心应用场景、未来发展方向和发展趋势,一起由浅入深

399 Technology lddgo Shared on 2023-03-28