Branch data Line data Source code
1 : : // Copyright (c) 2012-2022 The Bitcoin Core developers
2 : : // Distributed under the MIT software license, see the accompanying
3 : : // file COPYING or http://www.opensource.org/licenses/mit-license.php.
4 : :
5 : : #include <hash.h>
6 : : #include <serialize.h>
7 : : #include <streams.h>
8 : : #include <test/util/setup_common.h>
9 : : #include <util/strencodings.h>
10 : :
11 : : #include <stdint.h>
12 : : #include <string>
13 : :
14 : : #include <boost/test/unit_test.hpp>
15 : :
16 : 0 : BOOST_FIXTURE_TEST_SUITE(serialize_tests, BasicTestingSetup)
17 : :
18 : : class CSerializeMethodsTestSingle
19 : : {
20 : : protected:
21 : : int intval;
22 : : bool boolval;
23 : : std::string stringval;
24 : : char charstrval[16];
25 : : CTransactionRef txval;
26 : : public:
27 : 0 : CSerializeMethodsTestSingle() = default;
28 : 0 : CSerializeMethodsTestSingle(int intvalin, bool boolvalin, std::string stringvalin, const uint8_t* charstrvalin, const CTransactionRef& txvalin) : intval(intvalin), boolval(boolvalin), stringval(std::move(stringvalin)), txval(txvalin)
29 : : {
30 : 0 : memcpy(charstrval, charstrvalin, sizeof(charstrval));
31 : 0 : }
32 : :
33 : 0 : SERIALIZE_METHODS(CSerializeMethodsTestSingle, obj)
34 : : {
35 : 0 : READWRITE(obj.intval);
36 : 0 : READWRITE(obj.boolval);
37 : 0 : READWRITE(obj.stringval);
38 : 0 : READWRITE(obj.charstrval);
39 : 0 : READWRITE(obj.txval);
40 : 0 : }
41 : :
42 : 0 : bool operator==(const CSerializeMethodsTestSingle& rhs) const
43 : : {
44 : 0 : return intval == rhs.intval &&
45 : 0 : boolval == rhs.boolval &&
46 : 0 : stringval == rhs.stringval &&
47 : 0 : strcmp(charstrval, rhs.charstrval) == 0 &&
48 : 0 : *txval == *rhs.txval;
49 : : }
50 : : };
51 : :
52 : : class CSerializeMethodsTestMany : public CSerializeMethodsTestSingle
53 : : {
54 : : public:
55 : : using CSerializeMethodsTestSingle::CSerializeMethodsTestSingle;
56 : :
57 : 0 : SERIALIZE_METHODS(CSerializeMethodsTestMany, obj)
58 : : {
59 : 0 : READWRITE(obj.intval, obj.boolval, obj.stringval, obj.charstrval, obj.txval);
60 : 0 : }
61 : : };
62 : :
63 : 0 : BOOST_AUTO_TEST_CASE(sizes)
64 : : {
65 : 0 : BOOST_CHECK_EQUAL(sizeof(unsigned char), GetSerializeSize((unsigned char)0, 0));
66 : 0 : BOOST_CHECK_EQUAL(sizeof(int8_t), GetSerializeSize(int8_t(0), 0));
67 : 0 : BOOST_CHECK_EQUAL(sizeof(uint8_t), GetSerializeSize(uint8_t(0), 0));
68 : 0 : BOOST_CHECK_EQUAL(sizeof(int16_t), GetSerializeSize(int16_t(0), 0));
69 : 0 : BOOST_CHECK_EQUAL(sizeof(uint16_t), GetSerializeSize(uint16_t(0), 0));
70 : 0 : BOOST_CHECK_EQUAL(sizeof(int32_t), GetSerializeSize(int32_t(0), 0));
71 : 0 : BOOST_CHECK_EQUAL(sizeof(uint32_t), GetSerializeSize(uint32_t(0), 0));
72 : 0 : BOOST_CHECK_EQUAL(sizeof(int64_t), GetSerializeSize(int64_t(0), 0));
73 : 0 : BOOST_CHECK_EQUAL(sizeof(uint64_t), GetSerializeSize(uint64_t(0), 0));
74 : 0 : // Bool is serialized as uint8_t
75 : 0 : BOOST_CHECK_EQUAL(sizeof(uint8_t), GetSerializeSize(bool(0), 0));
76 : :
77 : : // Sanity-check GetSerializeSize and c++ type matching
78 : 0 : BOOST_CHECK_EQUAL(GetSerializeSize((unsigned char)0, 0), 1U);
79 : 0 : BOOST_CHECK_EQUAL(GetSerializeSize(int8_t(0), 0), 1U);
80 : 0 : BOOST_CHECK_EQUAL(GetSerializeSize(uint8_t(0), 0), 1U);
81 : 0 : BOOST_CHECK_EQUAL(GetSerializeSize(int16_t(0), 0), 2U);
82 : 0 : BOOST_CHECK_EQUAL(GetSerializeSize(uint16_t(0), 0), 2U);
83 : 0 : BOOST_CHECK_EQUAL(GetSerializeSize(int32_t(0), 0), 4U);
84 : 0 : BOOST_CHECK_EQUAL(GetSerializeSize(uint32_t(0), 0), 4U);
85 : 0 : BOOST_CHECK_EQUAL(GetSerializeSize(int64_t(0), 0), 8U);
86 : 0 : BOOST_CHECK_EQUAL(GetSerializeSize(uint64_t(0), 0), 8U);
87 : 0 : BOOST_CHECK_EQUAL(GetSerializeSize(bool(0), 0), 1U);
88 : 0 : }
89 : :
90 : 0 : BOOST_AUTO_TEST_CASE(varints)
91 : : {
92 : : // encode
93 : :
94 : 0 : DataStream ss{};
95 : 0 : DataStream::size_type size = 0;
96 : 0 : for (int i = 0; i < 100000; i++) {
97 : 0 : ss << VARINT_MODE(i, VarIntMode::NONNEGATIVE_SIGNED);
98 : 0 : size += ::GetSerializeSize(VARINT_MODE(i, VarIntMode::NONNEGATIVE_SIGNED), 0);
99 : 0 : BOOST_CHECK(size == ss.size());
100 : 0 : }
101 : :
102 : 0 : for (uint64_t i = 0; i < 100000000000ULL; i += 999999937) {
103 : 0 : ss << VARINT(i);
104 : 0 : size += ::GetSerializeSize(VARINT(i), 0);
105 : 0 : BOOST_CHECK(size == ss.size());
106 : 0 : }
107 : :
108 : : // decode
109 : 0 : for (int i = 0; i < 100000; i++) {
110 : 0 : int j = -1;
111 : 0 : ss >> VARINT_MODE(j, VarIntMode::NONNEGATIVE_SIGNED);
112 : 0 : BOOST_CHECK_MESSAGE(i == j, "decoded:" << j << " expected:" << i);
113 : 0 : }
114 : :
115 : 0 : for (uint64_t i = 0; i < 100000000000ULL; i += 999999937) {
116 : 0 : uint64_t j = std::numeric_limits<uint64_t>::max();
117 : 0 : ss >> VARINT(j);
118 : 0 : BOOST_CHECK_MESSAGE(i == j, "decoded:" << j << " expected:" << i);
119 : 0 : }
120 : 0 : }
121 : :
122 : 0 : BOOST_AUTO_TEST_CASE(varints_bitpatterns)
123 : : {
124 : 0 : DataStream ss{};
125 : 0 : ss << VARINT_MODE(0, VarIntMode::NONNEGATIVE_SIGNED); BOOST_CHECK_EQUAL(HexStr(ss), "00"); ss.clear();
126 : 0 : ss << VARINT_MODE(0x7f, VarIntMode::NONNEGATIVE_SIGNED); BOOST_CHECK_EQUAL(HexStr(ss), "7f"); ss.clear();
127 : 0 : ss << VARINT_MODE(int8_t{0x7f}, VarIntMode::NONNEGATIVE_SIGNED); BOOST_CHECK_EQUAL(HexStr(ss), "7f"); ss.clear();
128 : 0 : ss << VARINT_MODE(0x80, VarIntMode::NONNEGATIVE_SIGNED); BOOST_CHECK_EQUAL(HexStr(ss), "8000"); ss.clear();
129 : 0 : ss << VARINT(uint8_t{0x80}); BOOST_CHECK_EQUAL(HexStr(ss), "8000"); ss.clear();
130 : 0 : ss << VARINT_MODE(0x1234, VarIntMode::NONNEGATIVE_SIGNED); BOOST_CHECK_EQUAL(HexStr(ss), "a334"); ss.clear();
131 : 0 : ss << VARINT_MODE(int16_t{0x1234}, VarIntMode::NONNEGATIVE_SIGNED); BOOST_CHECK_EQUAL(HexStr(ss), "a334"); ss.clear();
132 : 0 : ss << VARINT_MODE(0xffff, VarIntMode::NONNEGATIVE_SIGNED); BOOST_CHECK_EQUAL(HexStr(ss), "82fe7f"); ss.clear();
133 : 0 : ss << VARINT(uint16_t{0xffff}); BOOST_CHECK_EQUAL(HexStr(ss), "82fe7f"); ss.clear();
134 : 0 : ss << VARINT_MODE(0x123456, VarIntMode::NONNEGATIVE_SIGNED); BOOST_CHECK_EQUAL(HexStr(ss), "c7e756"); ss.clear();
135 : 0 : ss << VARINT_MODE(int32_t{0x123456}, VarIntMode::NONNEGATIVE_SIGNED); BOOST_CHECK_EQUAL(HexStr(ss), "c7e756"); ss.clear();
136 : 0 : ss << VARINT(0x80123456U); BOOST_CHECK_EQUAL(HexStr(ss), "86ffc7e756"); ss.clear();
137 : 0 : ss << VARINT(uint32_t{0x80123456U}); BOOST_CHECK_EQUAL(HexStr(ss), "86ffc7e756"); ss.clear();
138 : 0 : ss << VARINT(0xffffffff); BOOST_CHECK_EQUAL(HexStr(ss), "8efefefe7f"); ss.clear();
139 : 0 : ss << VARINT_MODE(0x7fffffffffffffffLL, VarIntMode::NONNEGATIVE_SIGNED); BOOST_CHECK_EQUAL(HexStr(ss), "fefefefefefefefe7f"); ss.clear();
140 : 0 : ss << VARINT(0xffffffffffffffffULL); BOOST_CHECK_EQUAL(HexStr(ss), "80fefefefefefefefe7f"); ss.clear();
141 : 0 : }
142 : :
143 : 0 : BOOST_AUTO_TEST_CASE(compactsize)
144 : : {
145 : 0 : DataStream ss{};
146 : : std::vector<char>::size_type i, j;
147 : :
148 : 0 : for (i = 1; i <= MAX_SIZE; i *= 2)
149 : : {
150 : 0 : WriteCompactSize(ss, i-1);
151 : 0 : WriteCompactSize(ss, i);
152 : 0 : }
153 : 0 : for (i = 1; i <= MAX_SIZE; i *= 2)
154 : : {
155 : 0 : j = ReadCompactSize(ss);
156 : 0 : BOOST_CHECK_MESSAGE((i-1) == j, "decoded:" << j << " expected:" << (i-1));
157 : 0 : j = ReadCompactSize(ss);
158 : 0 : BOOST_CHECK_MESSAGE(i == j, "decoded:" << j << " expected:" << i);
159 : 0 : }
160 : 0 : }
161 : :
162 : 0 : static bool isCanonicalException(const std::ios_base::failure& ex)
163 : : {
164 : 0 : std::ios_base::failure expectedException("non-canonical ReadCompactSize()");
165 : :
166 : : // The string returned by what() can be different for different platforms.
167 : : // Instead of directly comparing the ex.what() with an expected string,
168 : : // create an instance of exception to see if ex.what() matches
169 : : // the expected explanatory string returned by the exception instance.
170 : 0 : return strcmp(expectedException.what(), ex.what()) == 0;
171 : 0 : }
172 : :
173 : 0 : BOOST_AUTO_TEST_CASE(vector_bool)
174 : : {
175 : 0 : std::vector<uint8_t> vec1{1, 0, 0, 1, 1, 1, 0, 0, 0, 0, 1, 0, 0, 1, 1, 0, 0, 0, 1, 1, 1, 1, 0, 1, 0, 0, 1};
176 : 0 : std::vector<bool> vec2{1, 0, 0, 1, 1, 1, 0, 0, 0, 0, 1, 0, 0, 1, 1, 0, 0, 0, 1, 1, 1, 1, 0, 1, 0, 0, 1};
177 : :
178 : 0 : BOOST_CHECK(vec1 == std::vector<uint8_t>(vec2.begin(), vec2.end()));
179 : 0 : BOOST_CHECK((HashWriter{} << vec1).GetHash() == (HashWriter{} << vec2).GetHash());
180 : 0 : }
181 : :
182 : 0 : BOOST_AUTO_TEST_CASE(noncanonical)
183 : : {
184 : : // Write some non-canonical CompactSize encodings, and
185 : : // make sure an exception is thrown when read back.
186 : 0 : DataStream ss{};
187 : : std::vector<char>::size_type n;
188 : :
189 : : // zero encoded with three bytes:
190 : 0 : ss << Span{"\xfd\x00\x00"}.first(3);
191 : 0 : BOOST_CHECK_EXCEPTION(ReadCompactSize(ss), std::ios_base::failure, isCanonicalException);
192 : :
193 : : // 0xfc encoded with three bytes:
194 : 0 : ss << Span{"\xfd\xfc\x00"}.first(3);
195 : 0 : BOOST_CHECK_EXCEPTION(ReadCompactSize(ss), std::ios_base::failure, isCanonicalException);
196 : :
197 : : // 0xfd encoded with three bytes is OK:
198 : 0 : ss << Span{"\xfd\xfd\x00"}.first(3);
199 : 0 : n = ReadCompactSize(ss);
200 : 0 : BOOST_CHECK(n == 0xfd);
201 : :
202 : : // zero encoded with five bytes:
203 : 0 : ss << Span{"\xfe\x00\x00\x00\x00"}.first(5);
204 : 0 : BOOST_CHECK_EXCEPTION(ReadCompactSize(ss), std::ios_base::failure, isCanonicalException);
205 : :
206 : : // 0xffff encoded with five bytes:
207 : 0 : ss << Span{"\xfe\xff\xff\x00\x00"}.first(5);
208 : 0 : BOOST_CHECK_EXCEPTION(ReadCompactSize(ss), std::ios_base::failure, isCanonicalException);
209 : :
210 : : // zero encoded with nine bytes:
211 : 0 : ss << Span{"\xff\x00\x00\x00\x00\x00\x00\x00\x00"}.first(9);
212 : 0 : BOOST_CHECK_EXCEPTION(ReadCompactSize(ss), std::ios_base::failure, isCanonicalException);
213 : :
214 : : // 0x01ffffff encoded with nine bytes:
215 : 0 : ss << Span{"\xff\xff\xff\xff\x01\x00\x00\x00\x00"}.first(9);
216 : 0 : BOOST_CHECK_EXCEPTION(ReadCompactSize(ss), std::ios_base::failure, isCanonicalException);
217 : 0 : }
218 : :
219 : 0 : BOOST_AUTO_TEST_CASE(class_methods)
220 : : {
221 : 0 : int intval(100);
222 : 0 : bool boolval(true);
223 : 0 : std::string stringval("testing");
224 : 0 : const uint8_t charstrval[16]{"testing charstr"};
225 : 0 : CMutableTransaction txval;
226 : 0 : CTransactionRef tx_ref{MakeTransactionRef(txval)};
227 : 0 : CSerializeMethodsTestSingle methodtest1(intval, boolval, stringval, charstrval, tx_ref);
228 : 0 : CSerializeMethodsTestMany methodtest2(intval, boolval, stringval, charstrval, tx_ref);
229 : 0 : CSerializeMethodsTestSingle methodtest3;
230 : 0 : CSerializeMethodsTestMany methodtest4;
231 : 0 : CDataStream ss(SER_DISK, PROTOCOL_VERSION);
232 : 0 : BOOST_CHECK(methodtest1 == methodtest2);
233 : 0 : ss << methodtest1;
234 : 0 : ss >> methodtest4;
235 : 0 : ss << methodtest2;
236 : 0 : ss >> methodtest3;
237 : 0 : BOOST_CHECK(methodtest1 == methodtest2);
238 : 0 : BOOST_CHECK(methodtest2 == methodtest3);
239 : 0 : BOOST_CHECK(methodtest3 == methodtest4);
240 : :
241 : 0 : CDataStream ss2{SER_DISK, PROTOCOL_VERSION};
242 : 0 : ss2 << intval << boolval << stringval << charstrval << txval;
243 : 0 : ss2 >> methodtest3;
244 : 0 : BOOST_CHECK(methodtest3 == methodtest4);
245 : : {
246 : 0 : DataStream ds;
247 : 0 : const std::string in{"ab"};
248 : 0 : ds << Span{in} << std::byte{'c'};
249 : : std::array<std::byte, 2> out;
250 : : std::byte out_3;
251 : 0 : ds >> Span{out} >> out_3;
252 : 0 : BOOST_CHECK_EQUAL(out.at(0), std::byte{'a'});
253 : 0 : BOOST_CHECK_EQUAL(out.at(1), std::byte{'b'});
254 : 0 : BOOST_CHECK_EQUAL(out_3, std::byte{'c'});
255 : 0 : }
256 : 0 : }
257 : :
258 : : enum class BaseFormat {
259 : : RAW,
260 : : HEX,
261 : : };
262 : :
263 : : /// (Un)serialize a number as raw byte or 2 hexadecimal chars.
264 : : class Base
265 : : {
266 : : public:
267 : : uint8_t m_base_data;
268 : :
269 : 0 : Base() : m_base_data(17) {}
270 : 0 : explicit Base(uint8_t data) : m_base_data(data) {}
271 : :
272 : : template <typename Stream>
273 : 0 : void Serialize(Stream& s) const
274 : : {
275 : 0 : if (s.GetParams() == BaseFormat::RAW) {
276 : 0 : s << m_base_data;
277 : 0 : } else {
278 : 0 : s << Span{HexStr(Span{&m_base_data, 1})};
279 : : }
280 : 0 : }
281 : :
282 : : template <typename Stream>
283 : 0 : void Unserialize(Stream& s)
284 : : {
285 : 0 : if (s.GetParams() == BaseFormat::RAW) {
286 : 0 : s >> m_base_data;
287 : 0 : } else {
288 : 0 : std::string hex{"aa"};
289 : 0 : s >> Span{hex}.first(hex.size());
290 : 0 : m_base_data = TryParseHex<uint8_t>(hex).value().at(0);
291 : 0 : }
292 : 0 : }
293 : : };
294 : :
295 : : class DerivedAndBaseFormat
296 : : {
297 : : public:
298 : : BaseFormat m_base_format;
299 : :
300 : : enum class DerivedFormat {
301 : : LOWER,
302 : : UPPER,
303 : : } m_derived_format;
304 : : };
305 : :
306 : : class Derived : public Base
307 : : {
308 : : public:
309 : : std::string m_derived_data;
310 : :
311 : 0 : SERIALIZE_METHODS_PARAMS(Derived, obj, DerivedAndBaseFormat, fmt)
312 : : {
313 : 0 : READWRITE(WithParams(fmt.m_base_format, AsBase<Base>(obj)));
314 : :
315 : : if (ser_action.ForRead()) {
316 : : std::string str;
317 : : s >> str;
318 : : SER_READ(obj, obj.m_derived_data = str);
319 : : } else {
320 : 0 : s << (fmt.m_derived_format == DerivedAndBaseFormat::DerivedFormat::LOWER ?
321 : 0 : ToLower(obj.m_derived_data) :
322 : 0 : ToUpper(obj.m_derived_data));
323 : : }
324 : 0 : }
325 : : };
326 : :
327 : 0 : BOOST_AUTO_TEST_CASE(with_params_base)
328 : : {
329 : 0 : Base b{0x0F};
330 : :
331 : 0 : DataStream stream;
332 : :
333 : 0 : stream << WithParams(BaseFormat::RAW, b);
334 : 0 : BOOST_CHECK_EQUAL(stream.str(), "\x0F");
335 : :
336 : 0 : b.m_base_data = 0;
337 : 0 : stream >> WithParams(BaseFormat::RAW, b);
338 : 0 : BOOST_CHECK_EQUAL(b.m_base_data, 0x0F);
339 : :
340 : 0 : stream.clear();
341 : :
342 : 0 : stream << WithParams(BaseFormat::HEX, b);
343 : 0 : BOOST_CHECK_EQUAL(stream.str(), "0f");
344 : :
345 : 0 : b.m_base_data = 0;
346 : 0 : stream >> WithParams(BaseFormat::HEX, b);
347 : 0 : BOOST_CHECK_EQUAL(b.m_base_data, 0x0F);
348 : 0 : }
349 : :
350 : 0 : BOOST_AUTO_TEST_CASE(with_params_vector_of_base)
351 : : {
352 : 0 : std::vector<Base> v{Base{0x0F}, Base{0xFF}};
353 : :
354 : 0 : DataStream stream;
355 : :
356 : 0 : stream << WithParams(BaseFormat::RAW, v);
357 : 0 : BOOST_CHECK_EQUAL(stream.str(), "\x02\x0F\xFF");
358 : :
359 : 0 : v[0].m_base_data = 0;
360 : 0 : v[1].m_base_data = 0;
361 : 0 : stream >> WithParams(BaseFormat::RAW, v);
362 : 0 : BOOST_CHECK_EQUAL(v[0].m_base_data, 0x0F);
363 : 0 : BOOST_CHECK_EQUAL(v[1].m_base_data, 0xFF);
364 : :
365 : 0 : stream.clear();
366 : :
367 : 0 : stream << WithParams(BaseFormat::HEX, v);
368 : 0 : BOOST_CHECK_EQUAL(stream.str(), "\x02"
369 : : "0fff");
370 : :
371 : 0 : v[0].m_base_data = 0;
372 : 0 : v[1].m_base_data = 0;
373 : 0 : stream >> WithParams(BaseFormat::HEX, v);
374 : 0 : BOOST_CHECK_EQUAL(v[0].m_base_data, 0x0F);
375 : 0 : BOOST_CHECK_EQUAL(v[1].m_base_data, 0xFF);
376 : 0 : }
377 : :
378 : 0 : BOOST_AUTO_TEST_CASE(with_params_derived)
379 : : {
380 : 0 : Derived d;
381 : 0 : d.m_base_data = 0x0F;
382 : 0 : d.m_derived_data = "xY";
383 : :
384 : : DerivedAndBaseFormat fmt;
385 : :
386 : 0 : DataStream stream;
387 : :
388 : 0 : fmt.m_base_format = BaseFormat::RAW;
389 : 0 : fmt.m_derived_format = DerivedAndBaseFormat::DerivedFormat::LOWER;
390 : 0 : stream << WithParams(fmt, d);
391 : :
392 : 0 : fmt.m_base_format = BaseFormat::HEX;
393 : 0 : fmt.m_derived_format = DerivedAndBaseFormat::DerivedFormat::UPPER;
394 : 0 : stream << WithParams(fmt, d);
395 : :
396 : 0 : BOOST_CHECK_EQUAL(stream.str(), "\x0F\x02xy"
397 : : "0f\x02XY");
398 : 0 : }
399 : :
400 : 0 : BOOST_AUTO_TEST_SUITE_END()
|
